Products
96SEO 2026-02-23 11:12 10
https://mp.weixin.qq.com/s/l3US8Dsd0yNC19o7B1ZBgw
Mixer是ViT骨干非常重要的组成成分它用于对不同空域位置信息进行自适应聚合但常规的自注意力往往存在高计算复杂度与高延迟问题。
而直接移除Token
基于此本文基于重参数机制提出了RepIdentityFormer方案以研究无Token
Mixer的架构体系。
紧接着作者改进了学习架构以打破无Token
Mixer架构的局限性并总结了5条指导方针。
搭配上所提优化策略后本文构建了一种极致简单且具有优异性能的视觉骨干此外它还具有高推理效率优势。
实验结果表明通过合适的优化策略网络结构的归纳偏置可以被集成进简单架构体系中。
本文为后续优化驱动的高效网络设计提供了新的起点和思路。
Mixer是ViT架构中用于空域信息聚合的关键模块但由于采用了自注意力机制导致其计算量与内存消耗与图像尺寸强相关(quadratic)。
基于修正版12层ViT-B架构作者进行了系统的延迟分析(可参考上图)。
从仅包含Input
Embedding的模块出发逐步添加不同的操作单元如LN、Attention、MLP等最终构成了无GAP与分类头的ViT-Base架构。
从图示可以看到
Mixer部分耗时约为1433.6ms约占整个架构耗时的46.3%**。
Mixer对于模型延迟有非常大的影响这无疑限制了其实际应用。
不有而然升起一个疑问是否可以移除Token
Mixer同时保持其高性能呢MetaFormer提出了无Token
Mixer的架构但发现会导致不可忽视的性能退化。
基于此本文旨在通过先进的优化策略(如知识蒸馏、结构重参数等)来挖掘极简ViT架构的潜力。
接下来我们将呈现出从全监督到更先进训练体系的探索之路调研并指定了不同的优化机制。
RIFormer采用了与MetaFormer相同的宏观与微观模块区别仅在于RIFormer未使用Token
本文旨在移除每个基础模块中的TokenMixer以得到更高推理速度且性能保持的视觉骨干(仅在推理时移除)。
以PoolFormer-S12为起点将其中用于TokenMixer的Pooling操作替换为Identity同时采用常规监督方式进行训练可以看到RIFormer-S12会导致不可接受的性能下降(下降约2.7%)。
也就是说当没有TokenMixer操作时常规的监督式训练在辅助模型学习有用信息时存在一定局限性需要更先进的训练机制。
接下来作者调查并修改了一系列训练机制以改善基线模型性能可总结如下
上表对比了四种不同训练配置下的性能对比默认老师模型为GFNet-H-B从中可以看到
Hard标签蒸馏可以将模型性能从72.31%提升至73.51%。
这说明带TokenMixer的老师模型对于无TokenMixer的学生模型可以起到正面促进作用了
Soft标签蒸馏可以取得最佳性能学生模型性能可提升至74.05%。
总体来看监督式训练范式看起来并非无TokenMixer架构的最佳训练方式带TokenMixer的老师模型有助于引导训练但仍无法弥补因移除TokenMixer导致的性能损失即还需要引入其他策略。
这几年重参数方法在各个领域得到了广泛的应用。
RIFormer推理时的TokenMixer模块可以视作LNIdentity组合。
因此训练时模块续满足以下两个前提条件
基于上述分析作者在训练阶段采用仿射变换以替代恒等变换它仅在通道维度进行缩放与移位操作见上图。
在推理阶段该仿射变换参数可以合并进LN层故训练时的LN仿射变换可以等价为LNIdentity。
详细分析请查看原文这里给出参数变换公式如下
从上表可以看到直接使用结构重参数机制并无显著优势。
作者认为导致该现象的原因在于LN中的仿射变换是一种线性变换。
因此如果仅仅通过模型的输出进行监督训练额外参数的潜力可能并未得到充分挖掘。
与此同时老师与学生模型的同构设计促使我们探索一种更有效的方式进行模块间的知识迁移。
Imitation以充分利用老师模型TokenMixer后的有用信息。
如上图所示作者希望在训练过程中仿射操作能近似模拟TokenMixer的行为。
此时两者之间的MSE可以计算如下
考虑到当前层的输入为前一Block的输出特征因此作者从Block层面进行匹配此时上述损失简化为
Imitation对与学生模型有正向促进作用。
最贱方案已取得了75.13%超越了PoolFormer-S12的75.01%。
从上表可以看到尽管GFNet-H-B并没有最佳指标但它仍是更佳的选择(无论是否使用Module
Imitation)。
可能这与感受野有关对于有限感受野的RIFormer而言具有更大感受野的模型会是更优的老师选型而GFNet具有全局感受野。
最后作者还尝试了直接加载老师模型中除TokenMixer之外的预训练参数到学生模型学生模型的性能可以**从75.13%提升至75.36%**。
RIFormer-M36的吞吐量可达1185同时精度高达82.6%而PoolFormer-M36的吞吐量为109精度为82.1%。
对比GFNet与RIFormerGFNet-H-B吞吐量为939精度为82.9%但需要特殊的、硬件不友好的FFT操作而RIFormer可达到与之相关的水准且无复杂的操作。
本次活动准备赠送三本《ChatGPT全能应用一本通》小伙伴们可以扫描下方二维码参与抽奖抽奖活动截至2023年06月06日22:00届时请中奖的小伙伴及时联系我们(AIWalker-zhushou)喔
作为专业的SEO优化服务提供商，我们致力于通过科学、系统的搜索引擎优化策略，帮助企业在百度、Google等搜索引擎中获得更高的排名和流量。我们的服务涵盖网站结构优化、内容优化、技术SEO和链接建设等多个维度。
| 服务项目 | 基础套餐 | 标准套餐 | 高级定制 |
|---|---|---|---|
| 关键词优化数量 | 10-20个核心词 | 30-50个核心词+长尾词 | 80-150个全方位覆盖 |
| 内容优化 | 基础页面优化 | 全站内容优化+每月5篇原创 | 个性化内容策略+每月15篇原创 |
| 技术SEO | 基本技术检查 | 全面技术优化+移动适配 | 深度技术重构+性能优化 |
| 外链建设 | 每月5-10条 | 每月20-30条高质量外链 | 每月50+条多渠道外链 |
| 数据报告 | 月度基础报告 | 双周详细报告+分析 | 每周深度报告+策略调整 |
| 效果保障 | 3-6个月见效 | 2-4个月见效 | 1-3个月快速见效 |
我们的SEO优化服务遵循科学严谨的流程，确保每一步都基于数据分析和行业最佳实践：
全面检测网站技术问题、内容质量、竞争对手情况，制定个性化优化方案。
基于用户搜索意图和商业目标，制定全面的关键词矩阵和布局策略。
解决网站技术问题，优化网站结构，提升页面速度和移动端体验。
创作高质量原创内容，优化现有页面，建立内容更新机制。
获取高质量外部链接，建立品牌在线影响力，提升网站权威度。
持续监控排名、流量和转化数据，根据效果调整优化策略。
基于我们服务的客户数据统计，平均优化效果如下：
我们坚信，真正的SEO优化不仅仅是追求排名，而是通过提供优质内容、优化用户体验、建立网站权威，最终实现可持续的业务增长。我们的目标是与客户建立长期合作关系，共同成长。
Demand feedback
