xmlns="http://www.w3.org/2000/svg"
style="display:
none;">
目录
- 论文核心概述
- 一、研究背景与动机
- 1.1
VLA
VLM的效率差异
- 1.1
- 二、四大技术维度深度解析
- 2.1
高效模型架构（第3章）
- **静态骨干网络选择**
- **动态计算路径**
- **双系统设计**（认知科学启发）
- 2.2
高效感知特征（第4章）
- **选择性特征处理**
- **时序共享与重用**
- 2.3
高效动作生成（第5章）
- **原始动作生成**
- **推理感知动作生成**
- 2.4
高效训练与推理（第6章）
- **训练效率技术**
- **推理效率技术**
- 2.1
- 三、未来展望（第7章）
- 3.1
高效时空感知
- 3.3
效率中心评估框架
- 3.1
- 四、论文贡献与价值
- 4.1
主要贡献
- 4.2
局限与不足
- 4.1
- 五、关键图表解读
- 六、与相关综述的对比
- 七、实践建议
摘要
Vision-Language-Action
(VLA)
VLA.
结论
This
survey
intelligence.
论文核心概述
《Efficient
Models
Survey》是首个专门针对高效VLA模型的系统性综述，由中科院自动化所等机构的研究人员撰写。
论文聚焦于解决VLA模型在边缘设备部署时面临的计算效率瓶颈，从四个维度构建了完整的效率优化技术体系。
VLA模型的效率危机
当前VLA模型面临严峻的大模型困境：
- RT-2：55B参数，推理速度仅3Hz
- OpenVLA：7B参数，5Hz运行频率
- π0：3B参数，约10Hz
这些速度数据还是在高端GPU上测得的，在边缘设备上性能更差。
这与机器人控制对**实时性（通常需要50-100Hz）**的严格要求形成尖锐矛盾。
1.2VLA
VLM的效率差异
论文指出，直接将VLM的压缩技术迁移到VLA存在独特挑战：
| 维度 | VLM | VLA |
|---|---|---|
| 输出特性 | 离散文本token | 连续动作序列 |
| 时序要求 | 单帧处理 | 多帧时序一致性 |
| 物理约束 | 无 | 必须满足物理可行性 |
| 实时性 | 相对宽松 | 严格硬实时要求 |
高效模型架构（第3章）
静态骨干网络选择
- RoboMamba：用Mamba状态空间模型替代Transformer，2.7B参数实现更高效时序建模
- TinyVLA：采用Pythia-1.3B轻量语言模型，实现边缘部署
- SmolVLA：使用SmolVLM-2（0.24B-2.25B参数），裁剪最后几层Transformer
动态计算路径
这是论文重点介绍的创新方向：
DEER-VLA：早期退出机制
- 在LLM中间层放置轻量级策略头
- 通过输出相似度度量决定何时提前退出
- 优化目标平衡FLOPs、峰值计算和内存使用
MoLE-VLA：混合专家层路由
- 将每层视为潜在专家
- 门控机制动态选择参与计算的层
- 自蒸馏稳定训练，避免深层信息完全丢失
EfficientVLA：基于余弦相似度的层跳过
- 若层输入输出特征相似度超阈值则跳过
- 自适应输入特性，保留完整表征深度潜力
双系统设计（认知科学启发）
受Kahneman"快思慢想"理论启发，将系统分为：
- System
2（慢系统）
：大模型负责高层推理规划 - System
1（快系统）
：轻量模型执行快速感知动作
代表性工作：
| 方法 | 快系统 | 慢系统 | 通信方式 |
|---|---|---|---|
| LCB | 3DDiffuserActor | LLaVA | 特殊token |
| RoboDual | DiT | OpenVLA | 潜在向量 |
| HyperVLA | Transformer基础策略 | T5超网络 | 网络参数 |
关键创新：HyperVLA
用超网络动态生成任务特定策略参数，实现参数级知识传递。
/>2.2
高效感知特征（第4章）
选择性特征处理
视觉token通常占输入序列80%以上，是主要计算瓶颈。
FastV：注意力评分剪枝
- 计算中间层视觉token平均接收注意力
- Top-K保留重要token
LightVLA：可微分token选择
- 跨模态注意力生成动态查询
- Gumbel-Softmax实现端到端训练
- 自动确定保留token数量，无需预定义
ADP：动作感知动态调整
- 任务驱动静态剪枝（基于文本查询）
- 动作感知动态开关（基于末端执行器运动）
- 滞后机制平衡粗运动时的压缩与精操作时的保真
SQAP-VLA：量化感知剪枝
- 保护量化下的任务关键token
- 保护机器人末端执行器附近token
- 空间采样维持覆盖度
时序共享与重用
利用帧间冗余减少计算：
VLA-Cache：KV-Cache复用
- 估计patch级相似度
- 静态patch复用KV缓存
- 注意力熵动态调整复用比例
TTF-VLA：token融合
- 维护历史patch
token历史
- 二值重要性掩码识别显著变化区域
- 像素差异+注意力相关性双指标
Fast
ECoT：推理缓存
- 高层规划变化缓慢，跨步骤复用
- 结合连续批处理加速
/>2.3
高效动作生成（第5章）
原始动作生成
Action
Chunking：动作分块
- 单次推理生成连续动作块
- 时间集成（平滑/平均）减少方差
- 问题：块边界不连续
RTC：实时分块
- 将分块生成重构为序列修复问题
- 冻结已执行前缀，软掩码重叠区域
- 基于流匹配的平滑过渡
FAST：动作token压缩
- 离散余弦变换（DCT）转频域
- 保留主导低频系数
- Byte-Pair编码进一步压缩
OmniSAT：统一动作tokenizer
- B-spline时序对齐
- 残差向量量化（RVQ）离散化
- 按维度分组（位置/旋转/夹爪）
推理感知动作生成
引入显式推理阶段提升泛化性，但增加延迟：
ECoT：嵌入式思维链
- 将指令分解为结构化字段（TASK/PLAN/SUBTASK/MOVE/GRIPPER/OBJECTS）
- 序列长度从7
token增至350
token
- 延迟显著增加
ECoT-Lite：推理dropout
- 训练时联合预测推理和动作
- 测试时省略推理token，仅输出动作
- 显著加速，性能损失小
DreamVLA：动态区域预测
- 光流检测与末端执行器或物体运动相关的图像区域
- 仅预测动态区域，大幅减少计算
/>2.4
高效训练与推理（第6章）
训练效率技术
参数高效微调（PEFT）：
- LoRA冻结原权重，插入低秩矩阵
- 可训练参数减少数个数量级
知识蒸馏：
- CEED-VLA：一致性蒸馏稳定非自回归推理
- VITA-VLA：跨模型动作对齐，将小型动作模型专家知识迁移到大型VLA
量化感知训练：
- SQIL：状态重要性评分（SIS）指导量化
- BitVLA：1-bit量化，内存从15.1GB降至1.4GB
推理效率技术
解码范式演进：
- 自回归（AR）：顺序生成，简单但慢
- 扩散解码：多步去噪，质量高但迭代慢
- 非自回归（NAR）：并行生成，需特殊训练
- 推测解码：小模型起草+大模型验证
OpenVLA-OFT：
- 因果注意力→双向注意力
- 单次并行预测整个动作序列
- 离散token→连续回归（L1损失）
Spec-VLA：推测解码适配
- 轻量草稿模型并行生成候选序列
- 主模型单次验证
- 放宽验证标准，接受行为有效但非完全一致的草稿
PD-VLA：Jacobi迭代并行解码
- 受Jacobi迭代启发，并行预测所有动作
- 多轮迭代直至收敛
- 训练-推理差距问题
CEED-VLA：一致性模型+早退
- 教师模型Jacobi解码轨迹作为监督
- 辅助AR损失保持分布对齐
- 早退机制：更新低于阈值时停止迭代
/>
三、未来展望（第7章）
论文提出五个关键发展方向：
3.1
模型与数据协同优化
- 问题：数据金字塔（互联网/仿真/真实）中冗余数据导致计算浪费
- 方向：
- 数据边际效用量化框架
- 课程学习动态采样
- 联合缩放律（考虑数据质量与多样性）
3.2
高效时空感知
- 问题：从2D帧到3D表示的token爆炸
- 方向：
- 任务感知3D摘要（仅编码交互相关区域）
- 短期密集跟踪+长期稀疏摘要（关键帧）
- 语义引导过滤，可学习token剪枝
3.3
紧凑连续控制
- 问题：高频连续控制需要大量输出token
- 方向：
- 多级动作抽象（低层原语+高层意图）
- 跨块时序一致性（缓存隐藏状态）
- 反应式推理（轻量级按需规划）
3.4
高效强化学习适应
- 问题：模仿学习存在能力天花板，RL样本效率低
- 方向：
- 渐进训练管道：IL初始化→离线RL微调→安全约束在线适应
- 模型-based
rollout，跨模态经验回放
- 自适应奖励塑形
3.5
效率中心评估框架
- 三维评估体系：
- 资源效率：模型大小、延迟、内存、能耗
- 性能鲁棒性：长程稳定性、分布外泛化
- 可解释性：人类可理解的决策依据、可视化归因
主要贡献
- 首个系统性综述：填补VLA效率优化领域综述空白
- 四维分类体系：架构-感知-动作-训练推理，覆盖完整技术栈
- 前沿趋势洞察：提出模型数据协同、3D感知、连续控制等未来方向
- 开源资源汇总：维护GitHub仓库跟踪最新进展
4.2
技术价值
- 实践指导：为边缘部署提供技术选型参考
- 研究地图：明确各技术路线的优势与局限
- 问题定义：将"效率"从单一指标扩展为多维权衡体系
4.3
局限与不足
- 论文自身指出：当前方法多从VLM迁移，缺乏机器人特异性优化
- 评估标准碎片化，难以横向比较
- 部分方法（如动态剪枝）引入额外训练开销
/>
五、关键图表解读
图1（论文结构）：清晰展示四维分类体系
- 高效架构：静态选择、动态路径、双系统
- 高效感知：选择性处理、时序重用
- 高效动作生成：原始动作、推理感知动作
- 高效流程：训练技术、推理技术
图3（发展轨迹）：时间线展示2025年爆发式增长
- 紫色（高效架构）：RoboMamba→TinyVLA→SmolVLA→NORA等
- 绿色（高效感知）：VLA-CACHE→OTTER→UniVLA等
- 蓝色（高效生成）：FAST→PD-VLA→RTC等
图4（双系统框架）：
- System
2（MMLM）：低频处理，生成推理token和潜在向量
- System
1（动作模型）：高频执行，结合潜在向量与实时感知
- 异步运行：N步推理支持多步动作执行
/>
六、与相关综述的对比
| 综述 | 焦点 | 与本文关系 |
|---|---|---|
Maal.,2024 | VLA概念、架构、应用广泛概述 | 本文聚焦效率子集，更深入 |
Zhongal.,2025 | 动作token化视角 | 本文覆盖更广，含架构和感知 |
Jiangal.,2025 | 自动驾驶VLA | 本文针对通用操作，更广泛 |
/>
七、实践建议
基于论文分析，针对不同应用场景的建议：
边缘设备部署（<1B参数）：
- 架构：SmolVLA、NORA、TinyVLA
- 感知：FastV
token剪枝
VLA-Cache时序复用
- 动作：FAST压缩
+
size
云端高性能场景：
- 架构：MoLE-VLA动态层路由
- 感知：LightVLA可微分剪枝
- 动作：RTC平滑分块
+
ECoT-Lite推理加速
研究探索方向：
- 双系统架构的异步调度优化
- 3D感知的高效token化
- 强化学习与VLA的高效结合
/>
这篇综述为VLA领域的效率优化研究提供了全面的技术地图和明确的发展方向，对于推动VLA模型从实验室走向实际机器人应用具有重要意义。
