02 | VLA 架构范式 ¶

三大架构范式 ¶

graph TD
    subgraph "端到端 End-to-End"
        A1[视觉] --> B1[共享 Encoder]
        A2[语言] --> B1
        B1 --> C1[动作 Decoder]
        C1 --> D1[动作输出]
    end
    subgraph "模块化 Modular"
        A3[视觉 Encoder] --> C3[融合层]
        A4[语言 Encoder] --> C3
        C3 --> D3[动作 Decoder]
        D3 --> E3[动作输出]
    end
    subgraph "双系统 Dual-System"
        A5[视觉+语言] --> B5["System 2 慢思考<br>7B VLM, 7-9Hz"]
        B5 --> C5["潜在指令"]
        C5 --> D5["System 1 快执行<br>80M, 200Hz"]
        D5 --> E5[动作输出]
    end

端到端架构 ¶

视觉 + 语言 + 动作在同一模型中联合推理，通常基于预训练 VLM 扩展。

优点：表征统一，端到端优化；缺点：推理慢（1-10Hz），难以高频控制。

模块化架构 ¶

视觉编码器、语言模型、动作解码器独立设计，通过中间表征桥接。

优点：灵活组合、轻量高效；缺点：模块间信息传递可能损失。

双系统架构 ¶

模仿人脑快慢系统：System 2 慢思考（VLM，低频推理）→ System 1 快执行（轻量网络，高频控制）。

代表：Figure Helix (2025)¶

• System 2：7B VLM，7-9 Hz，负责场景理解、任务规划
• System 1：80M 交叉注意力头，200 Hz，将潜在指令实时转换为电机信号
• 关键技巧：训练时引入 temporal offset 模拟部署延迟

优点：解耦推理 / 控制频率，兼顾智能与实时；缺点：系统复杂，双模型需协同训练。

核心组件设计 ¶

视觉编码器 ¶

趋势：多编码器融合（OpenVLA 同时使用 SigLIP + DINOv2）以兼顾语义和细节。

语言模型骨干 ¶

动作解码器 ¶

推理频率对比 ¶

Acknowledgement¶

• VLA Survey: A Survey on Vision-Language-Action Models
• Helix: A VLA Model for Generalist Humanoid Control