机器人与具身AI¶
最后更新: 2026-04-16 | 深度调研
RT-2 / Octo / π₀ 架构对比¶
RT-2 (Google DeepMind, 2023)¶
-
骨干: PaLI-X (VLM), 直接输出离散动作 token
-
参数: 55B (PaLI-X版)
-
数据: 机器人 + 互联网图文
-
泛化: 新场景 32% → 62% (超 RT-1 3×)
Octo (Berkeley, 2024)¶
-
骨干: Transformer (无预训练 VLM)
-
参数: 27M (Small) / 93M (Base)
-
数据: Open X-Embodiment 80万轨迹, 25 个数据集
-
动作: 连续 (Diffusion Head)
-
完全开源 (权重+代码+流水线)
π₀ (Physical Intelligence, 2024)¶
-
骨干: PaliGemma 3B VLM + 动作专家 (Flow Matching)
-
参数: 3.3B (2.29B VLM + 0.315B Action Expert)
-
数据: ~500 小时 (7种机器人, 68种任务)
-
双系统: S2 语义 7-9Hz + S1 运动 200Hz
-
控制: 35 自由度 (腕/躯干/头/手指)
-
零样本野外: 42.3% (Penn GRASP Lab)
Meta NWM: 导航世界模型 (CVPR 2025)¶
论文: arXiv:2412.03572
CDiT 架构¶
-
目标帧 Self-Attention + Context 帧 Cross-Attention
-
对 context 帧数 m 复杂度线性 (vs 标准 DiT 二次方)
-
比标准 DiT 少 4× FLOPs
-
支持扩展至 1B 参数
训练数据¶
-
机器人导航视频 (多种机器人, 有动作标注)
-
Ego4D: 1619 视频, 908 小时 (无标注, 时序位移)
性能¶
-
NWM 独立规划: ATE 1.13 ± 0.02 m
-
NWM+NoMaD 联合: 1.78 m
-
NoMaD 单独: 1.93 m
Tesla Optimus + FSD 共享世界模拟器¶
来源: Elluswamy ScaledML 2026 演讲
-
统一神经世界模拟器: 同一视频生成网络
-
汽车 (4000磅) → Optimus (125磅) 跨平台泛化
-
36 Hz 闭环, 视觉上不可区分
-
历史失败重播 + 对抗场景注入 + 完全合成驾驶
-
首次公开确认 FSD 和 Optimus 共享同一"大脑"
Figure AI Helix VLA¶
-
训练数据: ~500 小时 (占同类 VLA <5%)
-
控制: 35 DoF 完整上半身
-
双系统: S2 7B VLM 7-9Hz + S1 80M Transformer 200Hz
Project Go-Big: 零样本人类→机器人¶
-
采集纯人类第一视角视频
-
VLM 自动标注语言指令
-
在人类视频上训练 (无机器人数据!)
-
直接部署到 Figure 机器人: 零样本成功
智元 AgiBot World: 百台机器人数据工厂¶
-
Alpha版: 1,001,552 条轨迹, 2976.4 小时, 217 任务
-
100 台机器人并行, 100+ 真实场景
-
日产目标: 3-5 万数据点
-
IROS 2025 最佳论文候选 + IEEE TRO 2026
-
2026 目标: 出货 10,000 台
Sim2Real 2025-2026 现状¶
腿式运动: 接近实用¶
-
零样本 sim2real 平地: ~94%+ 成功率
-
复杂地形: 80-90%
灵巧操作: 巨大鸿沟¶
-
单臂抓取: 83%
-
双臂精细操作: 下降 30-50%
-
双足+灵巧手全身: 研究阶段
2026 "部署墙" 5 条证据¶
-
实验室→真实: demo 依赖固定环境, 真实场景性能悬崖
-
规模化: <1% 工业企业使用人形机器人
-
硬件: 锂电续航 1-4 小时, 无法 7×24
-
真实失败: 北京半马 21 台参赛, 仅 6 台完赛
-
工程鸿沟: 研究会议 vs 工厂部署差距在拉大
参考¶
深度子文档¶
-
05.2.1 人形机器人公司全景 — Tesla/Figure/1X/Agility/Unitree/智元等15+家, 融资对比
-
05.2.2 开源项目与框架全景 — Octo/OpenVLA/π₀/GR00T N1/LeRobot + 仿真平台 + 数据集
-
05.2.3 技术路线之争与市场数据 — VLA vs WM, Sim2Real, Scaling Law, 中美欧竞争, 2026关键挑战
↑ 上级 · 05 应用领域深度分析