具身智能技术调研：从视觉—语言—动作模型到可验证的物理闭环
具身智能技术调研：从视觉—语言—动作模型到可验证的物理闭环
结论先行：具身智能的关键进步不是让模型“会描述世界”，而是让系统在不完整观测、接触不确定性和安全约束下，持续完成可验收的物理任务。视觉—语言—动作（VLA）模型已显示出跨物体、跨语言指令的迁移潜力；但真实生产能力仍主要取决于任务边界、数据闭环、确定性低层控制、独立安全回路与渐进式验证，而非单个基础模型的参数规模。 调研截点：2026-09-07 | 范围：物理机器人（固定机械臂、移动操作平台、人形平台），不把纯虚拟智能体或宣传演示等同于可部署系统。
0. 阅读说明：证据、术语与非结论
证据分级
| 标签 | 含义 | 本文使用方式 |
|---|---|---|
| [A] | 原始论文、正式标准、模型卡或官方技术页面 | 支撑机制、实验设置和规范边界 |
| [B] | 官方代码仓库、开发者文档、项目页 | 支撑可获得性、接口和复现实务；状态可能变化 |
| [C] | 基于 A/B 的工程推断 | 明确标记为建议，不表述为已验证事实 |
- 本文优先引用一手资料；厂商展示、融资规模和单段视频不作为泛化能力证据。
- 具身智能指感知、状态估计、决策/策略、运动控制、执行器与反馈学习构成的物理闭环。大语言模型可以是其中的任务接口或语义先验，但不是闭环本身。
- VLA（Vision-Language-Action）以视觉与语言为条件直接或近直接地产生机器人动作/动作块；它与传统规划、技能库、伺服控制并不互斥。
三个不应混淆的判断
- 会做演示 ≠ 可长期运行：一次成功没有覆盖遮挡、标定漂移、网络抖动、物体偏移、恢复动作与人工接管。
- 仿真得分 ≠ 实机安全：仿真可以扩大覆盖，但接触、柔性物、摩擦、相机噪声与人机共处仍存在域差距。
- 语言泛化 ≠ 运动泛化：能理解“把红杯放入盒中”并不保证在新夹具、不同摩擦或受限关节下能稳定完成抓取与放置。
1. 系统本质：模型必须嵌入受约束的控制闭环
一个可部署系统至少有两条彼此独立的链路：
- 能力链路：从多模态观测和任务指令，产生候选动作，利用技能与控制器执行，并把成败样本回流至训练与评测；
- 安全链路：不信任模型输出，独立校验速度、力、工作空间、碰撞、通信超时与急停状态，并可在模型失效时停止或降级。
图 1 能力链路与安全链路必须解耦。模型可提出动作，但不应是物理安全的唯一裁决者。图源：本文根据 [1][2][12][16] 整理。
1.1 时间尺度决定了分层设计
| 层级 | 典型职责 | 工程属性 | 失效时的后果 |
|---|---|---|---|
| 任务层 | 解释自然语言、选择子任务、估计完成条件 | 允许较慢、可调用大模型 | 任务选错、语义歧义 |
| 策略层 | 视觉条件动作、动作块、重规划 | VLA / 模仿学习 / 强化学习 | 泛化失败、动作不可执行 |
| 技能与规划层 | 抓取、插拔、避障、轨迹生成 | 有明确坐标系、约束与可测指标 | 轨迹失败、无恢复策略 |
| 伺服与安全层 | 关节控制、限位、碰撞/力监测、急停 | 必须确定、可审计、低时延 | 设备、物料或人员风险 |
工程推断 [C]：把生成式/概率式策略限定在任务层或候选动作层，并把最终执行权交给可验证的控制与安全层，通常比“端到端直接下发电机命令”更利于首批真实部署。这个判断不否定端到端学习，而是将其置于可观测、可拒绝、可回退的系统边界内。
1.2 关键接口比模型命名更重要
应把下列接口作为可测试的“数据契约”：相机内外参和时间戳、机器人坐标系、控制频率、动作表示、延迟预算、夹具状态、力/扭矩单位、任务成功判据，以及人工接管事件。跨本体数据训练时，动作空间和观测延迟若未显式处理，模型很容易把“不同机器人”误当作同一动力学系统。[7][10]
2. 技术路线：三类方案服务于不同风险面
| 路线 | 核心思想 | 适合的问题 | 优势 | 主要短板 | 首批部署建议 |
|---|---|---|---|---|---|
| 端到端 VLA | 图像+文字→离散动作或连续动作块 | 语义多样、物体外观变化多的操作 | 语言条件泛化、端到端学习接口 | 数据昂贵；长时程误差累计；难以解释 | 作为受约束的技能选择器或候选策略 |
| 分层/模块化 | 任务规划、场景表征、技能策略、控制器分工 | 多步骤、需诊断与恢复的流程 | 易加约束、易定位故障、可替换模块 | 接口设计复杂；误差会跨模块传递 | 大多数生产 PoC 的默认路线 |
| 专用策略+确定性自动化 | 为固定工位、物料和轨迹优化 | 节拍、精度和可靠性优先的重复任务 | 可验证、吞吐稳定、验收清晰 | 换型和语义泛化较弱 | 最高优先级；VLA 增强异常处理 |
2.1 VLA 的代表性证据，而非“排行榜”
| 系统 | 一手证据与事实 | 说明 | 对采购/研发的含义 |
|---|---|---|---|
| RT-2（2023） | 将机器人轨迹表示为 token，与互联网视觉—语言数据共同训练；原论文在其特定新颖任务设置中报告 RT-2 成功率 62%，RT-1 为 32%。[1] [A] | 展示“网络语义→机器人动作”的迁移可行性。 | 这是研究评测，不是对任意工厂任务的 SLA。 |
| OpenVLA（2024） | 公开 7B VLA，融合 SigLIP/DINOv2 视觉编码器与 Llama 2 主干；项目页称其用 97 万个 Open X-Embodiment episode 训练，并在其泛化评测中优于若干基线。[2][3] [A/B] | 代表可复现、可微调的开放路径。 | 许可证、显存、动作适配和实机校准均需独立核验。 |
| π₀ / OpenPI（2024–） | π₀ 项目使用 VLM 与 flow matching 生成连续动作，原始资料报告 7 类机器人、68 个任务、约 1 万小时数据与 50 Hz 控制输出；OpenPI 仓库公开 π₀、π₀.₅、FAST 相关实现与若干工作流。[4][5] [A/B] | 连续动作生成与异构机器人数据是重要方向。 | 原始 π₀ 未给出完整可复现权重/训练集；“可用代码”不等于目标本体已验证。 |
| Isaac GR00T（2025–） | NVIDIA 将其定位为通用人形机器人开放参考平台，并连接基础模型、开放数据、仿真与边缘计算组件。[6] [B] | 有利于打通工具链，但公开页的能力表述与独立基准不同。 | 逐项验证模型版本、训练数据、硬件和任务指标。 |
| Gemini Robotics（版本持续演进） | 官方将模型描述为 VLA/具身推理系列，面向从视觉和语言到机器人控制的接口。[8] [B] | 表明前沿闭源模型正进入机器人接口层。 | 接入条件、数据出境、版本漂移、可审计性应写入供应条款。 |
可比性警告：上述系统使用的机器人形态、相机、任务分布、训练数据和成功定义不同。没有统一实机协议时，不应从一项论文或一次演示推导“某模型总体领先”。
3. 数据才是物理泛化的瓶颈
3.1 为什么机器人数据比互联网数据更难
互联网图文包含丰富语义，却通常缺少精确的末端位姿、夹具状态、力觉、坐标系、控制延迟、失败恢复与安全约束。机器人记录还需要处理本体差异、相机安装差异和操作者差异。Open X-Embodiment/RT-X 汇聚 21 家以上机构的 22 种机器人、527 项技能和百万级轨迹，证明了跨机构、跨机器人汇聚数据的价值，同时也把动作归一化和数据质量控制推到工程核心。[7]
| 数据类别 | 应包含的字段 | 能解决什么 | 常见误用 |
|---|---|---|---|
| 遥操作/示教 | 多视角视频、关节/末端状态、动作、时间戳、任务标签 | 基础模仿与接触先验 | 只存成功片段，导致恢复能力缺失 |
| 自主 rollout | 模型版本、环境差异、干预、失败原因 | 分布外检测、主动采样 | 未记录人工接管，使失败不可解释 |
| 仿真数据 | 随机化参数、资产版本、接触配置、种子 | 预训练和覆盖长尾组合 | 误以为高仿真分数就是实机表现 |
| 运行日志 | 传感器健康、延迟、急停、保护停、轨迹 | 可靠性、审计与回归测试 | 与训练集脱节，无法复现线上失效 |
数据闭环最小集 [C]：对每次实机尝试同时存储“指令—观测—候选动作—安全裁决—最终动作—结果—人工干预—硬件/软件版本”。没有这条可追溯链路，迭代会退化成不可复现的试错。
3.2 数据集与基准的正确用途
- Open X-Embodiment / RT-X：[7] 汇聚异构机器人学习数据，适合作为跨本体预训练和动作表示研究的证据，不替代目标工位采集。
- DROID：[10] 由 13 个实验室以统一 Franka、ZED 与 Quest 采集设置获得 7.6 万条轨迹、564 个场景、50 位采集者的真实环境数据；其价值在于补充真实视觉与操作变化。该版本剔除了失败轨迹，目标平台仍需做分布匹配与恢复数据补采。
- BEHAVIOR-1K：[11] 在 OmniGibson 中给出 1,000 个日常活动、50 个场景的长时程评测；它应被视作“任务覆盖与诊断工具”，而非实机认证。
- LIBERO / 任务套件类评测：适合比较学习算法的保持、迁移与组合能力；应同时报告训练/测试划分、随机种子、失败类型和置信区间。
3.3 数据治理不是附录
实拍数据可能包含人员、厂区布局、工艺、语音和客户物料。部署前需定义采集授权、最小化字段、访问控制、保留期限、可删除性与跨境边界。对“从互联网视频学习”的设想，还要额外区分动作语义先验与可执行控制监督，避免将未经授权内容直接视作机器人控制标签。[C]
4. 仿真到真实：它缩短试验，不取代实机证据
仿真环境的角色包括资产搭建、并行采样、策略回归、故障注入和系统辨识。Isaac Lab 提供 GPU 加速的机器人学习工作流；ManiSkill3 强调并行仿真与渲染。[12][13] 这些工具能增加覆盖面，但接触动力学、柔性物、反光/透明物、视觉遮挡和传感器延迟仍是典型 sim-to-real 残差来源。
| 手段 | 降低的风险 | 仍不能替代 |
|---|---|---|
| 域随机化 | 光照、纹理、相机、质量和摩擦的小范围差异 | 未建模的接触、物料形变、装配间隙 |
| 数字孪生/系统辨识 | 资产几何和动力学偏差 | 现场维护、磨损、随机摆放 |
| Hardware-in-the-loop（HIL） | 接口、延迟、控制频率和异常路径 | 人机共处、真实物料损坏 |
| 回放与影子模式 | 模型回归与告警阈值 | 执行时的闭环扰动与恢复 |
验收原则 [C]：每项仿真改进都应对应至少一个实机对照，例如首抓成功率、恢复成功率、碰撞/保护停率、平均人工干预次数和完成时间分位数。只报平均成功率会掩盖长尾风险。
5. 评测：从“成功率”升级为可运营指标
5.1 三层证据链
| 层次 | 问题 | 最小报告项 | 不足以证明什么 |
|---|---|---|---|
| 离线回放 | 新模型是否破坏已知样本？ | 数据版本、成功判据、失败簇、置信区间 | 闭环控制稳定性 |
| 仿真/HIL | 是否覆盖边界条件和接口故障？ | 随机化范围、种子、故障注入、延迟 | 真实接触与人员安全 |
| 实机受控试验 | 是否在目标分布完成任务？ | 任务数、重置方式、成功/恢复、接管、异常 | 长期生产可用性 |
5.2 建议的实机 scorecard
- 任务成功率：预先冻结成功定义，报告样本量与区间估计。
- 恢复率：首尝试失败后，在允许动作内自行恢复的比例。
- 人工干预：每 100 次任务的接管、急停、远程协助次数。
- 安全事件：保护停、限位触发、碰撞、超力、通信超时，按严重度分级。
- 节拍与尾延迟：报告 P50/P95/P99，避免平均值掩盖堵塞。
- 分布漂移：按照明、物料批次、摆放、夹具、操作时段切分结果。
- 可追溯性：每项结果关联软件、模型、数据、标定与硬件版本。
6. 安全与部署：先定义不可越过的边界
ISO 10218-1:2025 是工业机器人安全要求系列中的 Part 1。[16] 该标准的适用与合规评定应由具备资质的专业团队结合具体系统完成；更重要的是，基础模型的概率性输出不会自动继承安全认证。
6.1 独立安全层的最低能力
- 硬件急停、使能开关、速度/力/工作空间限位与通信看门狗；
- 运动前的可达性、碰撞、载荷和夹具状态检查；
- 模型输出的动作范围、帧率、坐标系和置信/异常阈值校验；
- 不确定、传感器失效或指令歧义时的停止/请求人工确认，而非继续猜测；
- 可审计日志与安全事件回放；控制系统与安全系统的最小权限隔离；ROS 2 的 DDS-Security 可提供认证、加密与访问控制，但网络安全配置不等同于功能安全认证。[17]
6.2 逐门推进，而非“一键上线”
图 2 部署门槛必须允许降级与停止；后续阶段不应覆盖前一阶段的验收工件。图源：本文根据 [12][13][16] 整理。
| 阶段 | 放行条件示例 | 失败后的动作 |
|---|---|---|
| 0. 任务边界 | 明确物料、人员区域、最大载荷、危险源和成功定义 | 收窄任务或补充防护 |
| 1. 离线回放 | 数据完整、版本可复现、无关键回归 | 修复数据/策略/接口 |
| 2. 仿真与 HIL | 关键扰动与故障路径覆盖，接口时序满足预算 | 调整模型、控制或数字孪生 |
| 3. 隔离实机 | 围栏/低速/接管，目标分布下的恢复和安全指标达标 | 降级到确定性技能或停止 |
| 4. 受控生产 | 监控、审计、变更审批、回滚和现场责任人到位 | 暂停变更、回放和根因分析 |
6.3 三种本体的现实取舍
| 本体 | 最佳早期任务 | 系统优势 | 主要代价 |
|---|---|---|---|
| 固定机械臂 | 上下料、分拣、包装、受限装配 | 工作空间与安全边界最清晰 | 覆盖范围有限，需要工装配合 |
| 移动操作平台 | 仓储、实验室、跨工位搬运操作 | 覆盖更大环境 | 导航、定位与操作耦合，验证复杂 |
| 人形平台 | 为人类环境设计的双足/双臂任务研究 | 形态兼容既有人类工具 | 平衡、跌倒、能耗、维护和安全验证成本最高 |
建议 [C]：若目标是近端业务价值，优先选择“高重复、物料受控、空间受限、可围栏”的单站任务；人形平台应以明确的形态收益（而非通用叙事）证明其额外复杂度。
7. 开源与生态：把“可下载”拆成可运行、可修改、可商用
| 层 | 代表工具/项目 | 尽调问题 |
|---|---|---|
| 模型与训练 | OpenVLA、OpenPI、RT-X 系列 | 权重、数据、代码分别是什么许可证？是否支持目标动作空间？ |
| 仿真与数据生成 | Isaac Lab、ManiSkill、MuJoCo | 资产、物理参数和渲染能否覆盖目标工位？ |
| 机器人中间件 | ROS 2、MoveIt 等 [15] | 驱动、生命周期、时间同步、实时性和安全接口如何集成？ |
| 控制与安全 | 机器人控制器、现场总线、安全 PLC | 谁拥有最终停机权？失联、版本回退和手动模式如何验证？ |
| 运维 | 数据版本、模型注册、日志、回放与监控 | 能否将一次异常还原为具体模型/数据/标定版本？ |
开放代码的工程价值在于可审计、可微调和可集成，不在于免除验证。以 OpenVLA 为例，仓库给出了 LoRA/全量微调路线，同时也列明了 PyTorch、Flash Attention 与显存等依赖。[3] 这类依赖应纳入 PoC 成本，而非在采购后才发现。
8. 决策框架：用任务而非“通用性”立项
8.1 PoC 选择清单
选择 1 个任务时，建议同时满足：
- 物料尺寸、姿态和质量有可测范围；
- 成功可由传感器或工艺结果自动判定；
- 可以围栏、限速或在无人时段试验；
- 失败可以安全复位，且不会损伤高价值物料；
- 有足够历史数据或可在 4–8 周内采集有代表性的示教与失败样本；
- 现有确定性方案存在可量化缺口（换型、人力、异常恢复或柔性），而不是为了替换已足够可靠的自动化。
8.2 立项时应冻结的验收契约
- 任务分布：物料、布局、光照、夹具和人员进入范围。
- SLO 与安全阈值：成功、节拍、恢复、接管和事件上限。
- 对照基线：人工操作或传统自动化在同一任务分布下的指标。
- 变更流程：模型、数据、标定、固件变更后必须重跑哪些门槛。
- 数据权利：谁可访问、训练、删除和导出运行数据。
- 退出与降级：模型不可用时回到哪套确定性流程，由谁执行。
9. 未来 12–24 个月的可检验信号
| 信号 | 值得期待的变化 | 不能据此推导 |
|---|---|---|
| 真实数据规模化 | 更丰富的跨任务、跨本体先验 | 无需目标场景数据 |
| 连续动作与动作块 | 更平滑的长序列控制、较少手工分段 | 能自动满足接触安全 |
| 合成数据与世界模型 | 更快覆盖罕见组合与失败路径 | 取代真实验证 |
| 人形基础模型 | 双臂协同、全身控制研究加速 | 人形在每个场景都优于专用本体 |
| 边缘推理 | 更低往返延迟、更强隐私控制 | 可忽略功耗、散热与安全认证 |
| 标准与评测 | 更清晰的安全与互操作语言 | 单一榜单可代表生产可靠性 |
10. 最终判断
具身智能已经从“视觉理解附加动作头”的研究设想，进入基础模型、真实机器人数据、仿真、控制栈和边缘计算共同演进的阶段。RT-2、OpenVLA、π₀/OpenPI 等项目说明 VLA 路线可以把语言与视觉先验带入机器人动作学习；但它们并没有消除物理世界中的数据稀缺、接触不确定性、长时程恢复和安全责任。
对研发团队：先建设可追溯数据与回归体系，再比较模型；先把技能、控制和安全接口标准化，再扩大本体与任务。 对业务团队：把“通用智能”翻译成单一工位的 SLO、接管率和可回退计划。 对管理者：以受控任务的累计可靠性和安全证据评估进度，不以单次演示或融资新闻代替工程验收。
参考资料（优先一手来源）
- [A] Google DeepMind, RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control（2023）：https://arxiv.org/abs/2307.15818；项目页：https://robotics-transformer2.github.io/。
- [A] Kim et al., OpenVLA: An Open-Source Vision-Language-Action Model（2024）：https://openvla.github.io/；论文：https://arxiv.org/abs/2406.09246。
- [B] OpenVLA 官方仓库（模型、微调、依赖与许可证）：https://github.com/openvla/openvla。
- [A] Physical Intelligence, π₀: Our First Generalist Policy：https://www.pi.website/blog/pi0；论文：https://arxiv.org/abs/2410.24164。
- [B] Physical Intelligence, OpenPI 官方仓库：https://github.com/Physical-Intelligence/openpi。
- [B] NVIDIA, Isaac GR00T 官方开发者页面：https://developer.nvidia.com/isaac/gr00t。
- [A] Open X-Embodiment Collaboration, Open X-Embodiment: Robotic Learning Datasets and RT-X Models（2023）：https://arxiv.org/abs/2310.08864。
- [B] Google DeepMind, Gemini Robotics 官方页面：https://deepmind.google/models/gemini-robotics/。
- [A] Octo Collaboration, Octo: An Open-Source Generalist Robot Policy（2024）：https://octo-models.github.io/。
- [A] Khazatsky et al., DROID: A Large-Scale In-the-Wild Robot Manipulation Dataset（2024）：https://droid-dataset.github.io/。
- [A] Li et al., BEHAVIOR-1K: A Benchmark for Embodied AI with 1,000 Everyday Activities：https://proceedings.mlr.press/v205/li23a.html。
- [B] NVIDIA, Isaac Lab 文档：https://isaac-sim.github.io/IsaacLab/。
- [A] Tao et al., ManiSkill3: GPU Parallelized Robotics Simulation and Rendering for Generalizable Embodied AI（2024）：https://arxiv.org/abs/2410.00425。
- [A] Chi et al., Diffusion Policy: Visuomotor Policy Learning via Action Diffusion（2023）：https://arxiv.org/abs/2303.04137。
- [B] ROS 2 官方文档：https://docs.ros.org/。
- [A] ISO, ISO 10218-1:2025 — Robotics — Safety requirements — Part 1: Industrial robots：https://www.iso.org/standard/73933.html。
- [B] ROS 2, DDS-Security 概念与配置边界：https://docs.ros.org/en/humble/Concepts/Intermediate/About-Security.html。
链接均为资料截点时可访问的一手页面或其原始论文入口。模型可用性、权重、许可证、API 接入和标准适用范围会变化；进入采购、生产或合规流程前，应以当期正式合同、软件发布说明和专业安全评估为准。