从 VLA / VLM、World Model、Policy、Planner、Control 到 Sim2Real、遥操作、机器人数据与安全评测，理解 AI 怎样进入物理世界闭环
| 环节 | 核心职责 | 典型问题 | 关键关注 |
|---|---|---|---|
| 感知 Perception | 把真实世界变成机器可用状态 | 遮挡、光照、噪声、传感器漂移、未知物体 | VLM、3D 感知、目标定位、状态估计、多传感器融合 |
| 世界模型 World Model | 预测环境如何变化、动作会带来什么后果 | 物理规律不完整、长期预测漂移、不可见状态 | 空间记忆、动力学、因果约束、仿真与真实对齐 |
| 规划 Planner | 把任务拆成可执行动作序列 | 目标模糊、约束冲突、规划过长、失败后不会重规划 | 任务树、路径规划、约束求解、失败恢复 |
| 策略 Policy | 在当前状态下选择动作或技能 | 泛化差、对数据分布敏感、动作不稳定 | 模仿学习、强化学习、VLA、技能库、动作 token |
| 控制 Control | 把高层动作变成连续、安全、可执行的运动 | 碰撞、抖动、力控不稳、实时性不足 | MPC、轨迹优化、阻抗控制、低层安全约束 |
| 反馈 Feedback | 持续观察结果并纠偏 | 执行偏差、物体滑落、环境变化、异常难识别 | 闭环控制、在线重规划、异常检测、人工接管 |
具身智能的难点不是“模型能不能看懂图片”，而是模型的判断能不能变成可控、可恢复、对现实物理约束负责的动作。文本世界里错一句话可以撤回，物理世界里错一个动作可能撞坏设备、伤到人或破坏现场。
| 概念 | 它解决什么 | 在机器人里的位置 | 常见误解 |
|---|---|---|---|
| VLM | 把视觉、语言和任务语义对齐 | 感知理解、目标定位、场景问答 | 会看图不等于会控制身体 |
| VLA | 把视觉、语言和动作统一到一个策略接口 | 从观察和指令直接生成动作或动作 token | 端到端不代表不需要控制与安全层 |
| World Model | 预测动作后环境会怎样变化 | 规划、仿真、反事实推演、失败预判 | 不是 3D 地图那么简单，还要包含动力学和可交互性 |
| Policy | 在状态下决定下一步动作 | 技能执行、动作生成、策略泛化 | 策略好不等于任务一定成功，还要看感知和控制 |
| Planner | 把目标转成步骤、路径和约束 | 长任务、导航、抓取序列、失败恢复 | 只靠大模型语言规划，可能忽略几何和物理约束 |
| Control | 保证动作连续、稳定、安全 | 关节控制、轨迹跟踪、力控、刹停 | 高层 AI 再强，也不能替代实时控制工程 |
| Sim2Real | 让仿真里学到的能力迁移到真实世界 | 训练、评测、数据扩增、危险场景演练 | 仿真不是现实，材质、摩擦、延迟、传感器误差都会漏出来 |
| Teleoperation | 用人类远程操作采集演示或兜底执行 | 数据采集、技能教学、人机协同、接管 | 遥操作数据贵且有偏，不能无限替代真实自主能力 |
| 数据来源 | 包含什么 | 价值 | 主要限制 |
|---|---|---|---|
| 遥操作演示 | 人类操作轨迹、视觉观测、动作、力反馈 | 最直接的技能示范，适合模仿学习 | 成本高、速度慢、操作者风格偏差明显 |
| 真实机器人日志 | 执行轨迹、失败案例、传感器数据、任务结果 | 贴近部署分布，能暴露真实故障 | 数据脏、标注难、危险动作不能随便采集 |
| 仿真数据 | 可控场景、物体随机化、碰撞和状态真值 | 规模化、低风险、可覆盖长尾场景 | Sim2Real 差距、物理材质和传感器误差难完全还原 |
| 互联网视频 | 人类活动、物体交互、场景常识 | 规模巨大，能学语义和人类行为先验 | 缺少机器人动作标签，视角和动力学不匹配 |
| 合成任务数据 | 自动生成指令、场景、任务目标和评测脚本 | 补齐任务覆盖，辅助评测和训练 | 可能过于干净，真实复杂度不足 |
机器人系统上线后，最有价值的数据往往来自失败、犹豫、接管和异常。数据闭环要记录任务目标、传感器观测、策略输出、控制指令、执行结果和人工干预点。
同一个“拿起杯子”，不同机械臂、夹爪、相机位置、桌面高度和摩擦条件都会影响动作分布。数据如果不记录硬件和场景上下文，很难复用。
具身智能里的关键瓶颈经常不是语言模型不会推理，而是缺少覆盖真实物理交互、失败模式和长尾场景的数据。
仿真适合做覆盖、筛选、压力测试和长尾预演；真实场地测试负责校准最终可用性。好的 Sim2Real 不是幻想“仿真等于现实”，而是持续测量差距、缩小差距，并在差距过大时让系统降级或接管。
| 场景 | 典型任务 | 技术重点 | 落地约束 |
|---|---|---|---|
| 工业 / 仓储 | 抓取、分拣、搬运、巡检、装配、质检 | 稳定感知、运动规划、夹爪控制、异常检测 | 节拍、可靠性、设备安全、产线集成 |
| 家庭 / 服务机器人 | 整理、清洁、递送、陪护、简单烹饪辅助 | 开放词汇理解、长尾物体、柔性操作、人机交互 | 安全、人类偏好、成本、噪声、隐私 |
| 自动驾驶 / 移动机器人 | 感知、预测、决策、规划、控制、导航 | 多传感器融合、轨迹预测、实时规划、冗余安全 | 法规、道路长尾、责任边界、极端天气 |
| 医疗 / 康复 | 手术辅助、康复训练、护理搬运、药品配送 | 精密控制、力反馈、人类状态感知、审批流程 | 高安全等级、监管、可解释性、人工接管 |
| 农业 / 户外作业 | 采摘、喷洒、巡检、运输、除草 | 非结构化环境感知、移动底盘、鲁棒控制 | 天气、地形、作物差异、设备维护 |
| 危险环境 | 消防、矿山、核电、灾害救援、安防巡检 | 远程操控、自主导航、耐受性、通信中断恢复 | 极端环境、安全冗余、通信不稳定、任务不可重试 |
| 相邻方向 | 提供什么 | 在具身智能中的作用 | 边界 |
|---|---|---|---|
| LLM / AI 主干 | 语言理解、常识推理、任务解释、交互界面 | 把人类意图转成任务目标和约束，辅助解释失败 | 语言推理不能替代几何、物理和实时控制 |
| 多模态 AI 工程 | 图像、视频、语音、文档的解析与工作流接入 | 提供视觉语言理解、场景描述、跨模态检索和人机交互 | 普通多模态多停留在“理解输入”，机器人还要行动 |
| Agent 系统 | 规划、工具调用、状态、检查点、人工介入 | 为长任务机器人提供任务级编排和失败恢复框架 | 软件 Agent 的工具副作用可回滚，物理动作常常不可逆 |
| 数字孪生 / 仿真 | 可控场景、状态真值、回放、压力测试 | 支持训练、评测、事故复盘和调度优化 | 数字孪生越精细越贵，且仍无法覆盖全部现实摩擦 |
| 安全治理 | 权限、边界、评测、审计、人工确认 | 定义机器人何时能行动、何时必须停机或请求接管 | 物理安全需要软硬件共同设计，不能只靠文本护栏 |
Agent 调工具，机器人调身体。前者的错误常常是数据、副作用或流程风险；后者还会带来碰撞、损坏、伤害和环境不可逆改变。因此机器人系统必须把规划、策略、控制和安全停机放在同一张图里看。
| 评测层级 | 看什么 | 典型指标 |
|---|---|---|
| 感知评测 | 是否正确识别物体、位置、状态和风险 | 检测准确率、定位误差、状态识别、遮挡鲁棒性 |
| 规划评测 | 能否生成可行、短、稳、符合约束的路径 | 可行率、重规划次数、约束违反率、路径效率 |
| 策略评测 | 动作是否能完成技能且泛化到变化场景 | 技能成功率、分布外失败率、接管率 |
| 控制评测 | 运动是否平滑、稳定、安全 | 轨迹误差、碰撞率、力控稳定性、急停触发 |
| 任务评测 | 端到端能否完成真实工作 | 任务成功率、平均耗时、恢复率、人工介入成本 |
| 证据节点 | 必须记录的字段 | 用来排查什么 |
|---|---|---|
| 场景状态 | episode_id、environment_id、sensor_snapshot、object_state、human_presence | 机器人当时看到了什么，环境是否和训练 / 仿真分布不同？ |
| 任务与约束 | task_goal、safety_zone、speed_limit、force_limit、permission_state | 动作是否在允许区域、速度、力度和权限边界内执行？ |
| 计划与策略 | planner_version、policy_id、world_model_state、action_sequence、uncertainty_score | 失败来自感知、世界模型、规划、策略选择还是不确定性估计？ |
| 执行与接管 | trajectory_id、control_error、collision_event、handover_event、emergency_stop | 是否发生碰撞、偏航、人工接管、急停或不可恢复状态？ |
| 复盘回流 | sim_replay_id、real_world_log_id、failure_label、dataset_update_id、release_gate_id | 物理失败能否回放到仿真、变成训练 / 评测样本，并阻止复发？ |
VLA 和机器人基础模型继续升温: 视觉、语言和动作会更紧密地进入统一策略接口，但生产系统仍会保留控制与安全层。
数据闭环成为核心竞争力: 遥操作、真实执行日志、仿真数据和失败回放会决定策略能否持续改进。
工业和自动驾驶仍是更先规模化的场景: 环境相对可控、价值密度高、评测标准更明确的场景更容易先落地。
世界模型和规划的融合: 如果模型能更可靠地预测动作后果，机器人会从“按技能反应”走向“先推演再行动”。
人机协同形态: 遥操作不只是采集数据，也可能成为长期的商业部署模式，让 AI 自主处理常规部分，人类接管高风险和长尾部分。
演示视频幻觉: 机器人 demo 很容易选择成功片段，但部署要看大量失败、重试、接管和边界样本。
安全边界被模型热度掩盖: 物理世界系统必须把急停、限速、碰撞检测、权限和人工接管作为一等公民。
把普通多模态能力误当具身能力: 能描述图片、视频或场景，不代表能稳定地改变这个场景。