什么是机器人基础模型？从 AI 模型到物理智能

从基础模型到物理智能

基础模型通常在广泛数据上训练，并被适配到多种下游用途。在机器人领域，这个概念更具挑战：模型不仅要生成数字内容，还要把观察、指令、行动与反馈连接到真实环境中。

基础模型的思想之所以会进入机器人领域，与它在其他 AI 领域受到关注的原因类似：研究者希望减少“每一个狭窄任务都单独训练一个模型”的做法，转而探索能够在不同任务之间复用知识、并通过较少任务专用工程进行适配的模型。但机器人增加了文本和图像生成所没有的一层约束——模型输出最终必须作用于真实的物理系统。

因此，从数字 AI 走向物理智能，并不是把语言模型放进机器人这么简单。机器人系统需要把感知与自身状态连接起来，把任务意图转换成特定硬件可以执行的动作，观察动作产生的结果，并在现实世界与训练数据不一致时继续调整。Physical AI 总览提供了理解这一转变所需的更大语境。

物理智能要求模型能力真正落到感知、行动以及与现实世界的接触之中。

为什么仅靠 ChatGPT 不能成为机器人控制器？

通用聊天模型可以理解指令、描述场景，也可以参与高层规划，但这并不意味着它本身就是一个完整的机器人控制器。物理控制是一个闭环过程：系统需要根据传感器判断当前状态，考虑机器人自身构型和物理接触，以合适频率发出动作，观察动作结果，并在环境发生变化时不断修正误差。

机器人行动之前，需要理解物体、深度、材质，以及构成物理场景的空间关系。

现有研究系统能够说明这种区别。RT-1 接收机器人摄像头观察和任务指令，并通过为实时控制设计的架构输出机器人动作；PaLM-E 则从另一个方向探索这个问题，把视觉观察与连续机器人状态接入具身多模态模型。两者架构并不相同，但都说明了为什么物理智能不能只依靠文本生成。

机器人仍然可以使用语言模型来理解指令、进行语义推理或参与规划，同时依靠感知模型、策略、运动规划器、控制器和安全机制完成实际执行。关键并不是语言模型与机器人无关，而是：流畅的语言输出本身，并不能证明系统具备可靠的闭环物理控制能力。

什么是机器人基础模型？

目前，“机器人基础模型”背后还没有一种已经定型的统一架构，这个词在不同研究系统中的使用方式也并不完全一致。现有系统采用不同的模型接口、训练数据组合、动作表示和目标机器人形态。本文使用这个词，指通过广泛预训练或联合训练形成，并希望通过适配或直接策略执行，在多种机器人任务、环境或具身形式之间提供可复用能力的模型或模型体系。

这个定义保留了基础模型最核心的思想——能力可以在不同下游场景之间复用——同时加入了机器人特有的具身和行动要求。不同系统所复用的能力可能是多模态表示、动作策略、规划组件、动作生成模块，也可能是多个组件的组合。

因此，机器人基础模型不是机器人硬件本身，不是单一底层控制器，也不是一个产品类别。这个名称同样不意味着一个模型必须承担机器人技术栈的所有层级。现实系统仍然可能把广泛训练的模型与任务专用控制、状态估计、运动规划、安全边界和硬件接口组合起来。

机器人数据的挑战

互联网数据规模巨大，但机器人数据昂贵、具身，并且与传感器、执行器、物体、操作员和环境紧密相关。示范数据采集可能很慢，失败可能损坏设备，同一个动作在不同机器人上的后果也可能不同。

学习在接触中继续：机器人会根据世界的响应调整动作。

机器人数据的结构也不同于普通互联网数据。机器人轨迹把“系统观察到了什么”和“接下来采取了什么行动”连接在一起。根据平台不同，一段轨迹可能包括摄像头观察、机器人自身状态、任务指令、动作命令，以及任务执行过程中的连续观察。因此，这类数据记录的不只是“世界看起来是什么样”，还记录了某一种具体身体如何改变了世界。

这也是跨机器人复用困难的重要原因。同一个高层指令，例如“把物体移到左边”，在不同机器人上可能对应完全不同的关节运动、夹爪命令、坐标系、传感器布局和物理动力学。因此，扩展机器人数据并不只是收集更多轨迹；研究者还需要解决不同具身形式之间的观察和动作应该如何表示与对齐。

Open X-Embodiment 项目说明了数据多样性的重要性：共享数据集与模型可以暴露跨机器人迁移机会，但它们并不会自动解决动作空间、具身形式与评估条件之间的对齐问题。机器人学习文章会进一步讨论能力如何获得。

视觉—语言—行动模型

视觉—语言—行动（VLA）模型是机器人基础模型研究中的一种重要路径。它把视觉观察和语言指令连接到行动输出，通常将大规模预训练组件与机器人轨迹或示范数据结合。

一些具有代表性的系统展示了这条路线如何逐步发展。RT-1 证明了 Transformer 策略可以在大量真实机器人任务上训练，并把摄像头观察和语言指令映射到机器人动作；RT-2 则进一步把视觉—语言模型与机器人轨迹进行联合微调，并明确使用 Vision-Language-Action（VLA）来描述这一类系统。

其他系统则探索同一大问题的不同部分。PaLM-E 把视觉和连续状态信息接入具身多模态语言模型，但它并不是一个完整的底层机器人策略；Open X-Embodiment 与 RT-X 研究共享数据集和模型是否能够在不同机器人具身形式之间迁移经验。更新的系统如 π0 和 NVIDIA GR00T N1，则代表了通用机器人控制和 VLA 类模型的其他探索路线，它们在架构、数据、目标硬件和评估方式上都有明显差异。

因此，这些系统不应该被看成某一种已经定型架构的不同实现。VLA 描述的是一种重要模型接口和方法家族；本文所说的“机器人基础模型”是更宽泛的角色。机器人基础模型可以包含 VLA 策略、多模态表示、动作生成组件或其他可复用模块。VLA 解释文章聚焦于更窄的 VLA 模型家族。

机器人基础模型可能如何影响机器人技术？

研究者正在探索：可复用的表示、机器人数据集和策略组件，是否能够在相关任务或具身形式之间减少部分任务专用工程。当语言真正与感知建立联系，并连接到能够安全执行动作的系统时，自然语言接口也可能成为另一个有价值的方向。

这些方法的实际价值仍然高度依赖具体任务、具身形式、数据组合、延迟要求和评估协议。一个能够在实验室任务之间迁移的模型，在进入生产环境并可靠运行之前，仍然可能需要大量适配、监控和任务专用安全措施。

当前挑战

重要限制仍然存在。首先是泛化。机器人可能遇到训练分布之外的新物体、新视角、新光照、场景布局、指令和物理条件；在熟悉的实验室任务上取得较好结果，并不能自动证明同一个策略在这些变化下仍然可靠。

第二个问题来自具身形式差异。不同机器人可能拥有不同数量的关节、夹爪、摄像头布局、控制频率、动作空间、负载能力和动力学特性。Open X-Embodiment 这类跨具身数据集之所以重要，恰恰是因为不同机器人之间的经验迁移远不只是把原始轨迹放进同一个数据集这么简单。

可靠性与安全又提出了不同于数字 benchmark 的要求。错误的文本答案可以在生成后修改，而错误的物理动作可能导致物体掉落、设备碰撞或不安全运动。因此，真实部署依赖监控、人工介入机制、硬件限制、失败恢复，以及来自实际运行环境的重复验证，而不能只看模型规模或离线 benchmark。

这些问题把机器人基础模型进一步连接到具身智能、Sim2Real和机器人操作。它们不会仅仅因为参数规模增加或加入语言接口就自动解决。

结论

机器人基础模型把基础模型的思想带入一个数据、行动、具身与反馈不可分割的环境。这个领域目前还没有收敛到一种统一架构：VLA 策略、具身多模态模型、跨具身训练以及其他通用模型路线，都在探索如何让机器人能力更容易复用。它们最终的价值仍应由迁移能力、鲁棒性、可靠性和部署证据判断，而不是只看模型规模或语言流畅度。