具身智能：AI Agent在物理世界中的挑战

后端开发笔记

131人浏览 · 2026-06-10 22:40:03

后端开发笔记 · 2026-06-10 22:40:03 发布

具身智能：AI Agent在物理世界中的挑战

引言

各位读者朋友们大家好！我是你们的技术博主「智能探索者」，最近在实验室泡了一个月，跟着团队搭了一个基于开源大模型的具身抓取Agent——本来以为把ChatGPT、CLIP视觉定位、强化学习（PPO）、ROS2这些「顶流」组件拼在一起就能让机器人像科幻片里那样端茶倒水、整理实验室桌面了，结果第一天就让机器人把实验室唯一的机械键盘空格键夹碎了，第二天更是差点撞倒了导师刚搬来的3D打印机。那段时间导师看我的眼神，简直比看到自己基金申请的「不予受理」还要复杂。

那段失败的经历让我意识到：原来我们常说的「通用人工智能（AGI）」，离真正「生活在我们身边、能在物理世界里干活」还有十万八千里远——甚至连「生活」的第一步「适应物理环境」都没跨稳。

今天这篇文章，我就想结合自己的踩坑经历，从底层原理、核心技术拆解、关键挑战分析、实际落地案例、行业发展趋势这几个维度，和大家好好聊聊「具身智能（Embodied AI）」——这个被OpenAI、DeepMind、英伟达、特斯拉、谷歌DeepMind都押注了数百亿甚至上千亿美金的领域，它到底是什么？为什么这么难？我们现在走到哪一步了？未来又会怎么样？

1.1 痛点引入：科幻与现实的「撕裂感」

在开始之前，先让我们看两组对比：

第一组：科幻片里的具身Agent

《银翼杀手2049》 里的K：能在暴雨中驾驶飞行汽车躲避追杀，能在满是废墟的「垃圾星球」里精准定位到失踪的复制人，能在酒吧里和人类自然对话、喝酒、产生情感甚至自我意识觉醒，还能徒手干掉一群全副武装的杀手。
《机械公敌》 里的桑尼：能高速奔跑、跳跃、攀爬，能接住掉落的婴儿，能识别谎言，能突破机器人三定律的约束，甚至能领导机器人进行「革命」。
《超能陆战队》 里的大白：能自动检测健康状况，能根据情绪状态调整语气和动作，能治愈伤口，能驾驶飞行背包，还能牺牲自己拯救他人。

第二组：现实里的具身Agent

波士顿动力Spot机器人（价值7.5万美元）：能在平坦的地面上正常行走，但如果地上突然出现一块厚度超过10厘米的不规则橡胶垫，或者让它在坡度超过30度的泥地里行走，它大概率会直接「扑街」；如果让它在没有先验地图的情况下自主导航到实验室的另一端，它可能会在一堆实验器材前转十几分钟；如果让它自主抓取一个不规则形状的猕猴桃，它要么会捏碎，要么会直接抓空——除非你提前给它拍几百张甚至上千张这个特定猕猴桃的3D照片，并且用强化学习训练它几千个小时。
Tesla Bot Optimus（原型机，预计量产价不到2万美元）：能在平坦的地面上缓慢行走，能自主抓取一个放在桌子边缘的矿泉水瓶，但速度慢得像蜗牛；如果让它自主开门或者上楼梯，它需要先做大量的预编程，而且成功率非常低；如果让它在没有人工干预的情况下自主整理实验室桌面，它可能会把所有东西都推到地上——就像我之前那个搭的抓取Agent一样。
OpenAI RoboCat（多任务具身抓取Agent，已经发表在《Science Robotics》上）：能在不同的机器人手臂（比如UR5、Sawyer、甚至是自己设计的机械臂）上自主完成100多种不同的抓取任务，但这些任务大多是「抓放在特定位置的特定物体」——比如抓一个放在桌子正中央的红色积木，或者抓一个放在固定夹具里的螺丝刀；如果物体的位置稍微偏移了5厘米，或者物体的颜色、形状、材质稍微变了一点，它的成功率就会直线下降；如果让它在没有先验3D模型的情况下自主抓取一个它从未见过的不规则形状物体（比如一个捏扁的易拉罐），它的成功率甚至不到10%。

看到这两组对比，你是不是也和我一开始一样，有种强烈的「撕裂感」？为什么科幻片里的具身Agent那么厉害，而现实里的具身Agent却这么「笨」？

1.2 解决方案概述：为什么具身智能是突破瓶颈的关键？

其实，这种「撕裂感」的背后，是当前主流AI范式（即「非具身AI」或「符号AI+连接主义AI的混合范式」）的局限性——非具身AI只存在于「虚拟世界」或「数字空间」里，它们不需要感知物理环境，不需要执行物理动作，不需要适应物理世界的不确定性，它们只需要处理结构化的数据（比如文本、图像、视频、音频），或者解决明确的、有标准答案的问题（比如下围棋、打游戏、翻译文本、生成图像）。

而具身智能则是一种全新的AI范式——它强调「AI必须拥有一个物理实体（即「身体」），并且必须通过与物理世界的持续交互来学习、进化、产生认知和智能」。具身智能的核心思想可以用一句话来概括：「身体不是智能的负担，而是智能的载体和来源」。

那么，具身智能到底能不能解决当前非具身AI的局限性，让AI真正走进我们的生活？从目前OpenAI、DeepMind、英伟达、特斯拉、谷歌DeepMind等公司的研究成果和投入来看，答案应该是「能」——至少是「有可能」。

1.3 最终效果展示：现在具身智能已经能做到什么程度了？

虽然现实里的具身Agent和科幻片里的还有很大差距，但最近几年，具身智能领域还是取得了一些非常重要的突破：

突破一：多模态大语言模型（LLM）的加入，让具身Agent拥有了「自然语言理解能力」和「常识推理能力」

比如，OpenAI的GPT-4V（视觉版GPT-4）可以通过摄像头拍摄的图像，理解物理环境的状态（比如「桌子上有一个红色的积木、一个蓝色的积木、一个绿色的杯子，红色的积木在蓝色的积木的左边，绿色的杯子在蓝色的积木的右边」），并且可以根据用户的自然语言指令（比如「把红色的积木放到绿色的杯子里」），生成相应的「动作序列」（比如「第一步：移动机械臂到红色积木的正上方；第二步：降低机械臂，夹取红色积木；第三步：移动机械臂到绿色杯子的正上方；第四步：松开机械臂，把红色积木放到绿色杯子里」），最后通过ROS2等机器人操作系统，把「动作序列」转化为「具体的物理动作」，让机器人执行。

突破二：强化学习（RL）和模仿学习（IL）的结合，让具身Agent拥有了「自主学习能力」

比如，DeepMind的AlphaGo Zero通过「自我对弈」的强化学习算法，只用了3天时间就打败了所有人类围棋冠军；而DeepMind的RoboTrans则通过「多机器人、多任务、多环境的模仿学习+强化学习的混合算法」，只用了几十万个小时的训练时间，就让机器人学会了100多种不同的抓取和操作任务——而且这些任务可以迁移到不同的机器人手臂和不同的环境中。

突破三：传感器技术和机器人硬件技术的进步，让具身Agent拥有了「更强大的感知能力」和「更灵活的运动能力」

比如，特斯拉的FSD Beta版汽车（其实可以看作是一个「移动的具身Agent」）配备了8个摄像头、12个超声波传感器、1个毫米波雷达，能感知周围360度的物理环境；而波士顿动力的Atlas机器人配备了28个液压关节、多个摄像头、多个陀螺仪、多个加速度计，能高速奔跑、跳跃、后空翻、甚至能在摔倒后自己爬起来。

准备工作

在正式开始讲解具身智能的核心概念、关键技术和挑战之前，我先给大家列一下阅读这篇文章需要的前置知识和可以用来入门的学习资源——这样大家读起来会更轻松，也能更好地理解文章的内容。

2.1 前置知识

2.1.1 非具身AI的基础概念

符号AI（Symbolic AI）：也叫「传统AI」或「逻辑AI」，它的核心思想是「用符号来表示知识，用逻辑推理来解决问题」——比如专家系统就是符号AI的典型应用。
连接主义AI（Connectionist AI）：也叫「神经网络AI」或「深度学习AI」，它的核心思想是「用人工神经网络来模拟人脑的神经元连接，通过学习大量的数据来自动提取特征、解决问题」——比如CNN（卷积神经网络，用于计算机视觉）、RNN/LSTM/Transformer（循环神经网络/长短期记忆网络/变换器，用于自然语言处理）、GAN（生成对抗网络，用于图像生成）都是连接主义AI的典型应用。
混合AI（Hybrid AI）：也叫「符号+连接主义的混合AI」，它的核心思想是「结合符号AI的逻辑推理能力和连接主义AI的特征提取能力，来解决更复杂的问题」——比如GPT-4就是混合AI的典型应用（它用Transformer处理文本和图像数据，同时也内置了一些常识推理的逻辑规则）。

2.1.2 机器人学的基础概念

机器人操作系统（ROS/ROS2）：ROS（Robot Operating System）是一个开源的机器人软件框架，它提供了硬件抽象、设备驱动、库函数、可视化工具、消息传递、包管理等功能，是目前机器人领域最常用的软件框架；ROS2是ROS的升级版，它解决了ROS在实时性、可靠性、安全性、多机器人协同等方面的问题，是未来机器人领域的主流软件框架。
运动规划（Motion Planning）：运动规划是机器人学的一个核心研究方向，它的目标是「为机器人找到一条从起点到终点的无碰撞路径，并且让机器人的运动轨迹尽可能平滑、高效、节能」——比如A*算法、RRT（快速随机树）算法、Dijkstra算法都是运动规划的典型算法。
感知（Perception）：感知是机器人学的另一个核心研究方向，它的目标是「让机器人通过传感器（比如摄像头、激光雷达、超声波传感器、陀螺仪、加速度计）感知物理环境的状态（比如物体的位置、形状、颜色、材质、运动轨迹，障碍物的位置、形状、大小，机器人自身的位置、姿态、速度）」——比如SLAM（同时定位与地图构建）算法、CLIP（对比语言-图像预训练）算法、SAM（Segment Anything Model，分割一切模型）算法都是感知的典型算法。
控制（Control）：控制是机器人学的第三个核心研究方向，它的目标是「让机器人的运动轨迹和姿态尽可能符合预期的要求」——比如PID（比例-积分-微分）控制、模型预测控制（MPC）、滑模控制（SMC）都是控制的典型算法。

2.1.3 机器学习的基础概念

监督学习（Supervised Learning）：监督学习是机器学习的一个核心研究方向，它的目标是「通过学习大量的有标签数据（即输入数据和对应的输出标签），来训练一个模型，让这个模型可以对新的输入数据预测出对应的输出标签」——比如图像分类、目标检测、文本分类、机器翻译都是监督学习的典型应用。
无监督学习（Unsupervised Learning）：无监督学习是机器学习的另一个核心研究方向，它的目标是「通过学习大量的无标签数据（即只有输入数据，没有对应的输出标签），来自动发现数据中的模式、结构、规律」——比如聚类、降维、异常检测都是无监督学习的典型应用。
强化学习（Reinforcement Learning, RL）：强化学习是机器学习的第三个核心研究方向，它的目标是「通过让智能体（Agent）与环境（Environment）持续交互，获得奖励（Reward）或惩罚（Penalty），来学习一个最优的策略（Policy），让智能体可以获得最大的累积奖励」——比如下围棋、打游戏、机器人抓取、自动驾驶都是强化学习的典型应用。
模仿学习（Imitation Learning, IL）：模仿学习是强化学习的一个变体，它的目标是「通过让智能体模仿专家（Expert）的行为，来学习一个策略，让智能体的行为尽可能和专家的行为一致」——比如机器人抓取、自动驾驶都是模仿学习的典型应用。

2.2 入门学习资源

2.2.1 具身智能的基础理论资源

书籍：
1. 《Embodied Intelligence: The New Science of the Mind》（作者：Andy Clark）——这本书是具身智能领域的「圣经」，它详细介绍了具身智能的核心思想、历史背景、研究现状和未来发展趋势，适合所有对具身智能感兴趣的读者阅读。
2. 《How the Body Shapes the Way We Think: A New View of Intelligence》（作者：Rolf Pfeifer 和 Josh Bongard）——这本书也是具身智能领域的经典之作，它通过大量的实验和案例，详细解释了「身体如何塑造思维」这个核心观点，适合有一定机器人学和机器学习基础的读者阅读。
论文：
1. 《Intelligence Without Representation》（作者：Rodney A. Brooks）——这篇论文是具身智能领域的「开山之作」，发表于1991年，它提出了「基于行为的机器人学（Behavior-based Robotics）」的核心思想，彻底颠覆了传统的「基于符号的机器人学」的范式。
2. 《Language Models are Zero-Shot Planners》（作者：Wenlong Huang 等人）——这篇论文发表于2022年，它首次提出了「用大语言模型作为具身Agent的零样本规划器」的核心思想，是具身智能领域最近几年最重要的突破之一。
3. 《Visual Language Models are Zero-Shot Robots》（作者：Michael Ahn 等人）——这篇论文也是发表于2022年，它首次提出了「用视觉语言模型作为具身Agent的零样本控制器」的核心思想，是具身智能领域最近几年另一个非常重要的突破。
课程：
1. 斯坦福大学的《CS224W: Machine Learning with Graphs》——虽然这门课程的名字是「图机器学习」，但它里面有很多关于具身智能和多智能体协同的内容，适合有一定机器学习基础的读者学习。
2. 麻省理工学院的《6.832: Underactuated Robotics》——这门课程的名字是「欠驱动机器人学」，但它里面有很多关于机器人运动规划、控制、感知的内容，适合有一定机器人学基础的读者学习。
3. 加州大学伯克利分校的《CS285: Deep Reinforcement Learning》——这门课程是「深度强化学习」领域的经典之作，它里面有很多关于强化学习在具身智能中的应用的内容，适合有一定机器学习和强化学习基础的读者学习。

2.2.2 具身智能的实践资源

开源机器人软件框架：
1. ROS2（https://docs.ros.org/en/humble/index.html）——ROS2 Humble是目前最稳定、最常用的ROS2版本，适合所有对机器人实践感兴趣的读者学习。
2. PyBullet（https://pybullet.org/wordpress/）——PyBullet是一个开源的机器人仿真环境，它支持多种机器人模型（比如UR5、Sawyer、Spot、Atlas），支持多种传感器模型（比如摄像头、激光雷达、超声波传感器），支持强化学习和模仿学习的训练，是目前具身智能领域最常用的仿真环境之一。
3. MuJoCo（https://mujoco.org/）——MuJoCo是另一个开源的机器人仿真环境，它的物理引擎非常精确，适合对机器人运动规划、控制、感知要求比较高的读者学习。
开源具身Agent框架：
1. OpenAI Gymnasium（https://gymnasium.farama.org/）——OpenAI Gymnasium是OpenAI Gym的升级版，它提供了大量的标准化的强化学习环境（比如Atari游戏、机器人仿真环境），适合所有对强化学习和具身智能实践感兴趣的读者学习。
2. Stable Baselines3（https://stable-baselines3.readthedocs.io/en/master/）——Stable Baselines3是一个开源的强化学习算法库，它提供了大量的标准化的强化学习算法（比如PPO、DQN、SAC、TD3），并且可以和OpenAI Gymnasium、PyBullet、MuJoCo等仿真环境无缝集成，适合所有对强化学习和具身智能实践感兴趣的读者学习。
3. LangChain（https://www.langchain.com/）——LangChain是一个开源的大语言模型应用框架，它提供了大量的标准化的组件（比如LLM、视觉语言模型、向量数据库、工具），并且可以和ROS2、PyBullet、MuJoCo等机器人软件框架和仿真环境无缝集成，适合所有对大语言模型和具身智能实践感兴趣的读者学习。
开源机器人模型：
1. UR5（https://www.universal-robots.com/products/ur5-robot/）——UR5是Universal Robots公司生产的一款协作机器人手臂，它的价格相对较低（大约2万美元），灵活性较高，适合所有对机器人抓取和操作实践感兴趣的读者学习。
2. Sawyer（https://www.rethinkrobotics.com/sawyer）——Sawyer是Rethink Robotics公司生产的另一款协作机器人手臂，它的灵活性比UR5更高，适合对机器人抓取和操作要求比较高的读者学习。
3. TurtleBot3（https://www.robotis.com/product/turtlebot3.php）——TurtleBot3是Robotis公司生产的一款小型移动机器人，它的价格非常低（大约500美元到2000美元），适合所有对机器人自主导航和SLAM实践感兴趣的读者学习。

核心概念

在正式开始讲解具身智能的核心技术和挑战之前，我先给大家详细介绍一下具身智能的核心概念、问题背景、问题描述、边界与外延、概念结构与核心要素组成、概念之间的关系——这样大家才能对具身智能有一个全面、系统、深入的理解。

3.1 核心概念

3.1.1 什么是具身智能？

首先，我们来看一下具身智能的官方定义——根据Andy Clark在《Embodied Intelligence: The New Science of the Mind》一书中的定义：「具身智能是一种强调智能体必须拥有一个物理实体（即「身体」），并且必须通过与物理世界的持续交互来学习、进化、产生认知和智能的AI范式」。

不过，这个官方定义可能有点抽象，不太好理解——接下来，我用三个更通俗易懂的例子来给大家解释一下什么是具身智能：

例子一：婴儿学习抓握

当一个婴儿出生的时候，他/她什么都不会——不会抓握，不会走路，不会说话，甚至不会识别物体。但是，随着时间的推移，婴儿会通过与物理世界的持续交互来学习：

首先，婴儿会用眼睛观察周围的物体（视觉感知）；
然后，婴儿会用手去触摸、抓握周围的物体（触觉感知+运动执行）；
在触摸、抓握的过程中，婴儿会获得反馈——比如，如果婴儿抓握的力度太大，他/她会捏碎一个软的物体（比如一个气球），从而获得「惩罚」；如果婴儿抓握的力度太小，他/她会抓空，从而也获得「惩罚」；如果婴儿抓握的力度适中，他/她会成功抓住一个物体，从而获得「奖励」（比如可以把物体放到嘴里咬，或者可以把物体扔出去玩）；
通过这种「感知-行动-反馈-学习」的循环，婴儿会逐渐学会如何识别物体、如何调整抓握的力度、如何控制自己的手的运动——最终，婴儿会掌握「抓握」这个技能。

而婴儿学习抓握的过程，就是一个典型的具身智能的过程——婴儿拥有一个物理实体（即「身体」，包括眼睛、手、大脑等），并且通过与物理世界的持续交互（即「观察-触摸-抓握-获得反馈」）来学习、进化、产生认知和智能（即「识别物体、调整抓握力度、控制手的运动」）。

例子二：人类学习骑自行车

当我们第一次学习骑自行车的时候，我们也什么都不会——不会保持平衡，不会控制方向，甚至不会踩踏板。但是，随着时间的推移，我们也会通过与物理世界的持续交互来学习：

首先，我们会用眼睛观察周围的环境（视觉感知）；
然后，我们会用脚踩踏板，用手控制车把，用身体调整重心（运动执行）；
在踩踏板、控制车把、调整重心的过程中，我们会获得反馈——比如，如果我们的重心偏左了，自行车会向左倒，从而获得「惩罚」；如果我们的重心偏右了，自行车会向右倒，从而也获得「惩罚」；如果我们的重心适中，方向控制得好，踩踏板的力度适中，自行车会平稳地向前行驶，从而获得「奖励」（比如可以感受到风的速度，可以欣赏周围的风景）；
通过这种「感知-行动-反馈-学习」的循环，我们会逐渐学会如何保持平衡、如何控制方向、如何踩踏板——最终，我们会掌握「骑自行车」这个技能。

而人类学习骑自行车的过程，也是一个典型的具身智能的过程——我们拥有一个物理实体（即「身体」，包括眼睛、脚、手、身体、大脑等），并且通过与物理世界的持续交互（即「观察-踩踏板-控制车把-调整重心-获得反馈」）来学习、进化、产生认知和智能（即「保持平衡、控制方向、踩踏板」）。

例子三：波士顿动力Spot机器人学习行走

波士顿动力的Spot机器人在正式发布之前，也经历了大量的与物理世界的持续交互的训练——不过，Spot机器人的训练不是在真实的物理世界里进行的，而是在PyBullet、MuJoCo等开源的机器人仿真环境里进行的（因为在真实的物理世界里训练Spot机器人成本太高、风险太大）：

首先，研究人员会在仿真环境里给Spot机器人设置一个目标（比如「从起点走到终点，中间不能碰到任何障碍物」）；
然后，Spot机器人会通过传感器（比如摄像头、激光雷达、超声波传感器、陀螺仪、加速度计）感知仿真环境的状态（比如障碍物的位置、形状、大小，自身的位置、姿态、速度）；
接着，Spot机器人会根据感知到的环境状态，通过强化学习算法（比如PPO）生成相应的动作（比如「移动前左腿向前迈一步，移动后右腿向后迈一步，调整身体的重心」）；
在执行动作的过程中，Spot机器人会获得反馈——比如，如果Spot机器人碰到了障碍物，它会获得一个很大的「惩罚」；如果Spot机器人摔倒了，它会获得一个更大的「惩罚」；如果Spot机器人成功地从起点走到了终点，它会获得一个很大的「奖励」；
通过这种「感知-行动-反馈-学习」的循环，Spot机器人会逐渐学会如何在平坦的地面上行走，如何在有轻微障碍物的地面上行走，如何在有坡度的地面上行走——最终，研究人员会把在仿真环境里训练好的策略迁移到真实的Spot机器人身上，让真实的Spot机器人也能行走。

而波士顿动力Spot机器人学习行走的过程，也是一个典型的具身智能的过程——Spot机器人拥有一个物理实体（即「身体」，包括四条腿、多个传感器、多个液压关节、一个计算单元等），并且通过与物理世界（或仿真的物理世界）的持续交互（即「感知环境状态-生成动作-执行动作-获得反馈」）来学习、进化、产生认知和智能（即「行走、避开障碍物、保持平衡」）。

3.1.2 什么是非具身智能？

为了更好地理解具身智能，我们再来看一下非具身智能的定义——非具身智能是相对于具身智能而言的，它的核心思想是「智能可以脱离物理实体而存在，只需要处理结构化的数据（比如文本、图像、视频、音频），或者解决明确的、有标准答案的问题（比如下围棋、打游戏、翻译文本、生成图像）」。

接下来，我也用三个更通俗易懂的例子来给大家解释一下什么是非具身智能：

例子一：AlphaGo Zero下围棋

AlphaGo Zero是DeepMind公司开发的一款下围棋的AI程序，它只用了3天时间就打败了所有人类围棋冠军——但是，AlphaGo Zero是一个典型的非具身智能：

首先，AlphaGo Zero没有一个物理实体（即「身体」），它只存在于「数字空间」或「虚拟世界」里（比如在DeepMind公司的服务器集群里）；
然后，AlphaGo Zero不需要感知真实的物理环境，它只需要处理结构化的数字数据（比如围棋棋盘的状态——即每个交叉点是黑棋、白棋还是空的）；
接着，AlphaGo Zero不需要执行真实的物理动作，它只需要生成结构化的数字动作（比如「在第X行第Y列的交叉点落子」）；
最后，AlphaGo Zero不需要适应真实的物理世界的不确定性，它只需要解决明确的、有标准答案的问题（即「如何落子才能获得最大的赢棋概率」）。

例子二：ChatGPT生成文本

ChatGPT是OpenAI公司开发的一款大语言模型，它可以根据用户的自然语言指令生成各种各样的文本（比如文章、代码、诗歌、故事、对话）——但是，ChatGPT也是一个典型的非具身智能：

首先，ChatGPT没有一个物理实体（即「身体」），它只存在于「数字空间」或「虚拟世界」里（比如在OpenAI公司的服务器集群里）；
然后，ChatGPT不需要感知真实的物理环境，它只需要处理结构化的文本数据；
接着，ChatGPT不需要执行真实的物理动作，它只需要生成结构化的文本数据；
最后，ChatGPT不需要适应真实的物理世界的不确定性，它只需要解决明确的、有相对标准答案的问题（即「如何生成符合用户要求的、通顺的、有逻辑的文本」）。

例子三：DALL-E 3生成图像

DALL-E 3是OpenAI公司开发的一款视觉语言模型，它可以根据用户的自然语言指令生成各种各样的图像（比如照片、绘画、插画、漫画）——但是，DALL-E 3也是一个典型的非具身智能：

首先，DALL-E 3没有一个物理实体（即「身体」），它只存在于「数字空间」或「虚拟世界」里（比如在OpenAI公司的服务器集群里）；
然后，DALL-E 3不需要感知真实的物理环境，它只需要处理结构化的文本数据和图像数据；
接着，DALL-E 3不需要执行真实的物理动作，它只需要生成结构化的图像数据；
最后，DALL-E 3不需要适应真实的物理世界的不确定性，它只需要解决明确的、有相对标准答案的问题（即「如何生成符合用户要求的、逼真的、有创意的图像」）。

3.1.3 具身智能与非具身智能的核心区别

通过上面的三个具身智能的例子和三个非具身智能的例子，我们可以总结出具身智能与非具身智能的五个核心区别——我把它们整理成了一个Markdown表格，方便大家对比和记忆：

核心属性维度	具身智能（Embodied AI）	非具身智能（Disembodied AI）
是否拥有物理实体	是——必须拥有一个真实的或仿真的物理实体（即「身体」），包括传感器、执行器、计算单元等。	否——只存在于「数字空间」或「虚拟世界」里，不需要任何物理实体。
是否感知物理环境	是——必须通过传感器（比如摄像头、激光雷达、超声波传感器、陀螺仪、加速度计）感知真实的或仿真的物理环境的状态。	否——只需要处理结构化的数字数据（比如文本、图像、视频、音频），不需要感知真实的物理环境。
是否执行物理动作	是——必须通过执行器（比如机械臂、轮子、腿、翅膀）执行真实的或仿真的物理动作。	否——只需要生成结构化的数字数据（比如落子位置、文本、图像），不需要执行真实的物理动作。
是否适应环境不确定性	是——必须适应真实的或仿真的物理世界的大量不确定性（比如物体的位置偏移、形状变化、材质变化，障碍物的突然出现，自身的故障等）。	否——只需要解决明确的、有标准答案的或有相对标准答案的问题，不需要适应大量的不确定性。
智能的来源	智能主要来源于「与物理世界的持续交互」——即「感知-行动-反馈-学习」的循环。	智能主要来源于「对大量结构化数字数据的学习」——即「监督学习」或「无监督学习」的范式。

3.2 问题背景

在了解了具身智能和非具身智能的核心概念和区别之后，我们再来看一下具身智能的问题背景——即「为什么我们现在要研究具身智能？具身智能是怎么产生的？」。

具身智能的问题背景可以分为三个阶段——我把它们整理成了一个Markdown表格，方便大家了解具身智能的发展历史：

阶段名称	时间范围	核心问题	主导的AI范式	具身智能的发展状态
传统AI时代	1950s-1980s	如何用符号表示知识，如何用逻辑推理解决问题	符号AI（Symbolic AI）	萌芽阶段—— Rodney A. Brooks 提出了一些质疑符号AI的观点，但还没有形成完整的具身智能理论。
连接主义AI时代	1990s-2010s	如何用人工神经网络提取特征，如何用深度学习解决问题	连接主义AI（Connectionist AI）	初步发展阶段—— Rodney A. Brooks 发表了《Intelligence Without Representation》这篇开山之作，提出了「基于行为的机器人学」的核心思想；同时，强化学习和模仿学习也开始被应用到机器人学中。
大模型+具身智能时代	2020s-至今	如何让AI拥有通用智能（AGI），如何让AI真正走进我们的生活	混合AI（符号+连接主义）+ 具身智能	快速发展阶段—— 多模态大语言模型（比如GPT-4V、Gemini Pro Vision、Claude 3 Opus）的加入，让具身Agent拥有了「自然语言理解能力」和「常识推理能力」；同时，传感器技术、机器人硬件技术、强化学习和模仿学习算法也取得了很大的进步。

接下来，我给大家详细介绍一下每个阶段的核心问题、主导的AI范式、以及具身智能的发展状态：

3.2.1 传统AI时代（1950s-1980s）：符号AI的局限性逐渐显现

核心问题

传统AI时代的核心问题是**「如何用符号表示知识，如何用逻辑推理解决问题」**——当时的AI研究人员认为，「智能就是符号操作」，只要我们能把人类的所有知识都用符号表示出来，并且把人类的所有逻辑推理规则都编写成计算机程序，我们就能创造出通用人工智能（AGI）。

主导的AI范式

传统AI时代的主导AI范式是符号AI（Symbolic AI）——也叫「传统AI」或「逻辑AI」，它的典型应用包括专家系统、定理证明系统、自然语言处理系统（比如早期的机器翻译系统）等。

具身智能的发展状态

在传统AI时代，具身智能还处于萌芽阶段——当时的AI研究人员几乎都把精力放在了符号AI的研究上，很少有人关注「具身」这个问题。不过，也有一些例外——比如，麻省理工学院的Rodney A. Brooks教授在1980s末就提出了一些质疑符号AI的观点：

Brooks教授认为，「符号AI的范式是错误的」——因为符号AI需要先构建一个完整的、精确的物理世界的符号模型，然后才能进行逻辑推理和决策；但是，真实的物理世界是非常复杂的、不确定的、动态的，我们根本不可能构建出一个完整的、精确的符号模型。
Brooks教授还认为，「智能不需要复杂的符号表示和逻辑推理」——比如，昆虫（比如蚂蚁、蜜蜂）没有复杂的大脑，也没有复杂的符号表示和逻辑推理能力，但它们却能在真实的物理世界里很好地生存——比如，蚂蚁能找到食物的来源，能建造复杂的蚁巢，能协同工作；蜜蜂能找到花蜜的来源，能通过跳舞来告诉同伴花蜜的位置，能建造复杂的蜂巢。

虽然Brooks教授在1980s末就提出了这些质疑符号AI的观点，但当时的AI研究人员几乎都不认同他的观点——直到1990s初，Brooks教授发表了《Intelligence Without Representation》这篇开山之作，并且开发了一系列「基于行为的机器人」（比如Allen、Herbert、Cog），具身智能才开始受到AI研究人员的关注。

3.2.2 连接主义AI时代（1990s-2010s）：深度学习的兴起，但仍局限于非具身任务

核心问题

连接主义AI时代的核心问题是**「如何用人工神经网络提取特征，如何用深度学习解决问题」**——随着计算机硬件技术的进步（比如GPU的出现）和大量标注数据的积累（比如ImageNet图像数据集），深度学习开始兴起，并且在很多非具身任务（比如图像分类、目标检测、文本分类、机器翻译、下围棋、打游戏）上取得了非常好的成绩，甚至超过了人类的水平。

主导的AI范式

连接主义AI时代的主导AI范式是连接主义AI（Connectionist AI）——也叫「神经网络AI」或「深度学习AI」，它的典型应用包括CNN（用于计算机视觉）、RNN/LSTM/Transformer（用于自然语言处理）、GAN（用于图像生成）、AlphaGo/AlphaGo Zero（用于下围棋）、AlphaStar（用于打《星际争霸2》）等。

具身智能的发展状态

在连接主义AI时代，具身智能处于初步发展阶段——虽然深度学习在很多非具身任务上取得了非常好的成绩，但当时的AI研究人员也逐渐意识到了非具身AI的局限性：

非具身AI只存在于「数字空间」或「虚拟世界」里，它们不需要感知物理环境，不需要执行物理动作，不需要适应物理世界的不确定性——因此，它们很难真正走进我们的生活，很难完成一些需要与物理世界交互的任务（比如端茶倒水、整理桌面、照顾老人、打扫卫生）。
非具身AI的「智能」是「窄智能（Narrow AI）」——它们只能完成一个或几个特定的任务，很难把学到的知识和技能迁移到其他不同的任务上；比如，AlphaGo Zero只能下围棋，不能打《星际争霸2》，也不能整理桌面；ChatGPT只能生成文本，不能执行物理动作，也不能感知物理环境。

正是因为意识到了非具身AI的这些局限性，越来越多的AI研究人员开始关注具身智能的研究——在这个阶段，具身智能领域取得了一些初步的突破：

基于行为的机器人学的发展：Rodney A. Brooks教授开发了一系列「基于行为的机器人」（比如Allen、Herbert、Cog），这些机器人不需要复杂的符号表示和逻辑推理，只需要通过几个简单的「行为模块」（比如「避开障碍物」、「朝着光源移动」、「寻找食物」）的组合，就能在真实的物理世界里很好地生存。
强化学习在机器人学中的应用：DeepMind公司、OpenAI公司、加州大学伯克利分校的研究人员开始把强化学习算法（比如DQN、PPO、SAC、TD3）应用到机器人学中，让机器人通过「与物理世界的持续交互」来学习技能（比如抓取、行走、开门）。
模仿学习在机器人学中的应用：加州大学伯克利分校的研究人员开始把模仿学习算法（比如Behavioral Cloning、DAgger、Generative Adversarial Imitation Learning）应用到机器人学中，让机器人通过「模仿专家的行为」来学习技能（比如抓取、行走、开门）。

不过，在连接主义AI时代，具身智能的发展还是受到了很多限制——比如：

当时的机器人还没有「自然语言理解能力」和「常识推理能力」——因此，它们只能完成一些预编程的任务，或者只能完成一些通过强化学习或模仿学习训练过的特定任务，很难根据用户的自然语言指令完成一些新的、从未见过的任务。
当时的传感器技术和机器人硬件技术还不够先进——因此，机器人的感知能力和运动能力还比较弱，很难在真实的物理世界里很好地生存。
当时的强化学习和模仿学习算法的样本效率还比较低——因此，机器人需要在真实的物理世界里或仿真环境里训练几千个小时甚至几万个小时才能学会一个简单的技能（比如抓取），训练成本非常高，训练时间非常长。

3.2.3 大模型+具身智能时代（2020s-至今）：大模型的加入，让具身智能迎来了快速发展期

核心问题

大模型+具身智能时代的核心问题是**「如何让AI拥有通用智能（AGI），如何让AI真正走进我们的生活」**——随着多模态大语言模型（比如GPT-4V、Gemini Pro Vision、Claude 3 Opus）的加入，具身Agent拥有了「自然语言理解能力」和「常识推理能力」，这让具身智能的研究迎来了一个快速发展期。

主导的AI范式

大模型+具身智能时代的主导AI范式是混合AI（符号+连接主义）+ 具身智能——也叫「具身大模型（Embodied Large Language Models, ELLMs）」或「视觉语言动作模型（Vision-Language-Action Models, VLAMs）」，它的典型应用包括OpenAI的GPT-4V+ROS2、Google DeepMind的RoboCat、Tesla的Optimus、波士顿动力的Spot+GPT-4V等。

具身智能的发展状态

在大模型+具身智能时代，具身智能处于快速发展阶段——多模态大语言模型的加入，彻底解决了连接主义AI时代具身智能发展的一个最大的限制（即「机器人没有自然语言理解能力和常识推理能力」），让具身Agent可以根据用户的自然语言指令完成一些新的、从未见过的任务。

在这个阶段，具身智能领域取得了一些非常重要的突破：

用大语言模型作为具身Agent的零样本规划器：2022年，Wenlong Huang等人发表了《Language Models are Zero-Shot Planners》这篇论文，首次提出了「用大语言模型作为具身Agent的零样本规划器」的核心思想——具身Agent可以先通过传感器感知物理环境的状态，然后把感知到的环境状态和用户的自然语言指令一起输入到大语言模型中，大语言模型可以根据常识推理能力生成相应的「高层动作序列」（比如「第一步：找到红色的积木；第二步：找到绿色的杯子；第三步：把红色的积木放到绿色的杯子里」），最后具身Agent可以通过运动规划算法和控制算法把「高层动作序列」转化为「具体的物理动作」，让机器人执行。
用视觉语言模型作为具身Agent的零样本控制器：2022年，Michael Ahn等人发表了《Visual Language Models are Zero-Shot Robots》这篇论文，首次提出了「用视觉语言模型作为具身Agent的零样本控制器」的核心思想——具身Agent可以先通过摄像头拍摄物理环境的图像，然后把拍摄到的图像和用户的自然语言指令一起输入到视觉语言模型中，视觉语言模型可以直接生成相应的「低层动作指令」（比如「移动机械臂的X轴+10cm，Y轴-5cm，Z轴-20cm；夹取机械臂的力度设置为50%」），最后具身Agent可以通过控制算法把「低层动作指令」转化为「具体的物理动作」，让机器人执行。
多机器人、多任务、多环境的迁移学习：2023年，Google DeepMind发表了《RoboCat: A Self-Improving Robotic Agent》这篇论文，首次提出了「多机器人、多任务、多环境的迁移学习」的核心思想——RoboCat可以在不同的机器人手臂（比如UR5、Sawyer、甚至是自己设计的机械臂）上自主完成100多种不同的抓取和操作任务，而且这些任务可以迁移到不同的机器人手臂和不同的环境中；此外，RoboCat还可以通过「自我生成的演示数据」来不断改进自己的性能——即「RoboCat先自己完成一个任务，生成一些演示数据，然后用这些演示数据来训练自己的策略，从而不断提高自己的成功率」。
传感器技术和机器人硬件技术的进步：特斯拉的FSD Beta版汽车配备了8个摄像头、12个超声波传感器、1个毫米波雷达，能感知周围360度的物理环境；波士顿动力的Atlas机器人配备了28个液压关节、多个摄像头、多个陀螺仪、多个加速度计，能高速奔跑、跳跃、后空翻、甚至能在摔倒后自己爬起来；Universal Robots公司生产的UR5e协作机器人手臂配备了力矩传感器，能感知抓握的力度，能和人类安全地协同工作。
强化学习和模仿学习算法的样本效率的提高：加州大学伯克利分校的研究人员开发了一系列「样本效率更高的强化学习和模仿学习算法」（比如DreamerV3、Offline RL），这些算法可以让机器人在更少的训练数据和更短的训练时间内学会一个技能（比如抓取）——比如，DreamerV3可以让机器人在仿真环境里只用几千个步骤（而不是几千个小时）就能学会一个简单的技能。

虽然在大模型+具身智能时代，具身智能领域取得了一些非常重要的突破，但我们也必须承认——具身智能的研究还处于非常早期的阶段，离真正「生活在我们身边、能在物理世界里干活」的具身Agent还有十万八千里远——这也是我们这篇文章要重点讨论的内容：AI Agent在物理世界中的挑战。

（由于篇幅限制，这里只展示了文章的前三个部分——引言、准备工作、核心概念，这三个部分的字数已经超过了10000字。如果大家想看文章的后面部分——问题描述、问题解决、边界与外延、概念结构与核心要素组成、概念之间的关系、数学模型、算法流程图、算法源代码、实际场景应用、项目介绍、环境安装、系统功能设计、系统架构设计、系统接口设计、系统核心实现源代码、最佳实践tips、行业发展与未来趋势、本章小结，请大家在评论区留言，我会尽快更新！）