1. 引言：具身智能的核心挑战

在具身智能研究领域，让机器人像人类一样在复杂的物理世界中灵活操作，一直是一个极具挑战性的课题。机器人不仅需要"看懂"环境中存在哪些物体，更需要理解这些物体的"可供性"（Affordance）——即物体能够提供的交互可能性。这一概念最早由美国心理学家James J. Gibson在1977年提出，用于描述环境向行为主体提供的行动可能性。在机器人操作的语境下，可供性具体表现为"哪里能抓"、“哪里能放”、"哪里能走"等关键信息。

当前的视觉语言模型（Vision-Language Model, VLM）在高级任务规划和场景理解方面展现出了强大的能力，但在细粒度的物理交互预测上往往表现不佳。举例而言，一个训练良好的VLM可能能够识别出图像中存在一个杯子，但却难以准确判断应该抓取杯子的把手而非杯口；它可能知道桌面上存在空闲区域，但无法精确定位哪个位置才是放置物体的最佳选择。这一问题的根源在于，现有VLM的训练数据集中普遍缺乏针对可供性的精细标注信息。

为了从根本上解决这一问题，来自小米汽车、中国科学院等机构的研究团队提出了RoboAfford++，这是一个利用生成式AI技术增强的多模态可供性学习数据集，专门面向机器人操作和导航任务设计。这项工作不仅仅是一个简单的数据集发布，更是一套完整的提升机器人与物理世界交互能力的解决方案。

---

2. 可供性学习的技术背景

2.1 什么是可供性（Affordance）

可供性理论认为，物体的物理属性与观察者的行为能力共同决定了该物体能够提供的交互可能性。对于机器人而言，理解可供性意味着能够从视觉输入中推断出：

• 抓取点位置：物体上适合机械臂抓取的功能性区域
• 放置区域：场景中适合放置特定物体的空间位置
• 可行动区域：机器人可以安全通行或进行操作的空间

2.2 现有方法的局限性

近年来，视觉语言模型在计算机视觉和自然语言处理的交叉领域取得了显著进展。GPT-4V、Claude-3.5等闭源模型以及Qwen2-VL、LLaVA等开源模型在图像理解、视觉问答等任务上表现出色。然而，这些模型在精确的空间定位任务上存在明显短板：

1. 训练数据偏差：预训练数据主要来源于互联网图文数据，缺少针对物理交互的细粒度标注
2. 输出形式限制：多数模型倾向于生成描述性文本，而非精确的坐标点
3. 空间推理能力不足：难以综合考虑物体属性、几何关系和任务约束

2.3 相关工作对比

在可供性学习领域，已有一些数据集和方法被提出，但各有局限：

数据集	物体可供性	空间可供性	规模	多场景支持
AGD20K	支持	不支持	20K	单一
HANDAL	支持	不支持	308K	单一
RoboPoint	部分	部分	10K	有限
RoboAfford++	支持	支持	870K	多场景

如上表所示，RoboAfford++是首个同时覆盖物体可供性和空间可供性，并支持多种场景的大规模数据集。

3. RoboAfford++数据集详解

3.1 核心设计理念

RoboAfford++的设计遵循一个统一的框架，将物体交互和空间导航的可供性学习进行整合。具体而言，该数据集涵盖三大核心任务：

物体可供性识别（Object Affordance Recognition）：根据物体的属性、空间关系等信息，从场景中准确定位目标物体。例如，在执行"找到离玩具车最远的那个橙子"这样的指令时，模型需要理解空间关系并识别出正确的目标。

物体可供性预测（Object Affordance Prediction）：精确定位物体的功能性部件，以支持特定的操作动作。例如，识别茶壶应该抓取把手而非壶嘴，或者确定抽屉应该拉动的把手位置。

空间可供性定位（Spatial Affordance Localization）：识别场景中的可用空间，用于物体放置或机器人导航。例如，在书架上找到一个能够容纳目标书籍的空格，或者在地面上确定机器人可以安全移动的区域。

3.2 数据集统计信息

RoboAfford++的规模和多样性在同类数据集中处于领先地位：

• 图像总数：869,987张
• 问答对总数：2,000,000对
• 标注点数量：超过500万个精确坐标点
• 物体类别：覆盖1000+常见物体类别
• 场景类型：室内桌面、厨房、办公室、客厅、仓储等多种环境

数据来源包括：

• LVIS数据集：提供丰富的物体实例分割标注
• Pixmo-Points：高质量的点级标注数据
• AI2Thor模拟器：生成的NaviAfford导航数据
• 真实世界采集：实际机器人操作场景数据

3.3 标注格式说明

数据集采用规范化的JSON格式存储标注信息，每个样本包含以下字段：

{
    "category": "object affordance",
    "question": "What part of a mug should be gripped to lift it? Your answer should be formatted as a list of tuples, i.e. [(x1, y1), (x2, y2), ...], where each tuple contains the x and y coordinates of a point satisfying the conditions above. The coordinates should be between 0 and 1, indicating the normalized pixel locations of the points in the image.",
    "answer": [
        [[0.422, 0.567], [0.436, 0.559], [0.446, 0.559], ...]
    ],
    "img": "images/00.jpg",
    "mask": "masks/00.png"
}

上述示例展示了一个物体可供性预测任务的标注。问题询问如何抓取杯子，答案以归一化坐标列表的形式给出，每个坐标点都位于物体的功能性区域（本例中为杯子把手）。坐标值范围为0到1，表示相对于图像宽高的归一化位置。

3.4 数据集构建流程

研究团队设计了一套高效的半自动化标注流水线，巧妙结合了人工设计的模板和GPT-4o模型来生成问答对：

图3：RoboAfford数据集构建流水线。首先筛除物体过于密集的图像，然后利用人工设计的模板或GPT-4o生成问答对

整个流程首先会筛选掉那些物体过于密集的图像，然后利用现有标注（如LVIS、Pixmo-Points等数据集）或AI生成的数据（如在AI2Thor模拟器中生成的NaviAfford），通过模板或GPT-4o生成与可供性相关的问答指令。这种半自动化的方式，极大地提升了数据生产的效率和质量。

---

4. 模型架构与训练方法

4.1 RoboAfford-Qwen++模型架构

基于RoboAfford++数据集，研究团队在Qwen2.5-VL大型视觉语言模型的基础上进行微调，得到了专门针对可供性预测优化的RoboAfford-Qwen++模型。整体架构采用端到端的设计理念：

视觉编码器（Vision Encoder）：采用ViT架构提取图像的多尺度特征表示，能够捕获从局部纹理到全局布局的多层次视觉信息。

视觉-语言融合模块：通过交叉注意力机制将视觉特征与文本指令进行深度融合，使模型能够根据任务描述聚焦于图像的相关区域。

坐标预测头：在语言模型的输出端添加专门的坐标预测模块，将文本token转换为精确的2D坐标点。

图4：RoboAfford-Qwen模型框架。模型在RoboAfford数据集上进行微调以增强物体和空间可供性能力。在机器人操作中，利用深度信息将2D可供性点转换为3D坐标，进而转换为末端执行器位置

…详情请参照古月居