论文链接
代码链接

ABSTRACT

语言驱动的抓取检测有2个关键问题：1. 难以理解复杂的文本指令，或者在密集杂乱的环境中效率低下；2. 泛化性不足，需要训练或微调来实际应用

因此提出GraspMAS，一种语言驱动抓取检测的多智能体系统框架，通过模糊推理，提高现实场景中的决策能力。有3个agent：Planner，制定复杂查询的策略；Coder，生成并执行源代码；Observer，评估结果并提供反馈

在模拟和现实环境中进行了机器人实验验证有效性。

INTRODUCTION

抓取检测是机器人操作的一个基本方面，使机器人能够确定可行的抓取配置，以便在各种环境中与物体有效交互。传统的抓取检测方法主要强调确保识别抓取姿势的稳定性，经常忽略了人类意图的整合。最近，一些研究将自然语言集成到机器人抓取中，以增强直观和灵活的人机交互，使机器人能够理解和执行上下文感知指令。然而，大多数现有的抓握检测方法依赖于资源密集型的训练过程，这限制了它们对现实场景的适应性，特别是在面对未知数据时。

LLM的进展推动了相关研究。但现有的工作侧重于长操作任务，而忽略了抓取的基本方面。首先，先前的方法缺乏解释开放式语言命令所需的组合推理。例如，像“抓住从左边开始的第二个瓶子”这样的查询要求模型在空间上定位对象，计算顺序位置，并解析方向引用，而像“我需要一些东西来切割”这样的命令要求推断对象的功能属性（例如，将刀或剪刀识别为切割工具）。其次，它们对端到端单片神经架构的依赖需要在大规模数据集上进行训练，这是一个资源密集型和数据集依赖的过程。此外，这些模型通常缺乏泛化能力，在跨不同场景部署时需要额外的特定于领域的训练来实现可靠的性能
TBD

RELATED WORK

TBD

MULTI-AGENT GRASP DETECTION

EXPERIMENTS

CONCLUSIONS

文章的创新点在于通过三个智能体Planner、Coder和Observer的闭环交互来实现上下文感知抓取。利用LLM（代码为gpt-4o）确保对于不同任务的可迁移性。