吴恩达最新开源：无需标注数据的Agent目标检测技术，仅输入文字提示，适配任意场景

导读：传统目标检测依赖大量标注数据，吴恩达团队最近开源的 Agentic Object Detection（AOD）技术通过智能代理（Agent）系统，实现了无需标注数据的目标检测。AOD 仅需用户输入文字提示，即可精准识别图像中的目标并定位其位置和属性。例如，用户可以输入指令“帮我找到所有带红色帽子的人”，其就会识别图像或视频中所有符合条件的目标。文末附项目链接。Agent目标检测行业应用案例。

小天才学习机打游戏

1774人浏览 · 2025-02-10 20:15:22

小天才学习机打游戏 · 2025-02-10 20:15:22 发布

导读：传统目标检测依赖大量标注数据，吴恩达团队最近开源的 Agentic Object Detection（AOD）技术通过智能代理（Agent）系统，实现了无需标注数据的目标检测。AOD 仅需用户输入文字提示，即可精准识别图像中的目标并定位其位置和属性。例如，用户可以输入指令“帮我找到所有带红色帽子的人”，其就会识别图像或视频中所有符合条件的目标。文末附项目链接。

Agent目标检测行业应用案例

Agentic Object Detection 通过智能代理 (Agent) 系统实现无需标注数据的目标检测。用户仅需输入文字提示，能基于目标的内在属性 (如颜色、形状) 、上下文关系 (如空间位置) 以及动态状态 (如动作变化) 进行精准识别，精准定位其位置和属性。

代理系统使用设计模式来详细推理颜色、形状和纹理等独特属性，以便在任何场景中实现更智能、更精确的识别。比如在工业质检场景，能识别电容器是否正确安装，确保生产过程的准确性和产品质量；在智慧餐厅场景，识别特定品牌的食品，便于库存管理和商品陈列等！

具体的，比如，根据对象的固有属性来识别对象，用户输入：未成熟的草莓，AOD返回还未成熟草莓的坐标位置。

比如，用户输入：六角扳手套装。AOD根据不同身份，精准识别并区分同一类别内的不同对象。

比如，用户输入：冰激凌上的雏菊。AOD根据对象的空间定位或与场景中其他对象的关系来识别对象。

一、从 Agent 到 Agentic

传统的 LLM 交互方式，用户输入指令，模型输出结果，缺乏迭代优化的空间，犹如一位才华横溢的作家，却被迫只能按照固定模板写作，无法自由挥洒其创作才能。

吴恩达指出， Agentic workflow 的核心在于将复杂任务分解成多个步骤，并通过循环迭代的方式逐步优化结果。这种工作方式更接近于人类解决问题的思维模式：

目标设定: 明确任务目标，例如“写一篇关于 Agentic AI 的文章”。
规划分解: 将任务分解成多个子任务，例如“确定主题、撰写内容、修改润色”等。
迭代执行: 依次执行每个子任务，并根据反馈结果进行调整和优化，最终完成目标。

二、Vision Agent

Vision Agent 可以像一位经验丰富的程序员一样，根据用户的自然语言指令编写代码，完成各种视觉任务，例如目标检测、图像分割、视频分析等。

吴恩达团队的项目负责人 Dylan Layer 是冲浪爱好者，他想通过视频测量鲨鱼与冲浪者的距离，当鲨鱼与冲浪者距离超过 10 米时颜色从红色变为绿色。

以往实现这种功能需要编写复杂的代码，包括对象检测和边界框测量等，耗时费力。

现在可以通过 Vision Agent 实现了这一功能。

给 Vision Agent 提了一个指令：“检测视频中的鲨鱼和冲浪者，画绿色线并显示结果，假设 30 像素等于 1 米。”Agent 会将任务分解为多个步骤，并调用数据抓取工具来处理。

Vision Agent 的工作原理是：输入提示词（如计算鲨鱼和最近的冲浪板之间的距离），Agent 将任务分解并自动生成代码，完成图像处理和分析任务。然后代码被执行，并输出结果，例如鲨鱼和冲浪板之间的距离。

3. Agentic Object Detection（Agent目标检测）

Vision Agent 中的一个重要部分 Agentic Object Detection 改变了目标检测的工作流程。它将感知规划行动等都糅合在一起，通过调用一系列工具，以及对任务长度进行推理，最终实现了零样本标记输入输出。Agentic Object Detection的主要功能

零样本标记检测：无需任何标注数据和模型训练，通过文字提示可在图像中定位和识别目标物体。
内在属性识别：基于目标的固有属性进行识别，例如识别“未成熟的草莓”。
上下文关系识别：识别目标基于其空间位置或与其他物体的关系，例如识别“冰淇淋上的雏菊”特定目标识别:在同类别中精准区分特走对象，确保精准识别。
动态状态检测：基于目标的运动、动作或状态变化进行识别。

案例一：检测图像中的人脸，并判断是否佩戴口罩:

案例二：在家里直接找到特定的目标：

下面有在线试玩的链接，可以体验感受一下，项目及开源代码如下：

Project：https://landing.ai/agentic-object-detection   Code：https://github.com/landing-ai/vision-agent   Demo：https://va.landing.ai/demo/agentic-od

可以转发给你身边做传统视觉算法的小伙伴，让他们技术也迭代革新一下吧。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述