
大模型如何像人类一样感知与行动?揭秘最近爆火的大模型Agent智能体
大模型 Agent,作为一种人工智能体,是具备环境感知能力、自主理解、决策制定及执行行动能力的智能实体。简而言之,它是构建于大模型之上的计算机程序,能够模拟独立思考过程,灵活调用各类工具,逐步达成预设目标的智能存在。Agent 是 AI 大模型应用的主要新形态,在技术架构范式也发生了很大的变化,从面向过程的架构变成了面向目标架构。
一、什么是大模型Agent?
大模型 Agent,作为一种人工智能体,是具备环境感知能力、自主理解、决策制定及执行行动能力的智能实体。简而言之,它是构建于大模型之上的计算机程序,能够模拟独立思考过程,灵活调用各类工具,逐步达成预设目标的智能存在。
Agent 是 AI 大模型应用的主要新形态,在技术架构范式也发生了很大的变化,从面向过程的架构变成了面向目标架构。
二、Agent架构设计
大模型虽作为智能体的核心“大脑”,负责思维与决策,但仅凭此并不足以胜任复杂任务的执行。为了全面实现智能体的功能,还需融入类似“神经感官系统”以感知环境,以及“肢体”以执行实际动作的元素。这正是构建 Agent 技术架构的初衷,旨在通过这一框架,将感知、思考与行动三者紧密结合,共同作用于复杂任务的完成。
如上图所示,Agent 共由4个关键部分组成:规划(Planning)、记忆(Memory)、工具(Tools)、行动(Action),下面详细剖析。
1、规划(Planning)
"规划"是智能体的思维模型。类比人类,面对任务,我们先构思解决方案,拆解为子任务,评估工具,执行中反思调整,并考量终止时机。通过大模型提示工程,比如:ReAct、CoT 推理模式,可赋予智能体类似思维模式,精准拆解复杂任务,分步解决。
2、记忆(Memory)
记忆,即信息存储与回忆。智能体模拟人类,设短期记忆存会话上下文,助多轮对话,任务毕则清;长期记忆存用户特征、业务数据,向量数据库速存速查。
3、工具(Tools)
智能体依据“工具”感知环境、执行决策。工具比如:神经感官,助其获取信息、执行任务。配备多样工具并赋权,比如:API 调用业务信息,插件扩展大模型能力,比如:ChatPDF 解析文档、Midjourey 文生图。
4、行动(Action)
智能体依规划与记忆,执行具体行动,包括与外部互动或工具调用,实现输入至输出的转化。比如:智能客服回复、查询天气预报、AI 机器人抓起物体等等。
三、Agent算法原理
Agent的算法原理取决于其设计目的和应用领域,但大多数智能体(Agents)都遵循一些通用的原则。以下是几种常见的Agent算法原理:
(1)简单反射型Agent(Simple Reflex Agents):这类Agent基于当前的感知选择行动,忽略其余的感知历史。它们遵循条件-行动规则,直接对当前感知做出反应,而不依赖于对环境的内部模型。
(2)基于模型的反射型Agent(Model-Based Reflex Agents):与简单反射型Agent相比,这类Agent拥有一个内部世界模型,能够追踪并推断出环境中不可直接感知的部分。它们结合当前感知和内部模型来做出决策,显示出更高的适应性。
(3)基于目标的Agent(Goal-Oriented Agents):这些Agent不仅考虑当前状态,还考虑行为对未来的影响,拥有明确的目标,并基于实现这些目标的概率来做出选择。它们适合于需要前瞻性规划的复杂决策任务。
(4)基于效用的Agent(Utility-Based Agents):实用主义智能体在做出决策时会考虑行动的潜在价值或效用。它们通常会评估不同行动方案的预期效用,并选择效用最大化的行动。这种类型的智能体能够处理多种相互冲突的目标,并在它们之间做出权衡。
(5)学习型Agent(Learning Agents):学习智能体能够通过经验改进其行为模式和决策过程。它们使用机器学习算法来适应环境变化,并优化其性能。
上述每种类型的Agent,具体的算法实现包括但不限于搜索算法、机器学习算法、进化算法、强化学习、贝叶斯网络和其他概率模型等。
四、Agent应用场景
AI Agent在多个领域有广泛的应用场景。例如,在房地产领域,Agent可以用于虚拟房产展示、智能客服与咨询、市场趋势分析、房产估值与定价、合同生成与管理等。在通信领域,Agent可以作为虚拟客服代表,处理客户咨询,监控和分析网络性能,预测并识别潜在的网络问题。此外,Agent还可以在旅游、物流等多个行业中发挥作用,如虚拟旅游助手、旅游营销优化、表单处理与文档数据管理等。
在中医药领域,Agent广泛用于构建智能识别、决策平台,是推动中医药数字化、智能化转型的重要工具。例如,中医AI助手(四诊仪)能通过分析面色、脉象等传统中医诊断要素,为临床医生提供针对性的方剂推荐。上海中医药大学协同创新中心开发的“仲景方证虚拟数字人”,构建了AI-agent架构,可以实现多功能智能体应用。该系统在开源大语言模型的基础上,基于300+中医经方、8000+标准化症状、10万+中医经方医案,通过系统调参,构建了仲景方证大语言模型。该虚拟数字人“能交谈、能听懂”,可智能识别与患者交流过程中的关键病症,并智能推荐高精准度的中医经方。问止中医的“人工智能中医大脑”系统成功入选深圳市人工智能优秀产品及典型应用案例。该系统利用大数据分析和人工智能技术,对中医药产业链中的“种、讲、开、卖”等关键环节进行优化。这些案例展示了人工智能技术在中医药领域的多样化应用,从辅助诊断、药材识别到虚拟数字人和知识图谱的构建,人工智能正在推动中医药的现代化和国际化发展。
五、大模型Agent案例
中医虚拟数字人诊疗案例
我们把大模型Agent在中医行业的应用案例进行拆解,帮助大家更好的理解大模型Agent是如何应用的。我们需要通过虚拟数字人来实现中医的问诊、开方等工作。整体步骤如下:
第一步:规划(Planning),对智能化中医问诊和开方任务进行拆解,细分为获取数据、智能问诊、病症识别、生成经方四个子任务。
第二步:工具(Tools),调用虚拟数字人工具,对患者进行智能问诊,并根据病症数据,在与患者交流过程中识别关键病症。
第三步:记忆(Memory),分析中医医案、病症数据、中医经方数据,依据第二步识别的关键病症,分析对症经方。
第四步:行动(Action),将分析结果填入经方模版,自动完成开方任务。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
更多推荐
所有评论(0)