前言

本文都是基于我自己的理解，和在实践中的心得。

如有雷同，那是英雄所见略同，求点赞关注。

如果你有不同的意见，可以评论探讨，否则你的都对。

未来大模型的发展方向，一般认为有四个，AIGC（内容生成）、Copilot（智能助手）、Insight（知识洞察）、Agent（数字代理）。

本文重点说 agent 和 copilot，在应用这块，这俩货几乎都是必不可少。

copilot&agent

关于copilot和agent并没有严格意义上的定义。

我的理解是，agent是大模型和外部交互的代理人，是一般意义上的智能体。它是一个集散中心，决定了模型是如何被应用起来的，外部条件是如何被构建的。处在语义逻辑处理和具体应用的中间层。

而copilot是agent的超集。copilot不光是个智能体，能够管理更多agent来完成更复杂的工作。

区别：

• 自主性不同：Copilot需要依赖清晰明确的prompt才能很好地发挥作用，而Agent只需要说出想做什么，就可以自己规划并执行任务。
• 功能不同：Copilot主要被设计为根据用户提供的具体信息或问题来生成相应的回答或结果，而Agent被设计为能够自主地根据用户的目标或任务来规划和执行行动。

我建议不要纠结这些定义，当前都处在初级阶段，那个好用用那个，灵活多变才是硬道理。

说的再好，不如画个图：

第一眼看到这个图，是不是就想吐槽，为啥要搞一个中间层出来？

我们通常意义上的大模型，提供的是 推理，模拟，规划 的能力。而实际工程上，我们要告诉他，如何进行思考？ 可以进行哪些行动？有哪些记忆？

agent

先看一个通用的结构定义，懒得写了，沾。

Lilian, OpenAI AI 安全团队 leader

在他的博客中，认为 Agent = 大模型（LLM）+ 工具使用 + 规划 + 行动 + 记忆

在由LLM驱动的自主代理系统中，LLM作为代理的大脑，辅以几个关键组件：

• 规划
  • 子目标和分解：代理将大型任务分解为较小、可管理的子目标，从而实现对复杂任务的高效处理。
  • 反思和完善：代理可以对过去的行动进行自我批评和自我反思，从错误中学习并为未来的步骤做出改进，从而提高最终结果的质量。
• 记忆
  • 短期记忆：我认为所有上下文学习都利用了模型的短期记忆来学习。
  • 长期记忆：这为代理提供了在较长时间内保留和检索（无限）信息的能力，通常通过利用外部向量存储和快速检索来实现。
• 工具使用
  • 代理学习调用外部API以获取缺失于模型权重中的额外信息（通常在预训练后难以更改），包括当前信息、代码执行能力、访问专有信息源等。

copilot

copilot并不是一个固定的结构，下面是我画的，仅供参考。

按照当前对copilot的定义，copilot = agent + 调度 + pe + 处理（process）

• process ： 我起的名字，有别于tools，他应该提供更多的外部工具，比如可以运行语言脚本，调api，甚至是操作数据库。

• schedule : copilot的核心

  • 和planning类似，但schedule决定了一系列流程节点的调度。它可以以任意的方式将process和agent组合起来使用，以便完成一系列复杂的操作。
  • 这是一个非常重要的环节，后面会将每个子项单独讲。

• pe : Prompt Engneering

  • prompt决定了模型是如何认识自己的，如何思考未来的。
  • pe的重要无需多言，甚至出现了一个新的职位pe工程师，后面我也会单独开一篇说prompt。

流程图模式

最简单的agent编排模式，就是提前画好路程图，按照固定的流程运行。

agent tools process 都作为流程中的节点。

适合用来解决封闭域问题。

multi-agent

MetaGPT 提出的一种，多智能体元编程框架。

简单概括：将若干 专精某个任务的agent 按照sop组合起来，进行工作。

举个例子：你是公司的老板，它就是这个公司，你说一句话，剩下的它来完成。

如下图，MetaGPT与人类团队之间软件开发SOP的比较

多智能体

清华大学在AgentVerse开源框架中提的一种解决方案。如图：

论文中，提供了如上图所示的流程图，它的设计流程模拟了人类的决策过程，包含了四个阶段，分别是：专家招聘、协作决策、行动执行和评估。

1. 专家招聘阶段根据当前问题解决的进展来确定智能体的专家成员都有哪些。
2. 协作决策阶段，各个智能体参与讨论和制定策略，并达成共识，这里会有多轮执行
3. 行动执行阶段，各个智能体根据决策进行执行
4. 评估阶段，提供关于当前状态的进行与目标的对比，如果没有达到预期就根据奖励反馈重新回到专家招聘阶段进行新的一轮交互。

其他

方案有很多，我们还是要吸收精华，取百家之长，最终融合贯通，形成自己的方案。

我的实践

不多bb，上图

是不是一眼就理解了，整个架构以schedule为中心，其他模块提供能力，最终组成一个AI。

一句话：AI = 工具 + llm(模型) + 记忆 + pe(设定) + planning(规划)

• process/tools：提供工具能力，可以是函数，api，脚本，流程节点 等等
• memory: 长期记忆+短期记忆+人物画像
• pe: 提供设定，不同的pe代表着不同的角色，当然和人不同，pe是可以动态组装的。
• planning：调度规划，我认为这是一个开放的能力，因为没有银弹，或者说目前大多数的策略都不咋地。那不如做成开放式的。

尾语

我知道你很想吐槽：

• “偷懒式设计”
• “看起来设计的很好，但工程实现上会很复杂”
• “看了个寂寞”

我的答案：

1. 大模型应用本身就是个很复杂的事情，首先就是要划分好职责和模块，并且明确模块之间的关系，然后才能开始写代码，做应用，才能长久维护。 我们之前试了很多框架，抄了很多论文，但都是各种问题，最终重构成了这种模样。

2. 长期看我博文的朋友肯定了解我，有设计，必有代码，虽然实现很复杂，但我一定会单开一篇讲代码。

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓