LLM（大型语言模型） Agent 是一种能产出不单是简单文本的 AI 系统，使用 LLM 的能力，作为其计算引擎，让自己能够对话、任务执行、推理，实现一定程度的自主行动。可以说，在这个大模型 AI 时代下，大模型应用 or AI Power + 的应用就是大模型 Agent，等同于移动互联时代的 APP。

下面是一个快捷目录：

1. LLM Agent中的模型自我反省定义

2.LLM Agent中的模型自我反省的方法

3.模型反省使用的框架之一：Reflexion

LLM Agent中的模型自我反省定义

LLM Agent 中模型自我反省通常指的是模型对自身输出或行为的评估和调整过程。它是在上篇文章中介绍的拆解子任务的下一步，这种自我反省可能包括以下几个方面：

• 性能评估： 模型可能会定期评估自己在特定任务上的性能，比如语言生成、文本分类或对话系统。这种评估通常包括指标如准确率、流畅度、多样性等。

• 错误分析： 模型会分析自己产生的错误，包括误解输入、生成不通顺的文本、输出不符合语境等。通过识别错误的模式和原因，模型可以尝试纠正这些错误。

• 领域适应： 如果模型在特定领域的表现不佳，它可能会尝试调整自身以适应该领域。这可能涉及到领域特定的数据增强、微调或其他方法。

• 用户反馈处理： 如果模型接收到用户反馈，它可能会利用这些反馈来改进自身。这可能包括对用户请求的理解、对用户偏好的识别等。

LLM Agent中的模型自我反省的方法

1. ReAct（Reson+Act）： 它通过将动作空间扩展到特定任务的离散动作和语言空间的组合，将推理（Reasoning）和行动（Action）整合到LLM内部。

2. 推理（Reasoning）： 使LLM能够与环境交互（例如，使用Wikipedia Search的 API）；

3. 行动（Action）： 利用提示词来引导LLM生成完整的推理过程，以自然语言的形式呈现。

进一步的，ReAct提示词模板包含了提供LLM思考的明确步骤，其大致格式为：

• Thought:

• Action:

• Observation:

上图为知识密集型任务（如HotpotQA、FEVER）和决策型任务（如AlfWorld Env、WebShop）的推理轨迹示例。在知识密集型任务和决策任务的两个实验中，ReAct的表现比去掉Thought的单一Act方式更加优异。

模型反省使用的框架之一：Reflexion

上图为Reflexion的架构示意图。可以看到：

• Reflexion 框架：旨在赋予智能体动态记忆和自我反思的能力，从而提升其推理能力。在 Reflexion 中，采用标准的强化学习设置，其中奖励模型提供简单的二进制奖励，而行动空间则沿用了 ReAct 的设置，即在特定任务的行动空间中加入语言元素，以实现复杂的推理步骤。在每一次行动后，智能体会计算一个启发式函数 ，并根据自我反思的结果来决定是否重置环境以开始新的循环。

• 自我反思过程通过为LLM创建一个两步示例，每个示例都包含一对（失败的路径、计划中指导进一步变化的理想反思）。然后，这些反思将被添加到Agent的工作记忆中，作为查询LLM上下文的一部分，最多三个。

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓