📚 项目推荐：notes-on-llms
我在系统整理大语言模型（LLM）相关知识的过程中，长期维护了一个公开文档仓库 notes-on-llms。
这个项目不是零散的论文笔记或 Prompt 技巧合集，而是从 模型原理 → 训练范式 → 推理优化 → Agent 架构 → 安全与对齐 → 多模态，系统性拆解 LLM 技术栈，构建一份 结构化的认知地图。
如果你已经接触过 LLM，希望从“会用模型”进阶到“理解模型系统”，这个仓库会更有参考价值。
🔗 项目地址：
https://likebeans.github.io/notes-on-llms/
⭐ 欢迎 Star / Follow，后续会持续更新。

摘要
人工智能正在经历从“对话式 AI”向**“代理式 AI（Agentic AI）”**的历史性跨越。本报告构建了一份详尽的 AI Agent 知识体系全景图，涵盖从底层理论公式到顶层应用落地的全链路知识。报告深入剖析了 Agent 的核心定义（LLM + Planning + Memory + Tools），拆解了 CoT、ToT、ReAct 等关键技术，对比了 AutoGen、MetaGPT 等协作框架，并展望了端侧 Agent 与 Agent OS 的未来趋势。

---

1. 引言：从大语言模型到自主智能体

在人工智能的发展历程中，大语言模型（LLM）虽然展现了惊人的推理能力，但本质上仍是概率性的“下一个 token 预测器”，受限于静态知识和与现实世界的隔离。

AI Agent（人工智能体） 的出现打破了这一局限。它将 LLM 视为核心认知控制器（大脑），并挂载规划、记忆、工具使用等模块，实现了从 System 1（快速直觉响应）向 System 2（慢速逻辑规划）的进化，标志着 AI 从“内容生成”迈向了“任务执行”的新时代。

---

2. 核心定义与架构范式

2.1 Agent 的终极公式

OpenAI 安全系统负责人 Lilian Weng 提出了定义现代 Agent 架构的基石公式：

该公式明确指出了 Agent 系统的四大核心组件：

• 大语言模型 (LLM)：大脑。负责处理输入、逻辑推理、生成指令并编排协作。
• 规划 (Planning)：前额叶。包含任务分解（Decomposition）与反思修正（Reflection）。
• 记忆 (Memory)：海马体。通过短期上下文和长期向量存储，赋予 Agent 连贯性与个性。
• 工具使用 (Tool Use)：四肢。通过调用外部 API（搜索、代码解释器），拓展能力边界。

2.2 经典架构图解

Agent 在环境中不断循环 “感知-规划-行动-观察” 的过程。

• 中心节点：LLM 作为中央控制器。
• 右侧分支 (Memory)：信息在 Short-term Memory 与 Long-term Memory 间流转。
• 左侧分支 (Tools)：生成调用指令，工具执行后返回 Observation。
• 上方分支 (Planning)：从 User Request 到 Task Decomposition 的过程。

---

3. 核心能力深探：规划 (Planning)

规划能力是区分“聊天机器人”与“智能体”的分水岭，尤其是在处理非平凡（Non-trivial）任务时。

3.1 任务分解：思维链 (CoT) 与思维树 (ToT)

• 思维链 (Chain of Thought, CoT)：

• 机制：通过 “Let’s think step by step” 诱导模型生成线性推理步骤。

• 局限：线性结构，一步错步步错。

• 思维树 (Tree of Thoughts, ToT)：

• 机制：将推理建模为树状结构，每个节点生成多个分支（Thoughts）。

• 算法：利用 BFS 或 DFS 遍历，结合自我评估（Self-evaluation）进行回溯（Backtrack）。

• 效果：在 24 点游戏中，成功率从 CoT 的 4% 飙升至 74%。

3.2 自我反思与行动：ReAct 与 Reflexion

• ReAct (Reason + Act)：

• 循环机制：Thought (思考) Action (行动) Observation (观察) Thought (修正)。

• 优势：“边想边做”，基于环境反馈动态调整，减少幻觉。

• Reflexion：

• 长时记忆反思：当任务失败时，分析 Trace 生成自然语言“教训”（Heuristic），存入内存供下次参考。实现无需微调参数的自我进化。

3.3 神经符号规划 (LLM+P)

结合 LLM 的语义理解 与 经典规划器（如 PDDL）的逻辑完备性。适用于受严格物理约束的长视距任务（如机器人搬运）。

---

4. 核心能力深探：记忆 (Memory)

4.1 记忆的认知分层

1. 感觉记忆 (Sensory Memory)：对原始输入（图像/音频）的瞬时特征提取。
2. 短期记忆 (Short-term Memory)：对应 LLM 的上下文窗口 (Context Window)。
3. 长期记忆 (Long-term Memory)：存储在外部向量数据库中的海量信息，需通过检索调用。

4.2 向量数据库与检索

• 机制：Embedding Model 将文本转化为高维向量。
• 检索：使用 MIPS (最大内积搜索) 寻找语义最近邻。
• 工具：Pinecone, Milvus, Weaviate, FAISS。

4.3 生成式智能体的记忆流 (Generative Agents)

斯坦福“西部世界”沙盒模拟提出的经典架构：

• 记忆流 (Memory Stream)：包含所有经历的列表。

• 检索评分机制：

• Recency (新近性)：指数衰减。

• Importance (重要性)：LLM 打分。

• Relevance (相关性)：向量相似度。

• 反思 (Reflection)：定期从碎片记忆中提炼高层观点，写入记忆流。

---

5. 核心能力深探：工具使用 (Tool Use)

• MRKL 系统：早期的模块化路由分发。
• Toolformer：自监督学习范式。模型在训练中尝试插入 API 调用，若能降低困惑度（Perplexity）则保留。学会了“按需查资料”。
• Gorilla 与 RAT：
• 检索感知训练 (RAT)：训练时输入包含检索到的最新 API 文档。
• 优势：解决了幻觉和文档滞后问题，即使 API 更新也无需重新训练。

---

6. 多智能体系统 (Multi-Agent Systems)

当任务复杂度超过单个 Agent 能力时，需要多智能体协作。

6.1 协作架构与拓扑

架构类型	描述	典型应用	优缺点
层级式 (Hierarchical)	类似企业架构，经理分发任务给员工。	复杂软件开发	优：流程清晰；缺：中心瓶颈。
联合/角色扮演 (Joint)	类似头脑风暴，Agent 平等交互。	创意写作、辩论	优：灵活性高；缺：易陷死循环。
去中心化 (Decentralized)	类似市场经济，点对点通信。	开放世界模拟	优：扩展性强；缺：全局最优难保。

6.2 主流框架对比

1. AutoGen (Microsoft)：

• 核心：Conversable Agent。
• 特点：极灵活，擅长代码生成与本地执行 (Docker)。

2. MetaGPT：

• 核心：SOP (标准作业程序)。
• 特点：硬编码职能角色与交付标准，适合生成复杂软件工程项目。

3. LangGraph (LangChain)：

• 核心：图论与状态机。
• 特点：支持循环逻辑 (Cycles)，适合生产环境的复杂业务流控制。

6.3 交互协议标准

• MCP (Model Context Protocol)：标准化数据源连接 (Client-Host-Server)。
• Agent Protocol (AP)：统一对外 REST API 标准。
• Agent-to-Agent (A2A)：解决服务发现与即时通信。

---

7. 关键技术：多模态感知与融合

• Q-Former：Salesforce 提出的轻量级中间件。通过 Cross-Attention 提取与文本相关的视觉特征，解决 ViT 特征冗余问题。
• 原生多模态 (Native Multimodal)：如 Gemini。采用联合嵌入 (Joint Embedding)，在同一向量空间处理文本、图像和视频，支持复杂的跨模态因果推理。

---

8. 安全、评估与可观测性

8.1 提示词注入攻防

• 间接注入 (Indirect Prompt Injection)：攻击者将指令隐藏在网页/文档中，Agent 读取时被劫持。
• 防御：指令层级化隔离、宪法 AI (Constitutional AI)、人机回环 (Human-in-the-Loop)。

8.2 评测基准

• AgentBench：综合性评测（操作系统、数据库、游戏等）。
• GAIA：关注“对人类简单、对 AI 极难”的任务，强调多步执行的鲁棒性。

8.3 可观测性 (LangSmith)

Trace (链路追踪) 是必选项，用于审计：输入 Prompt 检索内容 CoT 过程 工具调用 最终输出。

---

9. 应用场景与案例分析

9.1 AI 软件工程师：Devin

• 能力：端到端解决 GitHub Issue。
• 架构：沙箱环境 (Linux 容器) + 长期规划器 (动态任务列表) + 自我修正 (读取 Error Logs 调试)。

9.2 具身智能：Voyager (Minecraft)

• 自动课程：根据状态自我提出任务 (Self-proposed Tasks)。
• 技能库 (Skill Library)：代码即记忆。学会新动作后生成 Python 代码并存入向量库，实现终身学习。

---

10. 前沿趋势：端侧智能与 Agent OS

• 端侧优化 (MobileLLM)：Deep and Thin 架构，Embedding Sharing，实现 Sub-1B 高性能模型。
• Agent OS：
• Kernel：LLM
• Memory：Context Window
• Process：Agent
• 操作系统将负责调度算力资源、管理工具权限，并协调 Agent 间的互操作。

---

11. 结语

AI Agent 通过 LLM + Planning + Memory + Tools 的架构，赋予了静态模型以动态的生命力。尽管面临挑战，但随着神经符号规划的融合、端侧模型的优化及协议标准化，一个由数十亿 AI Agent 构成的协作网络正在形成。掌握这一全景体系，是参与定义下一代计算范式的关键。