从 8 个问题看懂 Agent 技术栈选型，一张图覆盖 8 层完整架构

用 AI 做 Agent 的人都知道这个场景：跟团队说要做一个"智能客服"，大家热火朝天开始选模型、调 Prompt、搭框架。两个月过去，Demo 跑通了——然后发现：对话上下文丢了、工具调用不稳定、出错了不知道怎么排查、换个场景又要从头搭。

这不是模型的能力问题，是架构缺失。就像盖房子不打地基就直接砌墙——不是砖的问题，是图纸的问题。

这篇文章不跟你讲抽象的分层理论，而是用 8 个问题，对应 Agent 技术栈的 8 个架构层。每个问题都是你开发 Agent 时必须做的决策，每个决策背后都有一组成熟的技术选项。

问题 1：你的 Agent 要解决什么业务问题？

对应：应用层（Application Layer）

没想清楚： 技术驱动做产品。看到别人做 AI Coding 你也做，看到别人做 AI 客服你也跟。结果是做完没人用，或者用起来发现场景根本不匹配——你的用户不需要一个会聊天的机器人，他们需要一个能查订单、能退款的工具。

想清楚了： 场景驱动选技术。先定义清楚：用户是谁？解决什么痛点？成功标准是什么？Agent 的终点不是模型，是产品。

对比：技术驱动 → 场景驱动

技术选项（按场景划分）：

场景	代表产品
AI Coding	Devin, Cursor, Claude Code
AI 客服	自建 (LangGraph + RAG)
AI 数据分析	自建 (Text-to-SQL)
AI 搜索	Perplexity, 自建 RAG
AI 知识库	Notion AI, 自建管道
AI 办公助手	ChatGPT, 自建工作流

---

问题 2：怎么让 Agent 不"裸奔"？

对应：AI 工程层（AI Engineering Layer）

没想清楚： Prompt 直接写死在代码里，上线后 Agent 开始"行为漂移"——同一个问题有时答对有时答错，团队无法协作，没有测试，没有版本管理，不敢改 Prompt。每次修改都靠"试"。

想清楚了： 用软件工程的思维管 AI：

• Spec-Driven Development：像写 PRD 一样定义 Agent 的角色、工具、约束、输出格式
• PromptOps：Prompt 版本管理、发布、回滚、A/B 测试
• Review Gate：Agent 输出必须经过审批/校验才能执行重要操作
• Multi-Agent 协作规范：Planner → Researcher → Coder → Reviewer 分工明确

对比：AI 原型 → AI 产品

技术选项：

能力	实现方式
Spec-Driven	自建规范流程
PromptOps	LangSmith Hub, Git 版本管理
Review Gate	Human-in-the-Loop 流程
评估体系	LangSmith Evaluation, 自建测试集

---

问题 3：Agent 的执行流程怎么编排？

对应：工作流编排层（Workflow / Orchestration Layer）

没想清楚： Agent 的执行顺序全靠 LLM 的"自由意志"。出错不会重试，流程走到一半卡住了没人知道，一个子任务失败整个流程崩溃。线上跑起来像在"赌"——这次能成功吗？

想清楚了： 用 DAG（有向无环图）或状态机来定义流程。条件路由、并行执行、重试/恢复、Human-in-the-Loop 全在流程层面管理，LLM 只负责它擅长的推理决策，流程的确定性交给编排层。

对比：不可控单步执行 → 可控 DAG 工作流

技术选项：

框架	适用场景	特点
LangGraph	AI Agent 工作流	原生 StateGraph、条件路由、多 Agent
Temporal	通用微服务编排	强可靠性、长期运行工作流
Prefect	数据管道	Python 原生、丰富的重试策略
Airflow	批处理调度	生态最成熟、适合定时任务
Dagster	数据资产编排	可观测性强
CrewAI Flow	多 Agent 流程	与 CrewAI 深度集成

---

问题 4：用什么框架搭建 Agent 主体？

对应：Agent 框架层（Agent Framework Layer）

没想清楚： 从零开始写 Agent 逻辑——Prompt 拼接、Tool Calling 循环、输出解析、记忆管理全自己实现。一个简单功能写几百行胶水代码，换个模型就要重写一半。

想清楚了： 站在巨人的肩膀上。选择一个成熟的 Agent 框架作为"AI 的 Spring Boot"，它帮你搞定 Prompt 管理、工具调用、执行器、记忆接口、输出解析这些基础设施。

对比：从零造轮子 → 选成熟的 Agent SDK

技术选项：

框架	特点	适合
LangChain	生态最大、集成最全	快速原型到生产
LlamaIndex	数据/检索能力强	RAG 为主的场景
AutoGen	多 Agent 对话	多 Agent 协作
CrewAI	角色化 Agent 团队	模拟团队分工
Semantic Kernel	微软出品、.NET 友好	企业 .NET 环境
DSPy	自动优化 Prompt	精细控制推理逻辑
Haystack	端到端 NLP 管道	搜索/RAG 场景

---

问题 5：怎么让 Agent 学会"思考"？

对应：Agent 认知层（Agent Theory / Cognitive Layer）

没想清楚： Agent 接到复杂问题就直接回答，说"我不知道"或者瞎编一个答案。不会拆解问题、不会反思自己的答案、不会多路径推理。就像一个刚毕业的实习生——态度好但能力不足。

想清楚了： 给 Agent 装上"思维模式"。让它在回答问题之前先想想、在调用工具之前先计划、在给出答案之前先反思。

对比：直给式回答 → 结构化推理

核心技术模式：

模式	核心思想	适用场景
CoT（Chain of Thought）	逐步推理	数学、逻辑问题
ReAct	推理 + 工具调用交替	需要查信息的复杂问题
ToT（Tree of Thoughts）	多路径并行探索	开放创作、规划
Reflexion	自我批评 + 修正	编码、写作等迭代任务
Plan-and-Execute	先规划再执行	多步骤复杂任务
Multi-Agent 认知	多个 Agent 辩论/协作	需要多视角的问题

---

问题 6：Agent 上线了怎么监控和评估？

对应：可观测层（Observability Layer）

没想清楚： Agent 上线后是一个"黑盒"。用户说"出错了"，你翻日志也不知道是模型抽风、工具调用失败、还是 Prompt 写错了。每次排查都要靠"猜"，更别提做效果评估和成本控制了。

想清楚了： 给 Agent 装上"仪表盘"。从 Tracing、Prompt 日志、Token 消耗、延迟监控、到效果评估和回归测试，全部可观测、可追溯、可分析。

对比：黑盒盲猜 → 全链路可观测

技术选项：

平台	特点
LangSmith	LangChain 原生集成、Tracing + 评估
LangFuse	开源友好、成本低、自部署
Helicone	轻量代理、API 级别监控
Phoenix (Arize)	开源 LLM 可观测
Weights & Biases	实验追踪 + Prompt 管理

---

问题 7：Agent 怎么记住用户和上下文？

对应：Memory / RAG 层

没想清楚： 每次对话 Agent 都像"失忆"一样——上次聊到哪了？用户偏好是什么？历史订单信息呢？全不记得。更别说从知识库里检索公司内部文档了。

想清楚了： 构建分层的记忆系统：

• 会话记忆：短期对话上下文
• 向量检索（RAG）：从知识库找到相关信息
• 混合搜索：关键词 + 语义双路召回
• 知识图谱：实体关系存储与推理
• 缓存：常用查询加速、降低延迟

对比：一次性聊天机器人 → 有持久记忆的 AI

技术选项：

技术	用途	代表产品
向量数据库	语义检索	Pinecone, Milvus, Weaviate, Chroma, FAISS
图数据库	关系存储与推理	Neo4j
混合搜索	关键词 + 语义召回	Elasticsearch + 向量插件
会话缓存	短期记忆加速	Redis
知识图谱	结构化知识推理	Neo4j, Amazon Neptune

---

问题 8：模型底座怎么选、怎么部署？

对应：模型运行层（Model Runtime Layer）

没想清楚： 凭感觉选模型——GPT 最贵但最好、开源最便宜但效果差。没有合理的选型策略，导致要么成本爆炸、要么效果不行。部署也是随便拉个容器跑，推理速度慢、不稳定、GPU 利用率低。

想清楚了： 根据场景选模型、根据规模做部署：

• 简单任务（分类、提取）→ 小模型省钱
• 复杂推理（代码生成、深度分析）→ 大模型出活
• 高频低延迟 → 自建推理引擎（vLLM / TensorRT-LLM）
• 低频原型 → API 调用最省事

对比：凭感觉选型 → 按场景分层

技术选项：

类型	选项
闭源 API	OpenAI, Anthropic, Gemini, Grok
开源模型	Llama, Qwen, DeepSeek
推理引擎	vLLM, TensorRT-LLM, SGLang, Ollama
部署平台	Kubernetes, GPU 云平台

---

结语

8 个问题，8 个架构层：

#	问题	架构层	核心对比
1	解决什么业务？	应用层	技术驱动 → 场景驱动
2	怎么不裸奔？	AI 工程层	AI 原型 → AI 产品
3	流程怎么编排？	工作流层	单步执行 → DAG 控制
4	用什么框架搭？	框架层	造轮子 → Agent SDK
5	怎么学会思考？	认知层	直给回答 → 结构化推理
6	上线怎么监控？	可观测层	黑盒盲猜 → 全链路可观测
7	怎么记住东西？	Memory/RAG	失忆聊天 → 持久记忆
8	模型怎么选？	运行层	凭感觉 → 按场景分层

每次做 Agent 项目，拿这 8 个问题过一遍，你的架构自然就有了。不用纠结于技术名词和热点，回答好每个问题，技术选型就是顺理成章的事。

Agent 的竞争，最终不是模型竞争，而是系统架构竞争。

---

配图：8 层 Agent 架构全景图，每层标注对应问题和技术选项，可在公众号排版时插入。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

👇👇扫码免费领取全部内容👇👇

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

4. 2026行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

5. 大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

6. 大模型面试题

面试不仅是技术的较量，更需要充分的准备。

在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

7. 资料领取：全套内容免费抱走，学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型，还是有基础想冲刺大厂、了解行业趋势，这份资料都能满足你！
现在只需按照提示操作，就能免费领取：

👇👇扫码免费领取全部内容👇👇