现在说起 AI Agent，很多人的第一反应还是去调云端的 API。但说白了，一个 Agent 每个决策都要去云端烧钱，那它本质上就是个租来的大脑。需要 key，按 token 计费，每次请求你还得等它出去转一圈再回来。可要是把 Agent 跑在本地呢？这些麻烦就全没了。模型一下载，调用就是免费的，数据不离开你的网络，除非你让它出去。但坑就坑在——所有东西都跑在本地，意味着你得有一个编排层，它得真懂怎么跟你自己硬件上的模型说话，而不是去调别人的 API。

下面这 7 个 Python 工具，是 2026 年工程师们真在用的，用来在本地构建、协调和运行 Agent。从承载模型本身的运行时，到决定 Agent 拿模型干嘛的框架，都给你捋一遍。

1. Ollama —— 先让模型跑起来

---

你要想编排点啥，总得先把模型跑起来吧。Ollama 就是个轻量级运行时，专门让你在本机跑开源大模型（LLM）的——最像 Docker 对模型干的事。一条命令拉模型，另一条命令就通过本地 API 提供服务了，连 Python 环境都不用配，CUDA 驱动也不用你手动装。

为什么说 Ollama 几乎成了所有框架的基础？一个设计选择：它暴露了一个兼容 OpenAI 的 API。这意味着大多数 Agent 框架可以直接用它，不用写什么奇怪的适配器。好处很明显：数据永远不会离开你的机器，隐私有了；模型下好之后，每次请求免费，钱也省了。但它不是为高吞吐量设计的——这一点你如果打算从单台开发机往上扩，心里得有数。高并发场景下，团队一般在开发阶段先用 Ollama 的简单，等需要性能了，再在下面换成 vLLM（基于 PagedAttention 的推理引擎），上面的编排层保持不变。

A diagram showing three layers: Ollama, Local model file, Agent Framework

2. Smolagents —— 想搞清楚 Agent 每一步到底在干啥？

---

如果你不想在各种抽象层里绕来绕去，就想看 Agent 到底在搞什么，那 Hugging Face 的 smolagents 就是为你准备的。整个 Agent 的逻辑大概只有 1000 行代码，抽象层极其薄，几乎是裸代码。而且完全模型无关，支持本地的 transformers 模型、Ollama 模型，还有一堆托管商。

Smolagents landing page

它的核心特点是一个完全不同的行动哲学：它把 CodeAgent 作为一等公民——Agent 的行动直接写成代码，而不是先生成代码再去执行。它支持通过 Docker、E2B 或 Modal 在沙箱环境里执行这些代码，确保安全。说实话，它有个明显的 trade-off：在小模型上性能会急剧下降。低于 7B 参数范围的模型，各种 bug 就来了。所以它更适合你跑一个能力还不错的本地模型，而不是那种在简陋硬件上硬挤出来的小模型。

3. PydanticAI —— 结构不对，一切白费

---

Agent 调用工具或者传递结构化数据时，它输出的格式决定了整个流程的可靠性。一个时不时返回畸形 JSON 的模型，能悄无声息地搞崩整个管线。PydanticAI 就是 Pydantic 团队为了解决这个问题造的。它利用 Python 类型提示，让 Agent 的每个输入、输出和工具调用都变得类型安全，自动做 schema 验证，当 LLM 输出不符合预期结构时还能自动修正。

PydanticAI landing page

这对于处理数据完整性很重要的本地 Agent 来说，特别合适。PydanticAI 确保数据是结构化的、经过验证的、靠谱的，这对像金融、医疗这种合规要求高的行业至关重要。而且因为它兼容 OpenAI 的 API 端点，你只要把它指向本地 Ollama 服务器，就能直接用了，不需要再搞一套集成。这项目迭代得飞快：到 2026 年 4 月已经到 1.85.1 了，Pydantic 核心团队在维护，评论里大家最常提的就是它的类型安全和极简的依赖。

4. CrewAI —— 多 Agent 协作，上手最快

---

如果你就一个 Agent，上面那些就够了。但一旦你想让几个 Agent 合作完成不同部分的任务，CrewAI 往往是你第一个想到的框架。原因很简单：它让你最快看到效果。你给 Agent 定义角色和目标，然后分组（crew），它们就开始协作。说实话，它是上手本地模型最友好的 Agent 框架。

CrewAI landing page

它支持本地模型可不是什么后加的功能。CrewAI 明确不依赖 LangChain 或其他外部框架，自成一派。它默认用 OpenAI 做模型提供商，但也明确支持通过 Ollama 跑本地模型。它还支持模型上下文协议（MCP），通过 stdio、SSE 和流式 HTTP 传输，所以本地 CrewAI 设置还能跟标准化工具服务器交互，同时保持本地优先的模型基础。

5. AgentScope —— 奔着生产环境去的

---

前面几个框架追求的是快速上手，而 AgentScope 从一开始就是奔着生产环境设计的。本地部署被当成一等公民，而不是边缘场景。AgentScope 2.0 是一个面向生产的 Agent 框架，支持工作区和沙箱，在隔离环境里运行工具和代码，内置了本地执行、Docker 和 E2B 后端。GitHub 上超过 27,300 颗星，还有两篇同行评审的论文背书，对于需要真正交付的多 Agent 系统团队来说，这绝对是比较全面的选择之一。

AgentScope landing page

它的隐私保护是明确的，而不是顺带的。Agent 完全跑在你自己的基础设施里，不管是本地服务器还是你自己的云，数据不会发送到 AgentScope 的服务器。模型抽象层让你可以轻松替换成本地或私有模型，而不用重写 Agent 代码。多 Agent 协调是通过框架所谓的“消息中心”来完成的。Agent 之间通过结构化的消息传递来通信，而不是共享隐式上下文，这保证了交互是透明且可审计的。如果你曾经 debug 过多 Agent 系统，搞不清楚哪个 Agent 影响了哪个决策，你就能体会到这个设计有多重要。

6. LangGraph —— 有状态、有分支、可恢复的默认选择

---

LangGraph 在之前的 Agent 编排文章里已经出现过，原因很简单：对于任何有状态、有分支、需要可恢复能力的场景，它已经成了默认选择。支持本地模型这一点值得单独拿出来说：因为 LangGraph 兼容任何 OpenAI 兼容的后端，所以把图指向本地 Ollama 实例来做规划和工具决策，就是一行的改动。而且它的 checkpoint 机制——暂停-恢复、时间旅行调试、多实例扩展——在云端和本地 GPU 上完全一样。

LangGraph landing page

这对于那些需要做更多事情的本地 Agent 来说至关重要。一个可靠的本地 Agent 循环需要一个可预测的结构：模型先提出计划，一次执行一个工具动作，观察结果，再决定下一步。一旦这个循环需要应对崩溃或长时间暂停，LangGraph 的持久化层就能保证它不会每次从头开始。

7. Microsoft Agent Framework —— 大厂治理，本地也能跑

---

如果你需要大型工程组织里那种治理和中间件功能，但同时又想全部跑在本地，那 Microsoft Agent Framework 值得了解。它是 AutoGen 和 Semantic Kernel 的统一后代，由同一个团队在 2025 年 10 月宣布，作为微软未来的统一编排 SDK。它结合了 AutoGen 的对话式多 Agent 抽象和 Semantic Kernel 的企业特性，比如基于会话的状态管理、中间件和遥测。

Microsoft Agent Framework landing page

它之所以能出现在这个列表里，是因为它对本地模型有直接、明确的支持——而不是事后拼凑的。框架附带 Python 包，开箱支持 Microsoft Foundry、Azure OpenAI、OpenAI、Anthropic、Amazon Bedrock、Google Gemini 和 Ollama。这意味着一个团队如果为了企业特性而标准化在这个框架上，也不用放弃在敏感负载或离线开发时跑一个完全本地 Agent 的选择。但有一点要注意：社区反馈的问题主要集中在 Azure OpenAI 主路径之外的提供商适配器上。所以如果团队主要跑在 Ollama 或其他非微软基础设施上，最好先充分验证集成情况再投入。

总结

这七个工具其实并不是在抢同一个饭碗。

• Ollama 是几乎所有其他东西的基础。
• smolagents 和 PydanticAI 在完整编排层下面一层：一个追求极简抽象和代码即行动，另一个追求类型安全，不允许出现畸形输出。
• CrewAI 能让你最快跑通本地多 Agent 原型。
• AgentScope 和 Microsoft Agent Framework 为本地部署带来了生产级结构、审计跟踪和治理能力。
• LangGraph 在中间，为上述任何框架提供一个持久化、有 checkpoint 的主干，适合那些需要不止一次响应和停止的本地 Agent。

怎么选？与其纠结哪个框架“最好”，不如看你到底在解决哪个约束：原型速度？严格的数据验证？生产治理？还是长时间运行的状态？在本地跑，不再意味着要牺牲能力。你只需要选一个框架，它恰好是围绕你最关心的那个约束来构建的。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

👇👇扫码免费领取全部内容👇👇

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

4. 2026行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

5. 大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

6. 大模型面试题

面试不仅是技术的较量，更需要充分的准备。

在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

7. 资料领取：全套内容免费抱走，学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型，还是有基础想冲刺大厂、了解行业趋势，这份资料都能满足你！
现在只需按照提示操作，就能免费领取：

👇👇扫码免费领取全部内容👇👇