AI时代技术日新月异,而其发展的核心脉络,往往体现在关键“概念”的演进上。从早期的“提示词工程”,到随后的“上下文工程”,如今,Langchain给出一个新的概念——那就是“智能体工程”(Agent Engineering)。

“概念”的逐层演进,是我们对LLM,对AI落地思考的持续深入,三者是一个逐步深入,互相支撑的关系:

图片

  • 提示词工程:是驾驭大语言模型的基础层,专注于单次交互中的指令优化,是与模型“直接对话”的艺术。

  • 上下文工程:是提升应用可靠性的增强层,专注于为模型提供持续、相关的背景支持,是与模型“持久对话”并维持一致性的科学。

  • 智能体工程:是实现复杂任务自动化的架构层,专注于赋予模型自主性、工具使用能力和多步推理逻辑,是与模型“协作共事”的系统工程。

什么是智能体工程?

智能体工程是将非确定性的大语言模型系统,通过迭代优化,转变为可靠、可投入生产体验的过程。它构成了一个持续循环:构建、测试、部署、观察、优化,并不断重复

图片

这里的关键在于,部署并非终点,而是持续获取新洞察、改进智能体的必要途径。 要实现有意义的改进,你必须了解生产环境中实际发生的情况。这个循环运转得越快,你的智能体就越可靠。

智能体工程可被视为一门融合了三种核心能力的新兴学科:

  • 产品思维:定义智能体的边界并塑造其行为。包括:

    • 编写驱动智能体行为的提示(通常长达数百或数千行),良好的沟通与写作能力至关重要。

    • 深刻理解智能体旨在完成的“用户真实任务”。

    • 定义评估标准,以检验智能体是否按任务意图执行。

  • 工程实现:构建使智能体具备生产就绪能力的基础设施。包括:

    • 为智能体开发可用的工具。

    • 设计智能体交互的UI/UX(支持流式输出、中断处理等)。

    • 创建健壮的运行时环境,以处理持久化执行、人工介入、状态与记忆管理等。

  • 数据科学:度量并持续提升智能体性能。包括:

    • 构建评估、A/B测试、监控等系统,以衡量智能体的性能与可靠性。

    • 分析使用模式并进行错误归因(由于用户与智能体的交互方式比传统软件更加开放和多样)。

实践流程

  • 构建:从设计智能体基础开始,可以是配备工具的简单LLM调用,也可以是复杂的多智能体系统。架构取决于你对确定性工作流与智能体自主决策能力的需求比例。

  • 测试:针对示例场景测试智能体,发现提示、工具定义或工作流中的明显问题。与传统软件不同,你无法穷尽所有自然语言交互可能。应将思维从“全面测试后再部署”转向“充分测试后即部署,以了解真实世界中什么才重要”。

  • 部署:一旦部署,你将立即接触到未曾预料的输入,每一条生产环境记录都揭示智能体实际需要应对的情况。

  • 观察:追踪每次交互,查看完整对话、调用的每个工具以及影响决策的准确上下文。对生产数据运行评估,衡量智能体在准确性、延迟、用户满意度等关键指标上的表现。

  • 优化:识别出失败模式后,通过调整提示、修改工具定义等方式进行改进。这是一个持续过程,可将出现问题的情况加入回归测试集。

  • 循环往复:部署改进版本,继续观察生产环境的变化。每一个循环都会让你更深入理解用户如何与智能体交互,以及在你的具体场景中,“可靠性”究竟意味着什么。

核心理念

  1. 强化智能体的真正工作,在于通过观察生产行为并基于所学进行系统化优化的持续循环来完成。

  2. 与其在发布前追求完美,不如将生产环境视为最重要的导师。这意味着追踪每一个决策、进行大规模评估,并在几天(而非几个季度)内部署改进。

  3. 智能体能够处理以往需人类判断的工作流,但前提是你有办法让它足够可靠以赢得信任。这没有捷径,唯有依靠系统性的迭代工作。

AI时代,质量是核心和关键,而在迭代中学习,是AI 研发范式的基础! 

图片

Langchian原文详见:Agent Engineering: A New Discipline

我是AI时代原住民,欢迎关注我,一起在不确定的AI时代寻找确定性:

1:AI重构研发范式:

AI时代,你最大的能力变迁:从“我不行”到“我能行”!

AI重构软件研发全流程走向落地!亚马逊发布「AI驱动开发」全新方法论,完整解读十大核心原则

AI开发新范式——规范驱动开发(SDD)【第三篇】:通过OpenSpec实现增量开发

一图介绍清楚基于Spec Kit 框架的SDD(规范驱动开发)的详细过程【SDD第二讲]

五分钟带你理解AI时代的软件研发新范式——SDD(规格驱动开发) 【SDD第一讲】

重温氛围编程:是AI开发的明日新星还是皇帝的新装

华为《智能世界2035》揭示软件未来:人机协同编程重塑软件开发格局

2:AI重构软件组织:

AI组织-未来已来:10年以后的组织是什么样子?

AI组织是什么样子?来自微软的最新分析 – The Year of the Frontier Firm

Gartner 2026年十大战略技术趋势解读,ALL IS AI!

3:软件工程本质思考:

AI时代,重新温习软件工程经典巨作,思考软件工程的本质

研发提效的本质:不是让程序员拼命踩油门,而是为价值修一条高速公路

AI时代重温经典:《管理大型软件系统的开发》

AI时代重温经典,梳理软件工程的本质:高效构建软件的工程智慧

4: 模型本质的认识:

OpenAI深度揭秘大语言模型的幻觉本质

5: 软件智能测试:

AI在软件测试中的理想与现实:一场尚未到来的革命

6: AI实战

SDD开发实战:3小时从零构建可私有部署的AI助手

AI协同开发范式RIPER-5实战:从零构建图书馆管理系统

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐