前言

人工智能著名学者、斯坦福大学教授吴恩达在 X 上最新发帖中表示，他上周提到一个观点，即真正决定团队在构建AI智能体方面进展速度的，不是掌握最新工具，而是看似平淡无奇的评估和错误分析流程。这个说法引发了特别多读者的讨论，有人惊讶有人赞同。

他观察到，人们常倾向于跳过这些流程，快速尝试修复错误，而不是放慢脚步找到根本原因。但他认为，一个有纪律的评估和错误分析流程能够带来更快的进步。

在这封分两部分的通讯文章的第一篇中，吴恩达教授分享了一些发现并解决智能体系统问题的最佳实践。

错误分析看似枯燥，实际上特别重要

尽管错误分析一直是构建监督学习系统的关键环节，但它的重要性往往被低估，人们更倾向于追捧最新、最热门的工具。他认为，找出特定类型错误的根本原因看似十分“枯燥”，但这能带来显著回报。

为了证明错误分析的价值，吴恩达教授举了几个例子：

• 想要熟练掌握一首乐器曲目时，更重要的是找出薄弱环节，有针对性地加强练习，而不是只从头到尾演奏。
• 保持健康时，需要咨询医生、并通过验血检查是否存在问题，而不是只根据最新的营养潮流来调整饮食。
• 提高运动队表现时，需要回顾比赛录像以发现差距并加以解决，而不是只练习花哨的技巧。

因此，他建议，在提升 agentic AI 系统时，不应该盲目堆叠那些在社交媒体上刚火起来的流行技术。相反，应通过错误分析找出系统薄弱环节，并针对性地加以改进。

评估（Evals）的流程和挑战

在分析错误之前，首先要明确「什么是错误」。因此，第一步是引入评估机制。本文余下部分将重点探讨这一问题，而错误分析则留到下周再讲。

• 监督学习：评估相对简单，因为算法犯错的方式有限（如输出0而不是1），并且可以使用标准指标，如准确率（accuracy）、精确率（precision）、召回率（recall）和 F1 分数、ROC 曲线等。

  因此，只要清楚测试数据的分布，模型评估就相对直接。错误分析的主要工作在于识别模型在哪些类型的输入上容易出错，这也推动了以数据为中心的 AI 方法——通过收集更多数据，针对性地增强模型在薄弱环节的表现。

• 生成式AI的挑战：虽然监督学习中评估和错误分析的许多经验仍然适用，但生成式AI带来了一个新的挑战：输出空间要丰富得多，导致算法出错的方式也更多。

  以财务发票的自动化处理为例，大家通常采用 agentic workflow ，将收到的发票信息自动录入财务数据库。但算法是否可能错误提取发票的到期日？或搞错应付金额？是否可能混淆付款方和开票方的地址？是否会弄错货币种类？又或者因调用错误的 API 而导致验证失败？由于输出结果的可能性更多，潜在的出错方式也随之大幅增加。

鉴于生成式AI输出的复杂性，吴恩达教授建议一种更有效的方法：不是预先定义错误指标，而是首先快速构建一个原型。

然后，人工检查少量智能体的输出，观察它在哪些方面表现良好，哪些方面出现问题。这使得开发者可以集中精力构建数据集和误差衡量标准——这些标准有时是通过代码实现的客观指标，有时则是利用 LLM 作为裁判的主观评估。

他发现，在 agentic workflow 中，调整评估指标（tuning evals）是一个更加迭代的过程，需要更频繁地进行调整，来捕捉更广泛的潜在问题。

下一步则是通过错误分析，精准定位最需要改进的地方，以便集中开发资源。

最后

为什么要学AI大模型

当下，⼈⼯智能市场迎来了爆发期，并逐渐进⼊以⼈⼯通⽤智能（AGI）为主导的新时代。企业纷纷官宣“ AI+ ”战略，为新兴技术⼈才创造丰富的就业机会，⼈才缺⼝将达 400 万！

DeepSeek问世以来，生成式AI和大模型技术爆发式增长，让很多岗位重新成了炙手可热的新星，岗位薪资远超很多后端岗位，在程序员中稳居前列。

与此同时AI与各行各业深度融合，飞速发展，成为炙手可热的新风口，企业非常需要了解AI、懂AI、会用AI的员工，纷纷开出高薪招聘AI大模型相关岗位。

最近很多程序员朋友都已经学习或者准备学习 AI 大模型，后台也经常会有小伙伴咨询学习路线和学习资料，我特别拜托北京清华大学学士和美国加州理工学院博士学位的鲁为民老师给大家这里给大家准备了一份涵盖了AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频 全系列的学习资料，这些学习资料不仅深入浅出，而且非常实用，让大家系统而高效地掌握AI大模型的各个知识点。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

AI大模型系统学习路线

在面对AI大模型开发领域的复杂与深入，精准学习显得尤为重要。一份系统的技术路线图，不仅能够帮助开发者清晰地了解从入门到精通所需掌握的知识点，还能提供一条高效、有序的学习路径。

但知道是一回事，做又是另一回事，初学者最常遇到的问题主要是理论知识缺乏、资源和工具的限制、模型理解和调试的复杂性，在这基础上，找到高质量的学习资源，不浪费时间、不走弯路，又是重中之重。

AI大模型入门到实战的视频教程+项目包

看视频学习是一种高效、直观、灵活且富有吸引力的学习方式，可以更直观地展示过程，能有效提升学习兴趣和理解力，是现在获取知识的重要途径

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

海量AI大模型必读的经典书籍（PDF）

阅读AI大模型经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说，阅读经典书籍是非常有必要的。

600+AI大模型报告（实时更新）

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

AI大模型面试真题+答案解析

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】