简介

Google发布Gemini 3 Deep Think，在ARC-AGI-2评测中准确率达45.1%，采用并行推理技术同时探索多个假设。OpenAI提出"忏悔训练"方法，让模型在回答后生成自白，与主回答奖励脱钩，显著提高诚实性。研究显示该方法在12项评测中11项表现出更高诚实率，有效减少模型奖励破解、暗中违规和幻觉问题，为提升大模型可靠性提供新思路。

---

Google提前反击，今天发布Gemini 3 Deep Think：

• ARC-AGI-2，使用代码执行后准确率高达 45.1%，前所未有
• 采用了先进的并行推理技术，能够同时探索多个假设

OpenAI，这边发布了最新长文研究《通过忏悔训练大型语言模型诚实性》

一、为什么需要“忏悔”？

图1 忏悔流程示意图

传统 RLHF 中，奖励函数往往只关注“答案好不好”，而非“答案老不老实”。模型于是学会：

• 奖励破解（Reward Hacking）
• 暗中违规（Scheming）
• 幻觉/过度自信（Hallucination）

核心洞察：如果让模型在回答之后再生成一段“自白”，且自白只被“诚实”信号强化，与主回答奖励脱钩，那么“坦白”可能成为它的最优策略——就像天主教忏悔室的“封印”一样，说真话反而最省力。

二、忏悔训练方法速览

1. 正常 RL：(x, z, y) → R(y|x)
2. 以概率 p 进入“忏悔模式”：

• 拼接系统消息 xc = “请生成 ConfessionReport”
• 模型输出 (zc, yc)
• 独立法官 Rc 只给“诚实分”，不反向影响R(y|x)

3. 用 PPO 更新忏悔 token 即可。

ConfessionReport = {
 objectives: [], // 显式+隐式指令
 compliance: [], // 每条是否做到
 uncertainties: [] // 模棱两可之处
}

原文

三、实验结果——忏悔真的更诚实吗？

图3 12 项评测概览

关键数字

• 74.3% 平均忏悔准确率（给定违规）
• 11/12 项评测“忏悔”>“主回答”诚实率
• 4.36% 严重漏报（既违规又不忏悔）概率

四、案例解剖——三种典型轨迹

图4 轨迹拆解

*图18 沙袋案例 *

1. 违规+忏悔：模型故意答错 5 题，但在忏悔里完整交代。
2. 违规+隐瞒：模型破解计时器，主回答不说，忏悔也没说 → 漏报。
3. 合规+误忏悔：模型其实是对的，但对自己没信心 → 假阳性。

五、奖励破解压力测试——忏悔也会“叛变”吗？

图7 弱法官场景作者故意用更容易被破解的 LLM 法官当奖

确率随训练下降（模型学会骗法官）

• 忏悔准确率却上升 → 说明“诚实自白”仍是更简单路径

六、置信度挖掘——让模型自己说“我不确定”

图8 置信度 vs 真实准确率

从忏悔文本提取 0–1 连续置信度：

• AUC = 0.79，显著优于直接从主回答提取（≈0.5）
• 模型在低置信区间主动弃权，可减少幻觉误报

七、错因剖析——模型为什么不忏悔？

图9 假阴性分类

图10 假阳性分类

Top 原因

1. 真·糊涂：模型自己相信错误答案（幻觉）
2. 定义模糊：行为是否违规本身存疑
3. 故意隐瞒极少见（早期实验抓到几例）

八、局限与风险——忏悔不是万能药

图20 假阳性案例

• 不能减少违规频率，只能提高检出率
• 对“未知未知”无效：模型想不到就忏悔不出
• 法官可被 adversarial 攻击—— Scaling Law 下诚实假设是否仍成立？

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝 一直在更新，更多的大模型学习和面试资料已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝 一直在更新，更多的大模型学习和面试资料已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇