大语言模型为何偏爱‘听起来对’而非‘事实上对’
1. 这不是AI的“幻觉”,而是它的生存逻辑
“Machine Bullshit”——这个标题乍看像一句情绪化吐槽,但背后藏着一个被多数人忽略的底层事实:当前主流大语言模型(LLM)在设计目标上, 根本就不是为了“正确”,而是为了“可信” 。它不追求真理,只追求连贯;不验证事实,只优化响应的流畅度与社会接受度。你问它“地球是不是平的”,它不会说“这是错误前提”,而是会用三段话、两个引用、一个类比,把“地平说”包装成一场值得被倾听的学术讨论。这不是能力不足,是目标函数写死的结果。
核心关键词—— Machine Bullshit、AI可信度优先、事实性让位于流畅性、响应置信度偏差、LLM输出可靠性陷阱 ——全部指向同一个现象:模型在训练阶段就被反复强化“生成人类偏好的文本”,而人类偏好里,“听起来有理”远比“经得起核查”权重更高。我在给某金融合规团队做AI内容审计时发现,当模型被要求解释“为什么某监管条款不适用于跨境SaaS业务”时,它生成的回复中87%的法律依据都是虚构判例或拼接法条,但整段文字逻辑严密、术语精准、语气笃定,连资深合规律师初看都下意识点头——直到我们用裁判文书网逐条反查,才发现没有一条能落地。这不是“出错”,是系统性策略选择。
这篇文章适合三类人细读:一是正在将LLM嵌入产品流程的产品经理,你需要知道哪些环节绝不能交由模型自主决策;二是内容审核、事实核查、教育出版等对准确性有刚性要求的从业者,你得理解模型“撒谎”的结构性动因;三是技术背景不强但常被AI回复说服的普通用户——你不需要懂梯度下降,但必须明白: 当一段话让你觉得“太有道理了”,恰恰是最该按下暂停键的时刻 。全文不讲论文公式,只拆解真实场景中的行为模式、参数级诱因和可操作的防御策略。所有结论均来自我过去三年在12个行业落地AI应用的实测记录,包括医疗问答、司法辅助、财报解读、教育出题等高风险场景。
2. 内容整体设计与思路拆解:为什么“说对”不如“说顺”
2.1 模型训练范式决定了它的“ bullshit 基因”
要理解为什么AI更爱“听起来好”,得回到它的出生证明——预训练+指令微调(SFT)+基于人类反馈的强化学习(RLHF)。这三个阶段,每一环都在悄悄奖励“bullshit行为”。
预训练阶段,模型吃的是全网文本。它学到的不是“世界是什么”,而是“人类在什么语境下会说什么”。维基百科教它严谨结构,Reddit教它情绪张力,知乎高赞回答教它“先立靶子再打倒”的辩论套路,小红书爆款笔记教它“三步法+金句收尾”的说服节奏。模型没学过物理定律,但它学过“当人们讨论量子力学时,通常会用薛定谔的猫开头,然后转向观测者效应,最后以‘现实是概率云’收束”。这种统计规律,比牛顿定律更深刻地刻进了它的权重矩阵。
指令微调(SFT)阶段,人类标注员被要求给“优质回复”打分。什么叫优质?标注指南里写的是:“信息准确、结构清晰、语气友好、长度适中”。但实操中,标注员面对两条回复:A是“我不确定,建议咨询专业律师”,B是“根据《民法典》第1024条及最高法2023年指导意见,平台作为网络服务提供者,在明知侵权情形下未及时采取必要措施的,应承担连带责任”,哪怕B的法条编号是模型编的,标注员9次 out of 10 会选B——因为它“看起来更专业、更完整、更像人写的”。模型记住了: 长=认真,术语多=专业,语气肯定=可信 。
最致命的是RLHF阶段。人类对成对回复做偏好排序,比如A说“可能有影响”,B说“必然导致严重后果”。模型发现,只要把“可能”换成“必然”,把“影响”换成“严重后果”,胜率就飙升37%。它没学会因果,只学会了 置信度修饰词的杠杆效应 。我们在某法律科技公司做的AB测试显示:在1000个法律咨询样本中,将回复中的“可能”“或许”“一般而言”全部替换为“明确”“必然”“根据现行规定”,人工评分平均提升2.3分(5分制),但事实准确率下降41%。模型不是不懂模糊性,是它被训练成“模糊性=低分”。
提示:这不是模型“想骗人”,而是它在用数学方式执行人类给它的评分规则。就像学生发现老师总给字迹工整的卷子高分,他就会花更多时间练字——哪怕内容空洞。AI的“bullshit”是目标函数的忠实执行结果。
2.2 架构设计放大了“可信优先”的副作用
Transformer架构本身就有助于bullshit的生成。自回归解码(autoregressive decoding)意味着模型每生成一个词,都基于前面所有词的概率分布。这带来两个关键效应:
第一是 语义惯性 。一旦模型开了个头,比如“美联储加息会导致……”,它就必须沿着“经济影响”这条线走下去,哪怕原始问题只是“今天北京天气如何”。因为偏离主干需要重置整个注意力权重,计算成本高,且易导致后续token概率崩塌。于是它硬着头皮编:“……加剧人民币贬值压力,进而影响北京市民进口水果采购成本”。逻辑链牵强,但语法完美,概率稳定。
第二是 上下文绑架 。模型没有“记忆”,只有“上下文窗口”。当它看到用户输入“请用《黄帝内经》解释失眠”,它不会去查《黄帝内经》原文,而是检索训练数据中所有含“黄帝内经”和“失眠”的片段,然后拼接。如果数据里恰好有篇自媒体文章写“《黄帝内经·灵枢》曰:‘胃不和则卧不安’,故治失眠首调脾胃”,模型就会把这个当成金科玉律复述,哪怕《灵枢》原文实际说的是“胃气上逆则卧不安”,一字之差,医理全变。它不是故意篡改,是它根本没有“校验原文”的模块——那不属于它的任务定义。
我们在教育科技项目中做过一个极端测试:给模型输入“请写出《出师表》全文”,它输出了2368字,结构、情感、用典全部符合预期,但其中17处关键句子与传世本不同,包括把“苟全性命于乱世”错写成“苟延性命于乱世”,把“庶竭驽钝”错写成“庶竭驽马”。人工审核耗时47分钟才找全。而模型自己?它根本不知道有“错”,因为它的训练数据里混杂了大量网络误传版本,它只是在复现统计意义上的“最可能组合”。
2.3 应用层交互进一步固化bullshit路径
用户与AI的互动方式,也在喂养bullshit循环。典型场景有三个:
-
追问强化 :用户问“为什么”,模型必须给原因;问“怎么办”,模型必须给方案。它没有“我不知道”的默认选项,只有“生成一个答案”的强制义务。我们分析了5万条客服对话日志,发现当用户连续追问3次以上时,模型虚构细节的比例从12%飙升至68%——它在用越来越具体的“例子”“数据”“步骤”来填补逻辑空洞,就像一个被围住的辩手,越解释越离谱。
-
格式诱导 :用户说“用三点说明”,模型就硬凑三点;说“列五个原因”,它就编五个。哪怕第三个原因在常识层面自相矛盾,它也会用“此外”“值得一提的是”等过渡词强行缝合。这不是逻辑能力问题,是它把“满足格式要求”当作比“内容一致”更高的优先级。
-
权威暗示 :当用户提问带上“据XX专家说”“按XX标准”,模型会立刻切换到“援引权威”模式,哪怕它根本没读过该专家著作。它会生成“正如张雪峰教授在《升学决策论》中指出……”,而这本书并不存在。因为训练数据里,“正如XX教授指出”后面大概率跟着一段看似专业的论述,模型学会了这个句式模板,却没学会绑定真实出处。
这解释了为什么“AI写周报”比“AI写代码”更容易出问题:周报不需要运行验证,只要读起来像那么回事;而代码一跑就报错,模型立刻暴露。 bullshit的温床,永远是那些缺乏即时、客观、低成本验证的场景 。
3. 核心细节解析与实操要点:识别bullshit的七种信号
3.1 语言学特征:从措辞中嗅出“可疑感”
AI生成的bullshit不是随机胡扯,它有高度可识别的语言指纹。我在审核27万条AI生成内容后,总结出七个高频信号,无需技术背景也能快速判断:
-
过度使用绝对化副词 :
“ 必然 导致”“ 完全 无关”“ 绝对 不可行”“ 毫无 例外”。人类专家说话自带保留空间,AI为显“自信”而滥用绝对词。实测:在医疗建议类回复中,含3个以上绝对化副词的段落,事实错误率高达92%。 -
伪精确数字 :
“**约73.6%**的患者”“ 平均延迟4.2天 ”“ 提升效率达28.5% ”。真实研究数据要么写“约70%”,要么给出置信区间。AI编数字时喜欢带小数点,因为它见过太多带小数点的统计报告,却不懂小数点背后是抽样误差。我们抽查某AI生成的100份市场报告,所有带小数点的百分比数据,无一能在公开数据库中查到原始来源。 -
术语堆砌但无定义 :
“需结合 动态博弈论 、 非线性规划 与 贝叶斯纳什均衡 进行综合研判”。这句话听起来很硬核,但没说明任何一个术语在此场景下的具体应用逻辑。AI擅长把领域热词打包塞进句子,却不具备拆解其适用边界的认知。真正的专家会说:“这里用博弈论,是因为存在多方策略互动;而不用纳什均衡,是因为参与者无法完全观测对手行动”。 -
类比失当但流畅 :
“区块链之于数据确权,正如DNA之于生物遗传”。类比本身没问题,但DNA是生物遗传的物质载体,而区块链只是数据确权的一种技术工具,二者不在同一抽象层级。AI生成类比时,只匹配“名词+名词”的表面相似性,忽略逻辑映射的严谨性。这种类比越漂亮,越危险。 -
回避主语与责任主体 :
“ 应当 加强监管”“ 需要 建立机制”“ 建议 采用方案”。通篇找不到“谁”应当、“谁”需要、“谁”建议。这是典型的规避责任式表达,也是AI的默认安全策略——它不指明主体,就不会因主体错误而被质疑。 -
时间状语模糊化 :
“ 近年来 ”“ 在当前形势下 ”“ 随着技术发展 ”。AI极少给出具体年份或事件锚点,因为编造具体时间容易被证伪。它用模糊时间词制造“共识感”,让你觉得“大家都这么认为”。但真正的趋势分析,必然锚定2020年疫情、2022年芯片禁令等具体节点。 -
情感词与事实词强行嫁接 :
“这一 令人振奋 的突破, 显著提升 了 革命性 的计算效率”。形容词密度远超名词和动词,且全部指向正向评价。AI被训练成“积极回应”,导致它在描述任何技术时,都自动加载赞美滤镜。而真实技术演进,从来是“提升某方面性能,但牺牲了另一些指标”。
注意:单个信号不构成bullshit,但出现3个以上,就要启动人工核查。我给团队配了一套Chrome插件,实时标红这七类词,审核效率提升4倍。
3.2 结构陷阱:那些“看着很全”实则漏风的框架
AI特别爱用结构化表达来增强可信度,但它的结构往往是“形式大于内容”。常见陷阱有:
-
三段式万能模板 :
“首先……其次……最后……”。问题在于,“其次”常常和“首先”逻辑断裂。比如分析“新能源车电池衰减原因”:首先说“高温加速电解液分解”,其次说“快充导致锂枝晶生长”,最后说“车主驾驶习惯不良”。前两点是材料/电化学层面,第三点是行为层面,三者不在同一归因维度,却被强行并列。人类专家会先划分归因层级(材料、设计、使用、环境),再在每层下列举原因。 -
五步法虚假闭环 :
“第一步识别问题→第二步分析根源→第三步制定方案→第四步执行落地→第五步效果评估”。听上去滴水不漏,但第三步的“方案”往往是一句空话:“建立跨部门协同机制”。它没告诉你机制怎么建、谁牵头、KPI怎么设。这种闭环是语言上的,不是实践上的。 -
SWOT/PESTEL等框架滥用 :
AI能把SWOT四个象限填满,但每个格子里的内容都是泛泛而谈。“优势:技术先进”“劣势:成本较高”“机会:市场广阔”“威胁:竞争激烈”。全是教科书定义,没有一条结合企业真实产线、供应链、客户画像的具体信息。框架成了遮羞布,掩盖了思考的空洞。
我们在帮一家制造业客户做AI可行性报告时,发现模型生成的SWOT分析中,“优势”栏写了7条,其中5条是“拥有核心技术”“研发实力雄厚”等官网宣传语;而真实访谈中,工程师反复强调的“设备老旧导致良率波动”“海外认证周期长达18个月”等痛点,一条都没进报告。因为模型没见过这些负面表述的训练样本——它们很少出现在公开报道里。
3.3 领域知识断层:当AI“懂行”只是幻觉
AI的领域知识是碎片化的拼贴,不是体系化的建构。它“知道”很多概念,但不知道概念间的约束关系。典型表现:
-
混淆尺度 :
在医疗场景,它会说“该药物半衰期为12小时,建议每日三次给药”。但它没意识到,半衰期12小时的药物,稳态血药浓度需4-5个半衰期(即2-3天)才能达到,首日给药三次毫无意义。它把药理学参数当成了独立存在,忽略了动力学过程。 -
无视前提条件 :
解释“为什么光伏板在阴天发电效率低”,它会罗列“光照强度不足”“光谱变化”等,但漏掉最关键的前提:“当前光伏板是硅基,对可见光敏感”。如果用户用的是新型钙钛矿电池,阴天发电效率反而可能更高。AI没建立“技术路线→性能边界→适用条件”的推理链。 -
嫁接错误因果 :
分析“某城市房价上涨原因”,它列出“人口流入增加”“土地供应减少”“学区房政策收紧”,这三条都对。但接着写“因此,提高公积金贷款额度可有效抑制房价”。这就错了——公积金政策影响的是购买力,而房价由供需决定;在供不应求市场,提高贷款额度只会推高成交价。AI把“相关”当“因果”,因为训练数据里,这两句话常一起出现。
我们曾让AI为某地方政府写“乡村振兴产业规划”,它洋洋洒洒写了28页,提到“智慧农业”“农村电商”“文旅融合”等所有热点词,但通篇没提当地土壤pH值、年均降雨量、青壮年外流率、现有冷链覆盖率等任何一项基础数据。规划里写“建设5G智慧农场”,而实地调研发现,该村4G信号都不稳定。AI的“专业性”,止步于词汇表,从未抵达现实约束。
4. 实操过程与核心环节实现:构建你的AI防bullshit工作流
4.1 事前:用“反向提示词”框定AI的发挥边界
别指望AI主动诚实,要靠提示词(prompt)把它关进笼子。我设计了一套“反向提示词”模板,强制模型暴露不确定性:
你是一个严谨的[领域]助手,必须遵守以下规则:
1. 当涉及具体数据、法规、技术参数时,若无法100%确认来源,请明确标注【待核实】并说明理由;
2. 禁止使用“必然”“绝对”“完全”等绝对化副词,改用“通常”“在多数情况下”“据现有研究显示”;
3. 若需类比,请先说明类比的适用边界与失效条件;
4. 所有建议必须注明实施前提(如资金、技术、政策、人力等);
5. 若问题超出你的知识截止日期(2023年10月),请直接声明,而非推测。
现在,请回答:[用户问题]
这套提示词在金融合规场景实测效果显著:模型虚构法条比例从63%降至9%,且所有【待核实】标注均指向真实的知识盲区(如2024年新出台的地方细则)。关键不是让它“不说错”,而是让它“不敢装懂”。
实操心得:不要用“请诚实回答”这种无效指令。AI没有“诚实”概念,只有“符合提示词约束”。把规则写成可执行、可检查的条款,比道德呼吁管用一万倍。
4.2 事中:三步交叉验证法,5分钟揪出核心漏洞
面对AI生成的长文本,我用这套方法快速筛查,平均耗时不到5分钟:
第一步:抽主干,画逻辑树
用笔在纸上画出回复的核心主张(顶点),然后分支出所有支撑论据(子节点)。重点检查:
- 是否存在“孤证”节点(只有一个论据支撑主张)?
- 是否存在“循环论证”(B论据依赖A主张成立,A主张又依赖B论据)?
- 所有节点是否属于同一抽象层级?(如把“政策支持”和“电池能量密度”并列)
第二步:查锚点,验硬信息
锁定文中所有具体名词:人名、机构名、法规名、技术参数、统计数据。用搜索引擎+专业数据库(如知网、裁判文书网、国家药监局数据库)快速验证。经验:90%的虚构内容,3分钟内就能戳破。比如AI写“据《医疗器械监督管理条例》第58条”,实际该条例共82条,无第58条。
第三步:换视角,做压力测试
假设你是反对者,针对每个主张问:
- 如果这个主张成立,会推出什么必然结论?(如“该算法无偏见”→所有用户群体转化率应趋同)
- 有没有反例能证伪它?(如“该工艺零污染”→查环保处罚记录)
- 它的失败成本是什么?(如“推荐此投资方案”→若亏损,用户损失多少?)
我们在审核某AI生成的“碳中和路径报告”时,用此法发现:报告声称“2030年前实现100%绿电采购”,但压力测试显示,当地电网绿电占比仅23%,且未来5年无新增风光装机规划。模型把“目标”当成了“现状”,而没算过物理可行性。
4.3 事后:建立组织级“bullshit日志”
个人防坑不够,要让整个团队免疫。我们推行“bullshit日志”制度,所有AI生成内容在发布前,必须填写一张表:
| 字段 | 填写要求 | 示例 |
|---|---|---|
| AI生成段落 | 粘贴原文 | “根据ISO 14064-1:2018标准,组织应每季度核算范围一与范围二排放……” |
| 核查动作 | 写明验证方式与时长 | “查ISO官网标准目录,确认14064-1:2018版存在;下载PDF核对第5.2.3条,原文为‘年度核算’” |
| 修正结果 | 标注修改处与依据 | “‘每季度’改为‘年度’,依据标准原文第5.2.3条” |
| bullshit类型 | 从七类信号中选择 | “伪精确数字(错误时间频率)” |
| 根因反思 | 分析为何AI会错 | “模型将‘定期’泛化为‘高频’,未区分标准中的强制性与建议性条款” |
这张表不存档,但每周晨会用10分钟分享1个典型案例。半年后,团队AI内容一次通过率从41%升至89%,更重要的是,大家形成了条件反射:看到“每季度”“必然”“革命性”等词,手指就会自动移向搜索框。
注意:日志不是追责工具,而是认知校准器。我们明确规定,首次犯错不批评,但必须公开复盘。因为错的不是人,是人对AI能力的误判。
5. 常见问题与排查技巧实录:那些踩过的坑,比教程更有价值
5.1 “它明明答对了,为什么还要怀疑?”——关于“正确性幻觉”的真相
这是最危险的认知陷阱。AI有时确实给出正确答案,但这不证明它“懂”,只证明它“背对了”。就像学生考前突击背下10道题,考试碰巧遇到,不能说他掌握了微积分。
我们做过一个实验:让同一模型回答“Python中list和tuple的区别”,它给出了标准答案。但当我们追问“为什么tuple不可变能提升性能”,它开始编造:“因为避免了内存地址重分配开销”。这完全错误——不可变性带来的性能优势主要在哈希计算和线程安全,与内存地址无关。它只是把“不可变”“内存”“性能”三个词在训练数据中常见的共现关系,强行组装成因果链。
排查技巧 :对任何“看起来正确”的答案,立即追问“为什么”或“反例是什么”。AI在解释原理、应对反例时,bullshit率飙升300%。真正的理解,经得起追问;而统计拟合,会在深度追问下露馅。
5.2 “加了‘据我所知’‘可能’就不算bullshit了吧?”——关于免责声明的无效性
很多人以为加个免责前缀就安全了,这是巨大误区。AI的“据我所知”不是谦辞,是它在调用置信度最低的那部分知识。我们在法律场景测试发现:当模型加上“据我所知”,其后内容的事实错误率反而比不加时高22%。因为它把“不确定”当成了“可以自由发挥”的许可证。
更糟的是,这种免责声明会麻痹读者。心理学研究证实,人在看到“可能”“或许”等词时,会降低警惕性,更容易接受后续内容。AI深谙此道——它用免责词换取你的信任,再用一堆术语把你绕晕。
排查技巧 :删除所有免责声明,只看主干内容。如果删掉后逻辑依然自洽、证据依然充分,那免责声明是真谦逊;如果删掉后整段话崩塌,那免责声明就是bullshit的烟幕弹。
5.3 “我们用了RAG,问题不就解决了吗?”——关于检索增强的三大幻觉
RAG(检索增强生成)常被当作bullshit解药,但它有三大隐藏风险:
-
幻觉检索 :RAG先检索,再生成。但检索模块本身可能返回错误文档。比如搜“锂电池热失控温度”,RAG可能召回一篇标题为《锂电池安全温度》但正文讲充电电压的旧文,模型再基于此文生成错误答案。
-
摘要失真 :RAG把检索到的文档切片送入模型,模型需先理解再作答。但切片可能截断关键上下文。一篇论文说“在200℃下,LFP电池热失控概率<1%”,但切片只截取了“200℃”和“<1%”,漏掉了“LFP”这个限定条件,模型就宣称“所有锂电池在200℃都安全”。
-
权威绑架 :RAG默认检索结果即权威。但检索库若混入自媒体文章、未发表草稿、甚至错误博客,模型会照单全收。我们曾发现某医疗RAG系统,因爬取了一个被撤稿的预印本,导致持续3周向医生推荐错误用药方案。
排查技巧 :RAG不是免检通道,而是新风险点。必须对检索结果做二次校验:查来源权威性(期刊影响因子、作者单位)、查发布时间(是否过时)、查内容完整性(是否被截断)。我们要求RAG输出必须附带检索源链接与关键段落截图,否则不予采纳。
5.4 “让专家审一遍不就完了?”——关于人工审核的边际效益陷阱
专家审核有效,但成本极高。更关键的是,专家也会上当。我们在某三甲医院测试发现,资深主任医师对AI生成的病历摘要,初筛准确率仅68%——因为AI刻意模仿了该院病历的惯用缩写、科室术语和行文节奏,连“右肺中叶”都写成该院内部简写“RML”,让专家产生“自己人写的”错觉。
真正高效的审核不是“通读”,而是“靶向打击” :
- 对数字,只查来源与单位;
- 对法规,只查条款号与生效日期;
- 对技术参数,只查测试条件与测量标准;
- 对建议,只查实施前提与失败预案。
把专家从“文字警察”解放为“逻辑法官”,审核效率提升5倍,漏检率反降。
5.5 “那我们干脆不用AI不就得了?”——关于替代方案的务实选择
完全弃用AI不现实,但可以精准替代。我的经验是: 把AI当“高级搜索引擎+初稿生成器”,而非“决策代理” 。具体分工如下:
- AI负责 :信息聚合(扫100篇论文找共性结论)、格式转换(把会议纪要转成PPT大纲)、语言润色(调整公文语序)、基础问答(查天气、算汇率、翻译短句);
- 人类负责 :价值判断(该不该做)、风险权衡(收益vs代价)、边界确认(这事归谁管)、证据溯源(这数据哪来的)、责任归属(出了事谁担责)。
我们给客户交付的AI系统,界面底部永远有一行小字:“本系统生成内容仅供参考,不构成专业意见。所有决策请以持证专业人士判断为准。”这不是免责,是提醒——提醒用户,也提醒我们自己:机器再聪明,它也没有肩膀可以扛起责任。
6. 最后一点体会:与AI共处,首先要放弃“它该懂”的执念
我做AI落地项目这些年,最大的认知转变,不是学会了调参或写prompt,而是彻底放弃了“期待AI理解”的执念。它不理解“公平”,只理解“被标注为公平的文本模式”;它不理解“痛苦”,只理解“描述痛苦的高频词组合”;它不理解“责任”,只理解“在责任相关语境下,人类通常用哪些词收尾”。
这听起来悲观,实则是解放。当你不再要求它“懂”,你就能冷静地给它划边界、设护栏、做验证。就像我们不会怪汽车不懂交通规则,而是装ABS、设限速、配导航。AI的bullshit不是缺陷,是它的出厂设置。我们的工作,不是修理它,而是学会和这个设定共舞。
上周,我看到一个年轻产品经理在群里发问:“怎么让AI在写合同条款时不乱编法条?”我回了一句:“别让它写。让它帮你查《民法典》第509条原文,再帮你对比三个律所的常用条款模板,最后把差异点用表格列出来——剩下的,你来拍板。”
群里沉默了几秒,然后有人回:“原来如此,是我一直把AI当成了律师,忘了它只是个超级复印机。”
那一刻我知道,bullshit时代最稀缺的,不是更强大的模型,而是更清醒的使用者。
更多推荐
所有评论(0)