幻觉问题是大语言模型（LLM）内在的根本性问题，源于其从训练目标、模型架构到推理过程的系统性设计。以下从技术维度进行全面剖析：

一、 核心定义与悖论

技术定义：幻觉指模型生成的内容与可验证的外部事实不一致，或与提供的上下文信息相矛盾，但以高置信度呈现的现象。

核心悖论：LLM的训练目标是建模语言的概率分布，而非构建世界真实状态的表示。这一根本目标决定了模型优化的方向是“下一个词预测的准确性”，而非“陈述的真实性”。

二、 训练阶段的根源

1. 训练目标的局限性

• 目标函数：标准训练采用最大似然估计（MLE）或其变体，最小化负对数似然损失
  该目标仅强制模型学习训练语料中的表面共现模式，无法区分事实性模式与非事实性模式（如虚构文本、错误信息）。

• 无事实性标注：训练数据无“真/假”标签，模型平等对待所有文本模式。互联网语料中事实、观点、虚构、错误混合，模型学习的是所有模式的混合分布。

2. 数据层面的本质问题

• 知识表示的局限：

  • 知识以分布式、非结构化的方式存储在权重中（参数化知识），缺乏显式的存储-检索验证机制。

  • 模型通过注意力机制建立概念间的软关联，而非逻辑必然性。这种关联可能产生“看似合理但不真实”的组合。

• 长尾与矛盾知识：对于低频或相互矛盾的事实（如“首都是X” vs “首都是Y”），模型倾向于学习加权平均或模式主导的表示，导致输出模糊或错误。

• 时间动态性：知识截止后，模型对新事实的“猜测”实为基于旧模式的泛化，本质是外推误差。

三、 模型架构与推理机制的固有缺陷

1. 自回归生成的误差累积

• 生成是逐步、自回归的过程：每一步的预测误差会作为输入影响后续步骤，导致错误在序列中传播并放大。

• 在生成长文本时，模型可能陷入自我强化的错误叙事循环，早期的小偏差导致后续生成完全偏离事实。

2. 注意力机制的局限性

• 注意力权重反映的是统计相关性，而非逻辑或事实关联。模型可能给那些“语义上相关但事实上不成立”的token分配高权重。

• 对于长上下文，注意力可能出现权重弥散或过度集中，导致忽略关键事实或过度依赖局部错误信息。

3. 解码策略引入的不确定性

• 常用解码策略（如核采样、Top-p采样）会引入可控的随机性以提升多样性。但这种随机性在事实性任务中直接转化为幻觉风险。

• 采样函数可能从长尾分布中选取低概率但语法可行的token组合，构成事实性错误。

四、 知识与推理能力的解耦

这是理解幻觉的关键技术视角：

1. 知识边界模糊：模型没有明确的“知道/不知道”边界。其输出是概率分布的采样，而非对内部知识状态的查询。即使训练数据中不存在某事实，模型仍可能基于相似模式生成一个流畅的回应。

2. 推理作为模式模仿：模型的“推理”本质是对训练集中推理过程（如链式思考）的语言模式模仿，而非真正的逻辑演算。模仿过程可能脱离真实约束，产生逻辑上可行但事实上不成立的结论。

3. 过度泛化与组合性错误：

   • 模型将学到的表面模式（如“A发现了B”、“X导致了Y”）过度应用到不合适的实体或情境中。

   • 当处理高度组合性的查询时（涉及多个事实的组合、比较或推理），模型可能分别“知道”各个子事实，但在组合时产生不一致或捏造的联系。

五、 系统性技术归因总结

六、 缓解路径的技术挑战

1. 检索增强生成（RAG）：

   • 技术本质：将生成过程锚定在外部知识源上，将开放域生成转化为条件生成

   • 局限：依赖检索质量，且模型仍可能“忽视”检索到的证据而依赖内部参数化知识。

2. 强化学习从人类反馈（RLHF）中的“诚实性”对齐：

   • 通过奖励模型对“真实、无害”的输出给予更高奖励

   • 挑战：“真实性”难以定义和标注，奖励模型本身可能被对抗性输出欺骗。

3. 后验验证与自洽性检查：

   • 让模型生成多个候选答案，通过交叉验证或查询外部工具进行验证。

   • 计算开销：大幅增加推理成本，且验证模块本身也可能犯错。

4. 提示工程与约束解码：

   • 通过思维链（CoT）、“逐步思考”等提示，引导模型暴露推理过程，便于人类检查。

   • 根本局限：仍是在引导模型采样，无法从根本上保证事实性。

七、 根本性技术结论

幻觉问题是LLM基于概率语言建模范式的必然结果。模型被优化为生成在训练分布中似然的文本，而非真实世界的准确描述。这种“似然性”与“真实性”的鸿沟在以下情况被放大：

1. 查询涉及训练数据的长尾或未知部分。

2. 需要多步复杂推理或事实组合。

3. 模型被要求生成超出其知识边界的具体细节。

因此，幻觉并非一个可被“修复”的缺陷，而是当前自回归生成式架构的本质特性。未来的技术演进方向（如推理与知识检索的更紧密耦合、神经符号混合系统等）旨在构建新的架构范式，从根本上重新设计语言模型中“知识”与“生成”的关系。在当前技术范式下，幻觉只能被管理和减轻，无法被消除。