大语言模型中的知识神经元研究是当前人工智能可解释性领域的前沿热点，旨在揭示模型内部如何存储和利用事实性知识。以下是该领域的主要研究进展：

一、知识神经元的基本概念与起源

知识神经元理论由Dai等人于2022年首次提出，该理论认为大语言模型中的事实性知识主要存储在前馈网络（FFN）的多层感知机神经元中。这些神经元在表达特定事实信息时会被激活，停用它们会显著损害模型对相应事实的回忆准确性。

研究表明，知识主要存储在模型中间层的全连接前馈层，特别是在处理主体最后一个token时作用最为显著。Transformer的FFN结构被视为键值存储器，其中第一层MLP宽隐层作为键层，第二层MLP窄隐层作为值层，每个神经元节点记录一对<Key, Value>信息。

二、主要研究进展与发现

1. 简并知识神经元（Degenerate Knowledge Neurons, DKNs）

中科院自动化所在ACL 2025上的研究提出了简并知识神经元的概念。DKNs指不同神经元集合可存储相同事实，但这些神经元同时参与存储其他不同事实，不同于简单冗余。该研究通过神经元拓扑聚类方法显著提升了DKNs的识别准确率，并证明DKNs在指导LLMs高效学习新知识和揭示抗干扰鲁棒性机制方面具有应用价值。

2. 语言无关知识神经元

2026年的最新研究深入探讨了语言中立性知识神经元。这些神经元以超越语言障碍的形式存储事实知识，能够对各种语言的相似语义内容做出响应。研究提出了多语言集成梯度带不确定性估计（MaTrice）方法，首次量化了跨查询和语言的知识定位不确定性。

语言无关知识神经元在三个方面展现出潜在作用：

• 跨语言知识编辑：单次编辑可同时修改所有语言中的相应知识

• 知识增强：放大激活值可提高LLMs在资源匮乏语言上的预测性能

• 知识注入：微调时冻结相关参数可帮助学习新知识并减轻旧知识遗忘

3. 关系特定神经元

研究发现在LLMs中存在与特定关系相关的神经元，这些神经元专注于文本输入中的关系而不依赖于特定实体。例如，在Llama-2系列模型中，研究者识别出与12种关系相关的神经元，这些神经元能够识别输入中的关系并指导生成相关文本。

4. 上下文感知神经元

NeurIPS 2024的IRCAN框架通过识别和重新加权上下文感知神经元来减轻大语言模型生成中的知识冲突。当模型面临参数知识与上下文知识矛盾时，增强这些神经元可使模型更加关注上下文中的新知识。

三、知识存储机制的深入理解

1. 知识电路假说

研究提出了"知识回路"（Knowledge Circuits）假说，认为大模型知识处理过程中的实体、概念和关系是通过参数激活逐步形成闭合回路。知识电路是语言模型计算图中的关键子图，代表了为表达某一特定知识而协同工作的一系列组件和路径。

2. 知识形成过程研究

MIT的研究揭示了知识在模型内部形成的时空规律：

• 时间维度：不同领域的知识形成有不同的时间模式，物理、数学等领域从训练初期就开始激活，而历史、生物学等领域则要到约10000步之后才开始激活

• 空间维度：早期层的特征会在中间层消失，然后在后期层再次出现，表明复杂的语义连续性

• 规模维度：低于2亿参数的模型只激活不到5%的标记概念，在1.6亿到4.1亿参数之间概念激活率突然跃升92.9个百分点

四、应用与未来方向

1. 知识编辑技术

知识神经元研究直接推动了知识编辑技术的发展，旨在不重新训练整个模型的情况下直接修改参数空间中的不准确事实。编辑方法分为三类：

• 依赖外部知识的方法

• 将知识融入模型的方法

• 编辑内在知识的方法

2. 多语言能力提升

通过语言共享神经元的探索，研究提出了BridgeX-ICL方法，利用语言重叠神经元提升大语言模型在低资源语言上的跨语言性能。

3. 模型可解释性增强

知识显微镜等工具将特征作为优于神经元的分析透镜，解决了神经元多义性问题，提高了模型的可解释性。

五、挑战与展望

当前研究仍面临一些挑战：

1. 定位不确定性：知识神经元定位结果存在高不确定性，不同查询可能导致不一致的定位结果

2. 副作用问题：修改一处知识可能会意外破坏模型中其他相关知识

3. 泛化能力限制：编辑后的知识可能无法在相关但不同的语境中应用

未来研究方向包括：

• 开发更精准的神经元识别和定位方法

• 探索知识在模型中的分布式表示机制

• 研究知识更新和遗忘的神经基础

• 将知识神经元理论应用于模型安全性和可靠性提升

知识神经元研究不仅深化了我们对大语言模型内部工作机制的理解，也为模型编辑、能力提升和安全可控提供了新的技术途径，是推动可信人工智能发展的重要基础。