近两年，大语言模型（LLM）相关内容呈现出一种非常割裂的状态：

• 一边是大量零散的论文解读、Prompt 技巧、API 教程
• 另一边是工程实践中对整体架构、训练流程、推理优化、安全机制的真实需求

在实际学习和工程实践过程中，我逐渐意识到一个问题：

我们并不缺“单点知识”，而是缺一个对 LLM 技术栈的系统性认知框架。

基于这个想法，我在过去一段时间里，持续整理并维护了一个公开的文档仓库：

👉 notes-on-llms
🔗 https://likebeans.github.io/notes-on-llms/

本文想系统介绍一下这个仓库的定位、结构以及适合哪些读者，也算是对我近期 LLM 系列博客的一次集中说明。

---

一、为什么要做 notes-on-llms？

如果你系统学习过 LLM，大概率会遇到类似问题：

• Transformer、Attention、KV Cache 都懂，但整体如何串起来？
• 训练阶段（PT / SFT / RLHF）分别解决什么问题？
• 推理性能瓶颈到底在哪里？
• Agent、Tool、MCP 是“新瓶装旧酒”还是范式变化？
• 安全、对齐、多模态在系统中处于什么位置？

这些问题很难通过单篇博客或单个 repo得到答案。

于是我给 notes-on-llms 的目标设定得非常明确：

不是做零散知识笔记，而是构建一个从原理到工程的 LLM 全景认知地图。

---

二、notes-on-llms 的整体定位

一句话概括这个仓库：

一个从「模型原理 → 训练 → 推理 → Agent → 安全 → 多模态」系统拆解大语言模型的知识仓库。

它不是：

• ❌ 论文列表堆砌
• ❌ Prompt 技巧合集
• ❌ 快速入门教程

它更偏向：

• ✅ 面向工程与架构视角的系统性总结
• ✅ 模块化拆解 LLM 技术栈
• ✅ 可持续更新、可反复查阅的参考手册

如果你已经看过一些 LLM 资料，但始终缺少全局感，这个仓库大概率会对你有帮助。

---

三、仓库结构一览（按 LLM 技术栈拆解）

目前 notes-on-llms 主要按以下几个核心模块来组织：

1️⃣ Foundations（模型与基础原理）

• Transformer / Attention 机制
• 表征学习与语言建模目标
• 从统计语言模型到 LLM 的演进逻辑

重点不是推公式，而是解释：
为什么今天的 LLM 架构是现在这个样子？

---

2️⃣ Training（训练范式与流程）

• 预训练（Pre-training）
• 指令微调（SFT）
• 对齐训练（RLHF / RLAIF）
• 数据、损失函数与训练稳定性问题

这里更关注的是：
不同训练阶段在系统中的角色分工，而不是单点技巧。

---

3️⃣ Inference（推理与性能优化）

• 推理阶段的计算与内存瓶颈
• KV Cache 的原理与代价
• 批处理、并行化与工程优化思路

这是很多“只讲模型、不讲系统”的资料中被忽略的一环，但在真实工程中却至关重要。

---

4️⃣ Prompt & Reasoning（提示与推理范式）

• Prompt Engineering 的本质
• In-Context Learning
• CoT / ToT / 结构化推理

重点不是“Prompt 模板”，而是理解：
为什么 LLM 能通过上下文完成推理迁移？

---

5️⃣ Agent & Tool（Agent 与工具调用）

• Agent 的基本架构
• Tool / Function Calling
• MCP（模型上下文协议）等新范式

尝试回答一个问题：
Agent 到底是不是 LLM 的“下一个阶段”？

---

6️⃣ Safety & Alignment（安全与对齐）

• 对齐问题的来源
• 安全训练与评估思路
• 攻防视角下的 LLM 安全

这部分更多从系统和工程角度理解，而不是停留在伦理口号。

---

7️⃣ Multimodal（多模态）

• 文本 → 多模态的能力扩展
• 不同模态融合的基本范式
• 对 LLM 架构带来的影响

---

四、博客与仓库之间的关系

你可能已经注意到，我近期在博客中集中输出了一系列 LLM 相关内容。

这里想明确说明一下两者的关系：

• 博客：

  • 单篇主题
  • 可独立阅读
  • 偏重理解与表达

• notes-on-llms 仓库：

  • 系统化结构
  • 持续更新
  • 更完整的知识上下文

你可以把博客理解为：

仓库中某个模块的“可读版本”

而仓库本身，才是完整、长期维护的知识母本。

---

五、这个仓库适合谁？

如果你符合以下任意一条，这个仓库大概率适合你：

• 有一定 LLM / AI 基础，想建立完整技术框架
• 做 LLM 工程 / 系统设计，而不只是调用 API
• 想从“会用模型”进阶到“理解模型系统”
• 希望有一个可长期参考、不断更新的 LLM 知识库

如果你是完全零基础，可能需要先补一些前置内容；
但如果你已经在这个领域学习或工作了一段时间，这个仓库会更有价值。

---

六、未来计划

notes-on-llms 会持续更新，重点方向包括：

• 推理与工程优化的进一步细化
• Agent 与多模态的系统化整理
• 安全与对齐部分的补充
• 新模型、新范式的结构性归纳

我更希望它成为一个：

可以长期维护、反复引用的 LLM 技术参考仓库

---

七、最后

如果你对大语言模型的理解，已经从“新鲜感”阶段进入到“系统思考”阶段，
欢迎你查看、使用、以及 Star 这个仓库：

👉 https://likebeans.github.io/notes-on-llms/

后续相关内容，也会持续通过博客与仓库同步更新。