从零训练你自己的大语言模型，操作手册

如果你一直觉得 GPT 很神秘，那么这篇文章，会带你真正看懂： 一个大语言模型，到底是怎么被“训练”出来的。

项目地址：llm-from-scratch GitHub 项目

该项目通过 PyTorch 手把手实现一个 GPT 风格模型，包括：

• Tokenizer
• Self-Attention
• Transformer
• 训练循环
• 文本生成

整个过程几乎不依赖“黑盒框架”。

---

---

一、为什么你一定要亲手训练一次 LLM？

现在几乎所有人都在聊 AI。

但很多人对大模型的理解，其实还停留在：

• 会调用 API
• 会写 Prompt
• 会用 ChatGPT

真正的问题是：

你并不知道 GPT 是怎么工作的。

很多教程虽然讲：

• Transformer
• Attention
• Embedding
• Token
• Position Encoding

但讲完之后：

你依然不会“自己实现”。

而这个项目最大的价值就在于：

它真的带你从 0 开始手搓 GPT。

包括：

✅ Tokenizer ✅ Embedding ✅ Attention ✅ Transformer Block ✅ Loss 计算 ✅ 模型训练 ✅ 文本生成

全部自己实现。

当你真正跑完整个流程后：

你会第一次真正理解：

“原来 GPT 并不是魔法。”

---

---

二、LLM 的本质，其实只有一句话

很多人会把大模型想得特别复杂。

但实际上：

GPT 本质上是在预测“下一个词”。

比如：

输入：

今天天气真

模型预测：

好

继续：

今天天气真好

再预测：

啊

于是模型不断往后生成。

所以：

LLM 本质是概率模型。

它通过海量文本学习：

“某个词后面，大概率接什么词。”

这也是为什么：

训练数据越多， 模型越强。

因为它见过更多语言规律。

---

三、Transformer 为什么改变了世界？

在 Transformer 出现之前。

主流模型是：

• RNN
• LSTM

这些模型有一个巨大问题：

无法并行计算。

一句话必须一个词一个词处理。

速度非常慢。

直到 2017 年：

Google 发布了 Transformer 论文：

Attention Is All You Need

从此：

AI 世界彻底改变。

Transformer 最大突破就是：

Attention（注意力机制）

它让模型能够：

同时关注整句话里的所有词。

例如：

小明打了小红，因为他生气了

这里：

“他”到底是谁？

Transformer 会通过 Attention 学习：

“他”更可能指“小明”。

这就是：

Self-Attention（自注意力）

也是 GPT 的核心。

---

四、这个项目到底教了什么？

整个项目结构非常清晰。

核心流程：

文本↓Tokenizer↓Embedding↓Transformer↓Linear Layer↓预测下一个 Token

你会发现：

GPT 其实就是一个超大的神经网络。

只是：

结构设计非常优秀。

---

五、第一步：Tokenizer（分词器）

神经网络不能理解文字。

它只能理解数字。

所以：

第一步必须把文本转成 Token。

例如：

hello

可能变成：

[15496]

这一步就叫：

Tokenization（分词）

项目里使用的是：

Character-Level Tokenizer

也就是：

按字符切分。

虽然比较简单。

但特别适合学习原理。

---

---

六、第二步：Embedding（词向量）

Token 只是数字。

模型仍然无法理解语义。

于是：

需要把 Token 映射成向量。

例如：

15496 -> [0.12, -0.88, 0.44 ...]

这就是：

Embedding（嵌入）

你可以理解成：

“把词放进高维空间。”

语义越接近：

向量距离越近。

比如：

• king
• queen

距离会很近。

而：

• apple
• airplane

距离会更远。

这一步：

让模型开始拥有“语义理解能力”。

---

七、最核心部分：Attention

这是整个项目最精彩的地方。

因为：

你会真正实现：

softmax(QK^T)V

很多人天天看这公式。

但根本不知道它什么意思。

实际上：

它本质就是：

“计算谁更重要。”

模型会自动学习：

一句话里：

哪些词应该重点关注。

例如：

我喜欢吃苹果，因为它很甜

模型会学习：

“它”对应的是“苹果”。

Attention 就像：

AI 的聚光灯。

它决定模型该看哪里。

---

八、Transformer Block 到底是什么？

Transformer Block 是 GPT 的核心积木。

它包含：

• Multi-Head Attention
• Feed Forward
• LayerNorm
• Residual Connection

多个 Block 堆叠之后：

模型就会越来越强。

这也是为什么：

GPT-4 比 GPT-2 强很多。

本质上：

就是网络更深、更大。

---

---

九、模型是怎么训练的？

训练过程其实很简单。

核心目标：

让 Loss 越来越低。

例如：

模型预测：

今天很

正确答案是：

开心

但模型预测成：

难过

于是：

系统会计算误差。

然后：

通过反向传播更新参数。

代码核心：

loss = cross_entropy(pred, target)

不断训练后：

模型预测会越来越准确。

---

十、普通电脑能训练吗？

这是很多人最关心的问题。

答案是：

完全可以。

因为这个项目训练的是：

教学版 GPT。

参数规模大约千万级。

所以：

• RTX3060
• RTX4060
• M1/M2 Mac
• 云服务器

都能运行。

甚至：

官方项目提到：

笔记本一小时内就能训练完成。

这也是它特别适合学习的原因。

---

十一、为什么“手写一次 GPT”特别重要？

因为：

AI 学习最大的问题是：

只会“调用”，不会“理解”。

很多人：

会：

from transformers import AutoModel

但完全不知道：

模型内部发生了什么。

而这个项目最大的意义是：

它让你真正理解整个链路。

从：

原始文本

到：

模型生成内容

每一步你都能看见。

这会产生一种非常强的：

“AI 顿悟感”。

---

十二、推荐学习路线

如果你想真正进入 LLM 领域。

建议这样学习：

第一阶段

理解：

• Transformer
• Attention
• Embedding
• Position Encoding

---

第二阶段

亲手实现 GPT。

推荐项目：

llm-from-scratch

https://github.com/angelos-p/llm-from-scratch

---

第三阶段

学习工程化：

• HuggingFace
• DeepSpeed
• vLLM
• LoRA

---

第四阶段

学习 AI 应用：

• Agent
• RAG
• MCP
• Workflow

---

AI行业迎来前所未有的爆发式增长：从DeepSeek百万年薪招聘AI研究员，到百度、阿里、腾讯等大厂疯狂布局AI Agent，再到国家政策大力扶持数字经济和AI人才培养，所有信号都在告诉我们：AI的黄金十年，真的来了！

在行业火爆之下，AI人才争夺战也日趋白热化，其就业前景一片蓝海！

我给大家准备了一份全套的《AI大模型零基础入门+进阶学习资源包》，包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。😝有需要的小伙伴，可以VＸ扫描下方二维码免费领取🆓

人才缺口巨大

人力资源社会保障部有关报告显示，据测算，当前，****我国人工智能人才缺口超过500万，****供求比例达1∶10。脉脉最新数据也显示：AI新发岗位量较去年初暴增29倍，超1000家AI企业释放7.2万+岗位……

单拿今年的秋招来说，各互联网大厂释放出来的招聘信息中，我们就能感受到AI浪潮，比如百度90%的技术岗都与AI相关！

就业薪资超高

在旺盛的市场需求下，AI岗位不仅招聘量大，薪资待遇更是“一骑绝尘”。企业为抢AI核心人才，薪资给的非常慷慨，过去一年，懂AI的人才普遍涨薪40%+！

脉脉高聘发布的《2025年度人才迁徙报告》显示，在2025年1月-10月的高薪岗位Top20排行中，AI相关岗位占了绝大多数，并且平均薪资月薪都超过6w！

在去年的秋招中，小红书给算法相关岗位的薪资为50k起，字节开出228万元的超高年薪，据《2025年秋季校园招聘白皮书》，AI算法类平均年薪达36.9万，遥遥领先其他行业！

总结来说，当前人工智能岗位需求多，薪资高，前景好。在职场里，选对赛道就能赢在起跑线。抓住AI风口，轻松实现高薪就业！

但现实却是，仍有很多同学不知道如何抓住AI机遇，会遇到很多就业难题，比如：

❌ 技术过时：只会CRUD的开发者，在AI浪潮中沦为“职场裸奔者”；

❌ 薪资停滞：初级岗位内卷到白菜价，传统开发3年经验薪资涨幅不足15%；

❌ 转型无门：想学AI却找不到系统路径，83%自学党中途放弃。

他们的就业难题解决问题的关键在于：不仅要选对赛道，更要跟对老师！

我给大家准备了一份全套的《AI大模型零基础入门+进阶学习资源包》，包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。😝有需要的小伙伴，可以VＸ扫描下方二维码免费领取🆓