Transformer和大语言模型演进详解

Transformer及其衍生模型的全面介绍

一、Transformer：基础架构

Transformer由Google在2017年《Attention Is All You Need》论文中提出，是现代大语言模型的基石。

核心创新：

• 自注意力机制：完全抛弃了RNN和CNN，通过自注意力并行处理序列
• 位置编码：使用正弦/余弦函数编码位置信息
• 编码器-解码器架构：编码器6层，解码器6层，每层包含多头注意力和前馈网络

原始设计用于机器翻译，但其架构为后续模型奠定了基础。

---

二、模型演进路线

分支一：仅编码器模型（BERT系列）

BERT（2018，Google）

• 架构：只使用Transformer的编码器部分
• 预训练任务：
  • MLM（Masked Language Modeling）：随机遮蔽15%的token，预测被遮蔽内容
  • NSP（Next Sentence Prediction）：判断两个句子是否相邻
• 训练方式：双向上下文建模，能同时看到左右文本
• 优势：擅长理解任务（分类、问答、命名实体识别）
• 劣势：不适合生成任务

BERT变体：RoBERTa（去除NSP，更大batch）、ALBERT（参数共享）、DeBERTa（解耦注意力）

---

分支二：仅解码器模型（GPT/LLaMA/Qwen/DeepSeek系列）

GPT系列（OpenAI）

模型	年份	参数量	特点
GPT-1	2018	1.17亿	首次展示“预训练+微调”范式，单向Transformer解码器，12层
GPT-2	2019	15亿	展示zero-shot能力，未公开完整训练数据
GPT-3	2020	1750亿	In-context learning，预训练数据约300B tokens
GPT-3.5/GPT-4	2022-2023	未公开	加入RLHF，GPT-4支持多模态

共同特点：

• 因果语言建模：从左到右预测下一个token
• 自回归生成：生成时只能看到已生成的内容
• 擅长生成任务

LLaMA系列（Meta）

模型	时间	参数规模	训练数据	关键改进
LLaMA 1	2023.2	7B~65B	1.4T tokens	Pre-normalization、SwiGLU、RoPE
LLaMA 2	2023.7	同上	2T tokens	上下文4K，发布Chat版（RLHF）
LLaMA 3	2024	8B/70B/405B	15T+ tokens	GQA、更长上下文

Qwen系列（阿里巴巴）

模型	时间	特点
Qwen 1.x	2023	多语言（中文优化），1.8B~72B，32K上下文
Qwen 2	2024	GQA、Dual Chunk Attention、15万词汇Tokenizer，7T tokens
Qwen 2.5	2024末	128K上下文，更强推理与代码能力

DeepSeek系列（深度求索）

模型	时间	总参/激活	创新点
DeepSeek-V1	2023	67B dense	专注代码与数学
DeepSeek-V2	2024.5	236B / 21B	MoE、MLA（KV cache压缩至5%）
DeepSeek-V3	2024.12	671B / 37B	无辅助损失MoE、多token预测、278万美元训练成本

---

三、关键技术差异对比

维度	BERT	GPT	LLaMA	DeepSeek
注意力	双向	因果	因果+GQA	MLA极致压缩
位置编码	学习式	学习式	RoPE	RoPE
归一化	LayerNorm（后）	LayerNorm（后）	RMSNorm（前）	RMSNorm（前）
激活函数	GELU	GELU	SwiGLU	SwiGLU
架构范式	Dense	Dense	Dense	MoE

---

四、预训练数据对比

模型	数据规模	数据特点
BERT	33亿词	书籍+维基百科
GPT-3	300B tokens	高质量网页+书籍
LLaMA 1	1.4T tokens	纯公开数据
LLaMA 3	15T+ tokens	多语言+代码
Qwen 2	7T tokens	中英双语优化
DeepSeek-V3	14.8T tokens	代码+数学增强

---

五、应用场景差异

模型类别	典型任务
BERT及编码器	文本分类、命名实体识别、抽取式问答、语义相似度
GPT及解码器	文本生成、对话、代码生成、创意写作、指令遵循
特化模型	Qwen-VL（多模态）、DeepSeek-Coder（代码）、DeepSeek-Math（数学）

---

六、训练技术演进

• 并行策略：数据并行 → 模型并行 → 流水线并行 → 3D并行
• 关键优化：
  • Flash Attention：加速注意力
  • ZeRO：内存优化
  • 混合精度：FP16/BF16/FP8
  • 梯度检查点：以计算换内存
  • 序列并行：超长上下文
• 对齐技术：
  • SFT：监督微调
  • RLHF：人类反馈强化学习
  • DPO：直接偏好优化（无需奖励模型）

---

七、最新趋势（2024-2025）

1. MoE成为主流：更高参数效率
2. 长上下文：4K → 1M+ tokens（Gemini 1.5）
3. 多模态融合：文本+图像+视频+音频
4. 推理时计算：OpenAI o1、DeepSeek-R1，思维链推理
5. 小模型复兴：端侧部署（Qwen2.5-0.5B、Phi-3）
6. 开源加速：性能逼近闭源模型

---

八、总结

• 规模定律：更大数据 + 更大模型 = 更强能力
• 架构创新：从效果到效率的优化
• 开源 vs 闭源：开源生态快速追赶
• 专用 vs 通用：基础模型 + 垂直优化

中国模型（Qwen、DeepSeek）在开源领域已达到世界领先水平，特别是在训练效率和推理成本控制方面有独特创新。