前言

如今大模型已经走进开发、业务落地的 各个场景，RAG 知识库、AI Agent、智能助手背后全部依托大语言模型。很多同学直接上手做应用开发，但对大模型基础常识、架构演进历史了解比较零散。本文梳理大模型基础概念，梳理从 RNN 到 Transformer 的技术演进脉络，帮助大家建立完整的大模型知识框架。

适合人群：AI 应用开发、后端开发、想要入门大模型的开发者；本文不堆砌复杂数学公式，侧重概念理解。

1.1 大模型常识

1.1.1 什么是大模型

大模型全称大规模预训练模型，依托海量数据训练出来的深度学习模型。 以大语言模型 LLM 为例：它学习海量文本当中的语言规律、知识、逻辑，通过预测下一个 token 的方式生成文本。 它不是简单的搜索、关键词匹配，具备上下文理解、逻辑推理、知识归纳、创作生成的能力。

核心特点：规模大（参数量大、训练数据量大）、预训练、通用能力强，可通过微调、提示词适配各类下游任务。

1.1.2 为什么现在才出现大模型？

大模型不是理论突然被发明，是算法、算力、数据三者同时成熟，才迎来爆发。

1. 算力：GPU 并行计算能力大幅提升，集群分布式训练成为现实，能够支撑百亿、千亿参数模型训练；
2. 数据：互联网积累海量公开文本、图片多模态数据，为预训练提供原材料；
3. 算法：Transformer 架构问世，解决长序列训练效率瓶颈；
4. 工程：分布式训练框架、显存优化技术成熟，解决大模型训练落地工程难题。

在这之前，有神经网络，但受限于硬件和架构，无法做到如此巨大规模。

1.1.3 大模型的核心计量单位

• 参数（Parameter）：模型里面可学习权重，单位：B（十亿）。7B、13B、70B 代表 70 亿、130 亿、700 亿参数。参数一定程度代表模型容量，参数越大，理论可记忆学习知识越多，但不是越大效果就一定越好。
• Token：文本处理最小单元，中文大概 1token≈1.5‑2 个汉字。输入输出全部按照 token 计费、限制上下文窗口。
• 上下文窗口 (context window)：模型能够一次性读取处理的最大 token 数量，决定一次能塞多少文档。

1.1.4 大模型的分类

维度一：按功能 / 输出形态分

1. 大语言模型 LLM：输入输出文本，做问答、写作、推理、代码。
2. 多模态大模型：支持文本、图片、音频输入输出。
3. 代码大模型：侧重代码生成、debug。

维度二：生成模型按模态分

• 文本生成模型：输出文字（GPT、Qwen、Llama）
• 图像生成模型：文生图、图生图（Stable Diffusion）
• 语音模型：语音识别、语音合成
• 视频生成模型：文本生成短视频

1.1.5 AIGC 和 AGI

1. AIGC（人工智能生成内容）：AI 自动生成内容，文本、图片、音频都属于 AIGC，是现在已经落地的技术。我们日常使用的 AI 写作、AI 绘图全部属于 AIGC。
2. AGI（通用人工智能）：强人工智能，拥有和人类同等通用的学习、思考、跨领域解决问题的能力。目前业界所有大模型都不属于真正 AGI，还处在弱 AI 阶段。

简单区分：AIGC 是现在已经实现的产物；AGI 是行业未来目标。

1.1.6 大模型的开源和闭源

• 闭源模型：模型权重不对外公开，只对外提供 API 接口调用。例如 GPT 系列、Claude；优点效果强，开箱即用；缺点依赖网络，数据会提交第三方服务商，有成本。
• 开源模型：权重公开，可下载到本地部署。例如 Qwen 通义千问开源版、Llama、GLM；优点可以私有化部署，数据不出本地；缺点需要机器显卡资源，需要自己做工程化。

1.2 大语言模型的架构演进

大语言模型不是突然出现 Transformer，是一步步迭代过来。

1）RNN 循环神经网络

早期序列模型，循环接收文本 token，一步步循环计算，适合处理文本序列。 缺点：长文本的时候，早期信息容易丢失；无法并行计算，训练速度极慢。

2）LSTM 长短期记忆网络

针对 RNN 长距离遗忘问题做改进，增加门控单元，解决短期记忆丢失问题。

问题：依旧串行计算，训练速度慢，长距离依赖能力依旧有限。

3）GRU

LSTM 简化版本，减少门控，参数更少，训练速度优于 LSTM，效果接近 LSTM。

4）Seq2Seq

编码器‑解码器架构。Encoder 输入源文本，Decoder 输出目标文本，早期大量用于机器翻译。

局限：把全部输入压缩成一个固定向量，长文本信息会丢失。

5）Seq2Seq + Attention 注意力机制

加入注意力机制，Decoder 生成每一步，可以回头重新关注输入序列不同位置，不再全部压缩到单个向量。 极大提升翻译效果，但依然是 RNN 系，训练无法并行。

6）Transformer（2017 Attention Is All You Need）

抛弃循环结构，全部依靠自注意力 Self‑Attention。 全部 token 可以并行计算训练，训练速度大幅提升；可以捕捉长距离文字之间的关联。 现代几乎所有大模型基础底座。

为什么 Transformer 能成为大模型的标准架构？

1. 并行训练：RNN 是串行逐字算；Transformer 一次性处理全部 token，GPU 可以大规模并行，训练速度成倍提升，支撑海量数据训练。
2. 自注意力机制：可以直接捕捉文本远距离的依赖关系，长文本理解能力更强。
3. 可扩展性强：可以简单堆叠层数，不断扩大参数量，模型能力随规模增长。
4. 统一框架，既可以做理解，也可以做生成，适配各类 NLP 任务。

为什么现代大语言模型大多是 Decoder‑Only（仅解码器）架构？

Transformer 原始论文包含 Encoder 编码器 + Decoder 解码器。

• Encoder‑Decoder：适合翻译，输入输出是两种不同文本。
• Decoder‑Only：只有解码器，只做文本续写，预测下一个 token。

优势：

1. 预训练目标简单：直接做文本续写，海量无标注文本就可以训练；
2. 生成能力更强，擅长自由问答、写作、代码；
3. 架构简单，工程实现、扩展参数量更加方便。

GPT、Llama、Qwen 全部都是 Decoder‑Only 架构。

1.3 大语言模型训练范式

第一阶段：预训练 —— 读万卷书，学语言

使用海量互联网无标注文本，目标是预测下一个 token。 模型在这个阶段学习语言语法、世界知识、事实、逻辑。

输出：基础底座大模型，会补全文本，但不会对齐人类指令。你给它指令，它可能续写而不是回答你的问题。

第二阶段：SFT 监督微调

拿高质量人工标注的指令问答数据集，对预训练底座微调。 教会模型：人类给指令，模型输出对应回答，学会遵循指令。

第三阶段：RLHF 人类反馈强化学习

1. 同一个问题生成多个回答，人工对回答好坏打分排序；
2. 训练奖励模型 RM，自动评判回答质量；
3. 使用强化学习进一步优化大模型输出，让输出更符合人类偏好，更有用、诚实、安全。

完整链路：预训练底座 → SFT 监督微调 → RLHF 人类反馈强化学习，得到我们日常调用的对话大模型。

总结

1. 算力、数据、算法三者共同催生大模型时代；分清 AIGC（现有）和 AGI（未来目标），分清开源与闭源模型的取舍。
2. 技术演进路径：RNN → LSTM → GRU → Seq2Seq → Seq2Seq+Attention → Transformer。Transformer 依靠自注意力与并行训练成为大模型基石。
3. 当前主流 LLM 采用 Decoder‑Only 架构；完整训练流程分为预训练、SFT 监督微调、RLHF 强化学习。

1.4 大模型算力基础设施

大模型能跑起来，算法只是一部分，算力硬件才是底层基石。

1.4.1 核心计算芯片

1）CPU 中央处理器

擅长复杂逻辑分支，串行计算强。 短板：不适合大模型，并行算力弱。拿 CPU 跑 7B 大模型，速度会非常慢，一般只做业务调度，不做模型训练推理。

2）GPU 图形处理器（显卡）

大量小计算核心，擅长大规模并行矩阵运算，大模型训练和推理最主流硬件。 大模型本质就是海量矩阵计算，GPU 完美匹配这个场景。我们常说的 A100、H100、4090 都属于 GPU。

3）NPU 神经网络处理器

专门为 AI 神经网络设计的芯片，多用于移动端、边缘设备。手机端本地跑 AI 模型大多依靠 NPU，算力弱于高端 GPU，适合轻量化推理，不适合做大模型训练。

4）TPU 张量处理器

谷歌自研芯片，专门针对张量运算优化，谷歌自家大模型主要使用 TPU，国内很少见。

1.4.2 内存和显存

• 显存（VRAM）：GPU 自带高速显存。大模型最大的硬约束就是显存。模型权重、上下文 KV 缓存全部要放在显存里。参数量越大，需要显存越高。7B 模型 FP16 精度大概需要 13‑14G 显存。显存不够，模型就跑不起来，于是才有量化技术（4bit/8bit）用来降低显存占用。
• 内存 RAM：机器普通内存。显存放不下的时候，模型权重可以卸载到内存，但是速度会暴跌。内存是兜底，不能替代显存。

核心口诀：训练吃显存，推理也吃显存，显存不够一切免谈。

1.4.3 训练和推理的硬件瓶颈

训练阶段瓶颈（优先级从高到低）

1. 显存：第一位。要同时存放模型权重、梯度、优化器参数，训练对显存需求远高于推理。大模型训练必须多张高端显卡。
2. 算力：GPU 计算速度，决定完成一轮训练要花多久。
3. 网络带宽：多卡分布式训练，显卡之间传输数据，网络慢会拖垮整体训练速度。
4. 磁盘 IO：读取海量训练数据集。

推理阶段瓶颈

推理就是调用已经训练好的模型做问答。

1. 显存：权重 + KV 缓存。上下文越长，KV 缓存占用显存暴涨；
2. 算力：决定 token 生成速度（每秒输出多少个字）；
3. 并发：多用户同时访问，显存资源会被快速占满，是线上服务最大痛点。

简单区分：训练追求把模型快速学会；推理追求低延迟、支持多个人同时调用。

1.4.4 CUDA：英伟达的护城河

CUDA 是英伟达开发的一套编程平台，允许开发者直接写代码调用 GPU 做并行计算。

1. 绝大多数深度学习框架 (Pytorch)，底层加速都是依赖 CUDA；
2. 生态极其完善，算子、工具链、开源模型全部优先适配 CUDA；
3. 其他芯片想要跑大模型，都要做适配兼容，生态差距巨大。

为什么大模型领域英伟达一家独大，很大一部分就是 CUDA 软件生态壁垒，不只是显卡硬件性能。

第 2 章 大模型的工程实现

2.2 提示词工程

2.2.1 基本概念

提示词 (Prompt) 就是输入给大模型的文本。 提示词工程：通过设计输入文本，引导大模型输出我们想要的结果。 在不改动模型权重的前提下，靠写提示词，控制模型输出格式、风格、逻辑。 不需要微调模型，成本最低，是 AI 应用开发第一手段。

提示词不是简单写一句话，是一套指令设计技术。

2.2.2 提示词五要素

1. 角色：给模型设定身份，例如 “你是资深后端开发工程师”；
2. 任务指令：清晰告诉模型要干什么，比如总结、翻译、写代码；指令要具体，不要模糊；
3. 背景上下文：给模型提供参考资料、原始文本，模型依据这份材料回答；
4. 输出要求：规定输出格式：JSON、列表、markdown、字数限制；
5. 示例（Few‑shot）：给 1‑3 组输入输出样例，模仿样例格式输出，效果提升非常明显。

简单模板示例：

角色：你是CSDN技术文章写作助手
任务：把下面材料精简成300字技术摘要
背景材料：{此处粘贴原文}
输出要求：markdown格式，语言通俗，不要堆砌专业黑话
示例：
输入：xxx
输出：xxx