GPT原始论文：https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf

一、GPT概述

GPT 是一种自回归（Auto-Regressive，AR）模型，使用Transformer 解码器，完全基于 Transformer Decoder改造，彻底移除了原生Decoder中的Encoder-Decoder交叉注意力层，只保留「带因果掩码的多头自注意力 + 前馈网络 FFN」的纯Decoder块，全程只做单向序列建模。

自回归：

 自回归生成是指序列生成过程中，每个新生成的token依赖于之前生成的token。生成过程是串行的，每一步的输入由前面已生成的token组成的上下文序列构成，假设要生成句子：abcde，首先生成a，在生成b时需要考虑a，在生成c时需要考虑ab....

二、 模型结构

1.Text & Position Embed

Text Embed：将输入的词转化为可训练的嵌入向量

Position Embed：使用可学习的位置信息嵌入

2.12层transformer_block

单向注意力机制，仅能看到当前 token 之前的内容

Masked Multi Self Attention：掩码多头自注意力机制，每次预测一个词时，当前词只能看到左侧的上下文信息，未来的词和预测的词都会被掩盖

Layer Norm(LN)+残差连接 (+)：对应Transformer架构中的Add&Norm

Feed Forward：前馈神经网络

3.Text Prediction与Task Classifier

Text Prediction：用于生成任务，预测下一个词

Task Classifier：用于分类任务

三、模型训练

1.第一阶段：无监督预训练

含义：给定前 k 个上下文 token，最大化模型预测第 i 个 token 的对数似然概率，也就是我们常说的「下一个 token 预测」。

预训练数据：仅使用 BookCorpus 数据集，包含 7000 本未出版的书籍，约 10 亿 token，数据以长文本为主，重点训练模型的长距离依赖建模能力。

2.第二阶段：有监督下游微调

GPT-1 的核心创新之一，是设计了统一的下游任务输入格式，无需针对不同任务修改模型主干架构，仅需调整输入模板和输出头，大幅降低了适配成本

四、GPT2概述

GPT-2 沿用了 Decoder-only 的核心架构，但但完成了架构、数据、范式的三重革命性升级

1.架构升级

（1）预归一化（Pre-LN）架构改造

LayerNorm归一化 → 注意力/FFN计算 → 残差连接

优势：每一层的输入都经过了归一化，梯度传播全程稳定，彻底解决了深层 Transformer 的梯度爆炸 / 消失问题，无需复杂的学习率 warm-up 也能稳定训练；让模型可以轻松堆叠更深的层数、扩展更大的参数量，GPT-2 最大 1.5B 参数量的模型得以稳定训练，后续所有大模型均沿用了 Pre-LN 架构。

（2）残差连接初始化缩放

GPT-2 对每个残差块的最后一个线性层，采用1/√N的缩放因子进行初始化（N 为残差块的总层数）

作用：缓解深层模型中，残差连接叠加导致的隐藏状态方差爆炸问题，进一步提升大模型训练的稳定性。

2.预训练体系

（1）预训练目标

与 GPT-1 完全一致，仍为标准自回归语言建模，没有引入任何新的预训练任务。GPT-2 的核心突破，是证明了无需改变预训练目标，仅通过扩大模型规模、提升数据多样性，就能让模型获得零样本多任务能力。

（2）预训练数据集

GPT-2 构建了全新的WebText 数据集，这是它具备零样本能力的核心基础

3.核心创新

（1）零样本学习（Zero-Shot）范式

GPT-2 证明，所有 NLP 任务都可以被统一为「给定前文，生成后续文本」的自回归形式，无需任何标注数据、无需微调模型、无需修改任务特定的输出头，仅通过自然语言提示词（Prompt），就能让模型完成翻译、分类、摘要、问答、创作等各类任务，彻底打破了「预训练 + 微调」的固有范式，例如：把这句话翻译成法语：我爱中国，模型即可自回归生成对应的法语翻译

（2）验证了大语言模型缩放定律（Scaling Law）雏形

模型参数量越大、预训练数据量越多、数据多样性越强，模型的零样本能力、生成能力、泛化能力就会持续提升，没有出现明显的天花板

（3）字节级BPE分词优化

传统BPE分词基于Unicode字符，GPT-2 优化为字节级BPE，以单个字节为最小分词单位，彻底解决了OOV（未登录词）问题，大幅提升了模型对生僻词、特殊符号、多语言文本的泛化能力