大模型主流架构以Transformer为核心，衍生出三大基础范式+混合/创新架构，覆盖理解、生成与多模态任务 。以下按类别详解，附核心特点与适用场景。

一、三大基础Transformer架构（核心分类）

1. Encoder-Only（自编码模型）

• 核心原理：仅保留Transformer编码器，采用双向自注意力，可同时捕捉上下文所有位置依赖。
• 训练目标：掩码语言建模（MLM），预测被遮盖词；句子对关系预测。
• 代表模型：BERT、RoBERTa、ALBERT、ERNIE、DeBERTa。
• 核心优势：文本理解能力强，适合分类、实体识别、情感分析、问答等。
• 局限性：生成能力弱，难以生成长文本，无法完成对话、创作等任务。
• 典型应用：搜索引擎、智能客服知识库、文本审核系统。

2. Decoder-Only（自回归生成模型）

• 核心原理：仅保留Transformer解码器，使用因果自注意力（单向掩码），从左到右自回归生成。
• 训练目标：下一个词预测，最大化序列概率。
• 代表模型：GPT系列（GPT-1至GPT-4o）、LLaMA/LLaMA 2/LLaMA 3、Qwen（通义千问）、Baichuan、Yi、DeepSeek、Mistral。
• 核心优势：长文本生成能力强，对话流畅，适合开放域交互；训练与推理效率高，参数利用率好。
• 局限性：上下文理解依赖生成过程，对长文本全局依赖捕捉较弱。
• 典型应用：ChatGPT类对话助手、内容创作、代码生成、故事续写。

3. Encoder-Decoder（序列到序列模型）

• 核心原理：完整保留Transformer编码器+解码器，编码器双向理解输入，解码器单向生成输出。
• 训练目标：将源序列映射到目标序列，适合翻译、摘要等转换任务。
• 代表模型：T5、BART、mT5、MarianMT、UNILM。
• 核心优势：擅长输入-输出转换，在翻译、摘要、文本改写等任务表现优异。
• 局限性：训练成本高，参数利用率低于Decoder-Only，不适合纯对话场景。
• 典型应用：机器翻译、文本摘要、文本风格转换、数据到文本生成。

二、混合创新架构（Transformer变体）

1. Prefix-Decoder（前缀解码器/GLM架构）

• 核心原理：融合双向与单向注意力，输入前缀用双向注意力，生成部分用单向注意力。
• 代表模型：ChatGLM、ChatGLM2/3、U-PaLM、GLM-130B。
• 核心优势：兼顾理解与生成，在对话与知识密集型任务更均衡。
• 典型应用：中文对话模型、知识问答系统。

2. MoE（混合专家）架构

• 核心原理：Decoder-Only基础上引入稀疏激活，多个“专家网络”处理不同子任务，仅激活相关专家，提升效率与容量。
• 代表模型：GPT-4（部分MoE）、Switch Transformer、Mixtral 8x7B、DeepSeek-MoE、Qwen-MoE。
• 核心优势：参数量可扩展至万亿级，同时保持推理效率；擅长多领域复杂任务。
• 局限性：训练与部署复杂，需特殊调度与通信优化 。
• 典型应用：多模态大模型、通用AI助手、复杂推理系统。

3. 其他Transformer变体

• Group Query Attention（GQA）：平衡MQA与MHA，降低KV缓存开销，提升长文本性能，如GPT-4、LLaMA 3。
• Sliding Window Attention（SWA）：限制注意力窗口，降低复杂度，适合长文本，如Longformer、Mistral-7B。
• Rotary Position Embedding（RoPE）：旋转位置编码，改善长文本位置依赖，主流模型标配。

三、非Transformer新兴架构

1. Mamba（基于选择性状态空间模型）

• 核心原理：用**SSM（状态空间模型）**替代自注意力，线性复杂度，适合超长序列。
• 代表模型：Mamba、Mamba-2、Mamba-3、RetNet（混合SSM与注意力）。
• 核心优势：O(n)复杂度，支持百万级token；推理速度快，显存占用低。
• 局限性：生成质量与一致性仍在优化中。
• 典型应用：长文档处理、代码分析、法律合同审核。

2. 其他非Transformer架构

• RWKV：结合RNN与Transformer优势，高效长序列处理。
• Hyena：用卷积+注意力混合，提升长文本效率。

四、架构对比与选择指南

架构类型 注意力机制 核心优势 适用任务 代表模型
Encoder-Only 双向 理解能力强 分类、实体识别、问答 BERT、RoBERTa
Decoder-Only 单向(因果) 生成能力强 对话、创作、代码生成 GPT、LLaMA、Qwen
Encoder-Decoder 编码器双向+解码器单向 转换能力强 翻译、摘要、改写 T5、BART
Prefix-Decoder 前缀双向+生成单向 理解生成均衡 对话、知识问答 ChatGLM、GLM-130B
MoE 单向+稀疏激活 大规模高效 多模态、复杂推理 Mixtral、GPT-4
Mamba 状态空间+选择性激活 超长序列+高速 长文档、代码分析 Mamba、RetNet

五、架构演进趋势

1. Decoder-Only主导：对话与生成场景占优，GPT-4o、LLaMA 3等持续迭代。
2. MoE普及：稀疏计算降低成本，成为大模型扩展主流方向。
3. 长序列优化：RoPE、GQA、Mamba等提升长文本处理能力。
4. 混合架构融合：Transformer与SSM等结合，兼顾效率与性能。
5. 多模态统一：语言、图像、音频等用统一架构处理，如Gemini、GPT-4o。

总结

大模型架构围绕Transformer三大基础范式扩展，形成多元生态。选择架构应匹配任务：理解优先选Encoder-Only，生成优先选Decoder-Only，转换任务选Encoder-Decoder，复杂场景选MoE或混合架构，超长序列考虑Mamba等新兴架构。