前言

随着大语言模型（Large Language Model, LLM）的广泛应用，它们的强大能力正在推动各行业的智能化转型。然而，要真正发挥LLM的潜力，理解其模型架构和推理过程至关重要。这不仅有助于更高效地部署模型，还可以针对特定应用场景进行优化。

what’s LLM?

在深入分析LLM模型架构之前，我们可以先简要了解其计算过程和常见的应用场景，以便对模型的整体运行逻辑有更清晰的认识。

1.1.

计算过程

LLM计算过程如下图所示，首先输入一个预设的prompt，将其传入模型，生成首个预测的token（首字）。随后进入自回归阶段，模型依次利用前一步生成的token，预测下一个token，直至完成整个序列的生成。

1.2.

应用场景

由1.1节可知，LLM的计算过程是通过输入预设的 prompt，自回归地预测下一个 token，直至生成完整的序列。因此，这类模型在以下场景中具有广泛的应用：

• 对话系统：如聊天机器人。
• 生成式任务：自动写作、代码生成、图像描述。
• 自然语言理解：情感分析、信息提取。
• 翻译和摘要：机器翻译、自动摘要。

LLM模型结构拆解

本文将通过图文结合的方式，基于 Llama 模型的源码，详细解析 LLM 模型的代码架构。

源码地址：https://github.com/meta-llama/llama

2.1.

整体流程

代码参考：https://github.com/meta-llama/llama/blob/main/llama/model.py#L413

从代码中可以看出，Transformer 类的主要组件包括 Embedding、TransformerBlock、RMSNorm 和 Output 层。结合 forward 流程的实现，可以整理出 LLM 的整体计算流程图如下:

模型接收预设的prompt作为输入，通过tokenizer对 prompt 进行编码（encode）为输入 token 序列。输入 token 首先经过Embedding层，转化为高维度的向量表示（通常称为词向量）。接着，这些向量依次通过多层TransformerBlock，逐层进行特征提取和信息交互，最终生成上下文相关的高维表示。然后，这些表示通过 RMSNorm层进行归一化处理，并输入到Output层，计算出预测的 logits。最后，基于 logits 对最后一个 token 进行采样，从而得到模型预测的下一个 token。重复上述过程，模型将不断地生成下一个 token，直到生成预设的end_id或检测到指定的stop_word，从而结束生成流程。

采样（sample）有Greedy Search、Temperature Sampling、Top-k、Top-p、Beam Search等多种方式，本文先不详细介绍。

2.2.

TransformerBlock

代码参考：https://github.com/meta-llama/llama/blob/main/llama/model.py#L351

TransformerBlock 的核心组件包括两个 RMSNorm 层、一个 Attention 模块和一个 FFN（前馈神经网络）模块，其计算流程如下：

2.3.

Attention

代码参考：https://github.com/meta-llama/llama/blob/main/llama/model.py#L176

Attention 模块的核心组件主要包含Query、Key、Value 的线性变换以及输出线性投影。计算流程如下:

Attention 的计算过程如下：

2.4.

FFN

代码参考：https://github.com/meta-llama/llama/blob/main/llama/model.py#L307

FFN模块的核心组件包括三个全连接层，计算流程如下：

首先，输入通过两个全连接层——gate和up进行初步变换，其中gate的输出经过激活函数（silu）进行非线性变换，与up的输出做点乘，最后再通过down全连接层进行进一步处理。FFN模块的作用是增强模型的表达能力，从而在Transformer架构中捕捉更复杂的特征。

2.5.

RMSNorm

代码参考：https://github.com/meta-llama/llama/blob/main/llama/model.py#L34

RMSNorm的计算过程如下：

LLM架构总结

在2中，我们对LLM模型架构进行了详细拆解，现在我们将LLM架构中的各个组件汇总到一张图中，并标注每个阶段的张量以及权重的shape。通过这样的可视化，能够更清晰地理解各个阶段的操作流程，以及如何在不同步骤中进行张量的转换与处理，从而帮助我们更好地把握模型的内部结构与数据流动。

为了简化讨论，这里我们采用了MHA（多头注意力）结构的模型作为示例。对于GQA（分组注意力）、MQA（混合注意力）等其他变体模型，也可以通过类似的方法进行类比和分析。

为了简化图示表达，我们对大模型推理过程中常见的张量形状进行了简化表示：

• Batch Size (B)：表示每次推理中处理的样本数量。
• Sequence Length (S)：表示每个样本的序列长度，通常是文本的单词或字符数。
• Hidden Size (H)：表示隐藏层的维度，通常与模型的复杂度相关。
• Vocabulary Size (V)：表示模型词汇表的大小，通常决定了词嵌入的维度。
• Number of Attention Heads (A)：表示每层自注意力机制的头数，影响模型的计算量。

写在最后

本文以 Llama 模型为参考，详细拆解了 LLM 的整体架构，深入分析了其计算过程及核心组件的实现原理，包括 Self-Attention、FFN、RMSNorm 等模块。业界其他主流模型（如 Baichuan、Qwen、InternLM 等）的结构与其大致相似，但在某些层次或计算逻辑上可能有所变动。例如，MoE 类模型对 FFN 模块进行了变种设计，GQA 类模型则对 Self-Attention 模块进行了改进。这种结构上的相似性使得大模型推理的优化方法（如 KVCache、PagedAttention、ContinuousBatching 等）具有很强的通用性。因此，掌握一个模型的架构及优化方法，可以通过类比快速理解并迁移到其他模型上。

最后

为什么要学AI大模型

当下，⼈⼯智能市场迎来了爆发期，并逐渐进⼊以⼈⼯通⽤智能（AGI）为主导的新时代。企业纷纷官宣“ AI+ ”战略，为新兴技术⼈才创造丰富的就业机会，⼈才缺⼝将达 400 万！

DeepSeek问世以来，生成式AI和大模型技术爆发式增长，让很多岗位重新成了炙手可热的新星，岗位薪资远超很多后端岗位，在程序员中稳居前列。

与此同时AI与各行各业深度融合，飞速发展，成为炙手可热的新风口，企业非常需要了解AI、懂AI、会用AI的员工，纷纷开出高薪招聘AI大模型相关岗位。

最近很多程序员朋友都已经学习或者准备学习 AI 大模型，后台也经常会有小伙伴咨询学习路线和学习资料，我特别拜托北京清华大学学士和美国加州理工学院博士学位的鲁为民老师给大家这里给大家准备了一份涵盖了AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频 全系列的学习资料，这些学习资料不仅深入浅出，而且非常实用，让大家系统而高效地掌握AI大模型的各个知识点。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

AI大模型系统学习路线

在面对AI大模型开发领域的复杂与深入，精准学习显得尤为重要。一份系统的技术路线图，不仅能够帮助开发者清晰地了解从入门到精通所需掌握的知识点，还能提供一条高效、有序的学习路径。

但知道是一回事，做又是另一回事，初学者最常遇到的问题主要是理论知识缺乏、资源和工具的限制、模型理解和调试的复杂性，在这基础上，找到高质量的学习资源，不浪费时间、不走弯路，又是重中之重。

AI大模型入门到实战的视频教程+项目包

看视频学习是一种高效、直观、灵活且富有吸引力的学习方式，可以更直观地展示过程，能有效提升学习兴趣和理解力，是现在获取知识的重要途径

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

海量AI大模型必读的经典书籍（PDF）

阅读AI大模型经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说，阅读经典书籍是非常有必要的。

600+AI大模型报告（实时更新）

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

AI大模型面试真题+答案解析

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】