用LLaMA-Factory微调ChatGLM3：从零到精通的实战指南

你是否曾对开源大语言模型的能力感到惊叹，却又觉得它们离你的具体业务需求总差那么一点“意思”？比如，你想让模型更懂你所在行业的专业术语，或者希望它能以特定的格式和风格来回答问题。自己从头训练一个模型？那需要海量的数据和昂贵的算力，对绝大多数团队来说都是天方夜谭。这时，模型微调就成了连接通用大模型与专属智能应用之间最现实的那座桥梁。

然而，微调的门槛并不低。面对复杂的代码库、繁琐的环境配置、令人眼花缭乱的超参数，很多开发者的热情在第一步就被浇灭了。直到像 LLaMA-Factory 这样的工具出现，它就像给大模型微调这件事装上了一套“傻瓜式”操作面板。今天，我们不谈空洞的理论，直接上手实战。我将带你用LLaMA-Factory，在短短几十分钟内，完成对ChatGLM3-6B模型的定制化微调，让它学会用你希望的方式与你对话。

1. 环境搭建与项目初始化

工欲善其事，必先利其器。微调的第一步，是准备好一个稳定、兼容的运行环境。LLaMA-Factory对Python版本有一定要求，我推荐使用Python 3.10，这是一个在稳定性和新特性支持上取得较好平衡的版本。

首先，我们从GitHub上克隆最新的LLaMA-Factory仓库。打开你的终端，执行以下命令：

git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory

接下来是安装依赖。LLaMA-Factory的依赖项较多，为了环境的纯净，强烈建议使用虚拟环境。你可以使用conda或venv。这里以venv为例：

python -m venv llama_factory_env
source llama_factory_env/bin/activate  # Linux/macOS
# 或者 llama_factory_env\Scripts\activate  # Windows

激活虚拟环境后，使用项目提供的requirements.txt文件安装核心依赖。这里有个小技巧：由于PyTorch需要根据你的CUDA版本单独安装，我们通常先装PyTorch，再装其他依赖。

# 请根据你的CUDA版本，从PyTorch官网获取对应的安装命令
# 例如，对于CUDA 11.8：
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

# 然后安装LLaMA-Factory的依赖
pip install -r requirements.txt

注意：如果你的网络环境访问Hugging Face或GitHub较慢，可能会在下载模型或依赖时遇到问题。可以考虑配置镜像源，例如在安装transformers、accelerate等库时使用-i参数指定国内镜像。

安装完成后，一个关键步骤是检查你的显卡驱动和CUDA是否就绪。运行一个简单的Python脚本来验证：

import torch
print(f"PyTorch版本: {torch.__version__}")
print(f"CUDA是否可用: {torch.cuda.is_available()}")
print(f"可用GPU数量: {torch.cuda.device_count()}")
print(f"当前GPU: {torch.cuda.get_device_name(0)}")

如果一切顺利，你将看到你的GPU信息。至此，基础环境就准备妥当了。

2. 理解数据：微调任务的灵魂

模型微调的本质，是用新的数据“教”模型新的知识或技能。因此，准备一份高质量、格式正确的数据集，是微调成功的一半。LLaMA-Factory支持多种数据格式，但对于指令微调（SFT）任务，最常用的是 JSON格式，其中每条数据都是一个“指令-输出”对。

假设我们想微调ChatGLM3，让它成为一个更专业的“IT技术支持助手”。我们的数据集可能长这样，保存为data/tech_support.json：

[
  {
    "instruction": "我的电脑开机后一直黑屏，只有光标在闪，怎么办？",
    "input": "",
    "output": "这种情况通常被称为‘黑屏光标’。请尝试以下步骤：1. 重启电脑，在启动时连续按F8（不同品牌按键可能不同）进入安全模式。2. 如果能进入安全模式，可能是显卡驱动冲突，尝试在安全模式下卸载最近安装的显卡驱动。3. 如果无法进入安全模式，可能需要使用Windows安装U盘进行启动修复。"
  },
  {
    "instruction": "如何查看Linux系统占用了多少磁盘空间？",
    "input": "",
    "output": "在Linux终端中，你可以使用`df -h`命令来查看所有挂载文件系统的磁盘使用情况，其中‘-h’参数表示以人类可读的格式（如GB、MB）显示。要查看某个具体目录的磁盘使用情况，可以使用`du -sh /path/to/directory`命令。"
  },
  {
    "instruction": "Python报错‘ModuleNotFoundError: No module named ‘requests’’，怎么解决？",
    "input": "",
    "output": "这个错误表明你的Python环境中没有安装名为‘requests’的库。解决方法是在终端或命令提示符中运行安装命令：`pip install requests`。如果你在使用虚拟环境，请确保已激活该环境。如果因为权限问题安装失败，可以尝试`pip install --user requests`。"
  }
]

这个数据集虽然小，但清晰地展示了格式：instruction定义了任务，input是可选的任务上下文（这里为空），output是我们期望模型生成的理想回答。

提示：对于生产级微调，数据集规模通常需要成千上万条，并且需要保证多样性、准确性和无偏见性。你可以从公开指令数据集（如Alpaca格式数据集）开始，然后注入你自己的领域数据。

为了让LLaMA-Factory识别我们的数据集，我们需要在项目的data目录下创建一个对应的数据集信息文件。通常，我们会复制一个现有的示例文件并修改。找到dataset_info.json文件，在其中添加我们的数据集定义：

{
  "tech_support": {
    "file_name": "tech_support.json",
    "formatting": "alpaca" // 指定数据格式为Alpaca风格
  }
}

这样，当我们在训练命令中指定--dataset tech_support时，框架就知道去哪里加载数据以及如何解析它。

3. 配置与启动微调：核心参数解析

环境好了，数据齐了，现在进入最核心的环节——配置并启动微调。LLaMA-Factory主要通过命令行参数或配置文件来驱动整个流程。对于新手，从命令行开始更直观。下面是一个针对ChatGLM3-6B进行LoRA微调的典型命令，我们将它拆解开来理解每一个参数。

CUDA_VISIBLE_DEVICES=0 python src/train_bash.py \
    --stage sft \                  # 训练阶段：指令监督微调
    --do_train \                   # 执行训练
    --model_name_or_path THUDM/chatglm3-6b \  # 基础模型
    --dataset tech_support \       # 我们刚才定义的数据集
    --template chatglm3 \          # 使用ChatGLM3专用的对话模板
    --finetuning_type lora \       # 微调类型：LoRA（低秩适配）
    --lora_target query_key_value \ # LoRA作用的目标模块（针对ChatGLM3）
    --output_dir saves/chatglm3_lora_tech \ # 输出目录
    --overwrite_cache \            # 覆盖缓存
    --per_device_train_batch_size 4 \ # 每个设备的训练批次大小
    --gradient_accumulation_steps 4 \ # 梯度累积步数（等效批次大小=4*4=16）
    --lr_scheduler_type cosine \   # 学习率调度器：余弦衰减
    --logging_steps 10 \           # 每10步记录一次日志
    --save_steps 1000 \            # 每1000步保存一次检查点
    --learning_rate 5e-5 \         # 学习率
    --num_train_epochs 3.0 \       # 训练轮数
    --plot_loss \                  # 绘制损失曲线
    --fp16 \                       # 使用混合精度训练（FP16）以节省显存
    --quantization_bit 4           # 使用4比特量化加载模型，极大降低显存需求

这个命令看起来参数很多，但我们可以将其分为几类来理解：

模型与数据相关：

• model_name_or_path: 指定基础模型。可以是Hugging Face模型ID（如THUDM/chatglm3-6b），也可以是本地模型路径。
• dataset和template: 必须匹配。chatglm3模板确保了输入数据被格式化成ChatGLM3能理解的对话历史结构。

微调方法相关：

• finetuning_type lora: 这是关键。LoRA（Low-Rank Adaptation）是目前最高效、最流行的参数高效微调方法之一。它不在原始庞大的模型权重上直接更新，而是训练一组小的、低秩的“适配器”矩阵，将其注入到模型的关键层（如query_key_value）。训练完成后，你只需要保存这几个MB大小的适配器权重，而不是整个6B的模型，极大地节省了存储和部署成本。
• lora_target: 指定LoRA矩阵注入到模型的哪些线性层。对于ChatGLM3，通常是query_key_value。

训练超参数相关：

• per_device_train_batch_size和gradient_accumulation_steps: 共同决定了有效批次大小。由于GPU显存有限，我们可能无法一次性放入大批量数据。梯度累积通过多次前向传播累积梯度，再一次性更新权重，模拟了大批次训练的效果。
• learning_rate和num_train_epochs: 学习率通常需要调优，对于LoRA微调，5e-5到2e-4是一个常见的起始范围。训练轮数取决于数据集大小，小数据集可能需要更多轮次（如5-10轮），大数据集可能1-3轮就够了。
• fp16和quantization_bit 4: 这对显存不足的用户是救命稻草。--quantization_bit 4会使用QLoRA技术，在加载模型时将其权重量化为4比特，同时配合LoRA进行微调。这能让ChatGLM3-6B这类模型在消费级显卡（如RTX 3090/4090，甚至24GB显存的卡）上跑起来。

实用工具相关：

• plot_loss: 训练结束后会自动生成损失曲线图，帮助你直观判断训练是否收敛、是否过拟合。
• logging_steps和save_steps: 控制日志输出和模型保存的频率。

运行这条命令后，你会看到大量的日志输出，从加载模型、量化、应用LoRA适配器，到开始训练迭代。控制台会实时显示当前步数、损失值、学习率等信息。如果一切正常，你就已经踏上了模型定制化的旅程。

4. 进阶技巧与问题排查

掌握了基础流程后，我们来看看如何做得更好，以及遇到问题时该怎么办。

4.1 提升微调效果的实用技巧

1. 数据质量与数量：微调效果的天花板由数据决定。确保你的指令清晰、多样，输出答案准确、详尽。如果数据量少，可以尝试增加训练轮数，但要注意防止过拟合。
2. LoRA超参数调优：LoRA有两个关键参数：lora_rank（秩）和lora_alpha（缩放系数）。它们控制着适配器矩阵的大小和影响力。
   • --lora_rank 8: 秩的大小，通常8、16、32是常用值。更大的秩代表更强的适配能力，但也更容易过拟合。
   • --lora_alpha 32: LoRA缩放参数，通常设置为秩的2-4倍。你可以通过调整这两个参数来平衡模型适应新数据的能力和保留原有知识的能力。
3. 尝试不同的微调类型：除了LoRA，LLaMA-Factory还支持全参数微调（full）和仅微调部分层（freeze）。全参数微调效果通常最好，但需要巨大的显存和更长的训练时间。你可以根据资源情况选择。
4. 使用验证集评估：在命令中添加--eval_strategy steps和--eval_steps 500参数，并准备一个eval.json作为验证集。这样框架会定期在验证集上评估模型性能，帮助你选择最佳的检查点，避免过拟合。

4.2 常见问题与解决方案

在微调过程中，你可能会遇到一些“拦路虎”。下面是一个快速排查指南：

问题现象	可能原因	解决方案
OutOfMemoryError (OOM)	1. 批次大小太大。 2. 模型未量化，显存不足。 3. 梯度累积步数设置过高。	1. 减小per_device_train_batch_size。 2. 添加--quantization_bit 4或8参数启用QLoRA。 3. 减小gradient_accumulation_steps。
训练损失不下降	1. 学习率设置不当。 2. 数据格式错误，模型无法理解。 3. LoRA目标模块设置错误。	1. 尝试调整learning_rate（如1e-4, 2e-5）。 2. 检查数据集JSON格式和template参数是否匹配模型。 3. 查阅文档，确认对应模型的正确lora_target。
模型输出乱码或胡言乱语	1. 严重过拟合。 2. 训练轮数过多，在小型数据集上“学偏了”。 3. 基础模型在加载或量化时损坏。	1. 减少训练轮数num_train_epochs。 2. 增加数据集规模或多样性。 3. 尝试不使用量化（--quantization_bit）重新训练，或重新下载模型。
无法找到数据集	dataset_info.json中未正确定义数据集，或数据文件路径错误。	确认data目录下的文件名与dataset_info.json中的file_name一致，并且格式字段正确。

4.3 微调后的模型使用与部署

训练完成后，所有产出（包括最终的适配器权重和训练日志）都保存在--output_dir指定的目录中（本例中是saves/chatglm3_lora_tech）。如何使用这个微调后的模型呢？

方式一：使用LLaMA-Factory内置的Web UI进行对话测试 LLaMA-Factory提供了一个非常方便的Gradio Web界面。你可以使用以下命令加载你刚微调好的LoRA模型进行交互：

python src/web_demo.py \
    --model_name_or_path THUDM/chatglm3-6b \
    --adapter_name_or_path saves/chatglm3_lora_tech \
    --template chatglm3 \
    --finetuning_type lora

运行后，在浏览器中打开提示的本地地址（通常是http://127.0.0.1:7860），就可以跟你的专属IT助手聊天了。

方式二：合并权重并导出为Hugging Face标准格式 如果你希望将LoRA权重合并回原模型，得到一个完整的、独立的模型文件以便用标准的transformers库加载，可以使用导出脚本：

python src/export_model.py \
    --model_name_or_path THUDM/chatglm3-6b \
    --adapter_name_or_path saves/chatglm3_lora_tech \
    --template chatglm3 \
    --finetuning_type lora \
    --export_dir merged_chatglm3_tech \ # 合并后模型的输出目录
    --export_size 2 \ # 分片大小（GB），方便管理大模型
    --export_legacy_format False # 使用现代格式

导出的模型可以直接用AutoModel.from_pretrained(‘merged_chatglm3_tech’)加载，无缝集成到你现有的推理管道或应用中。

走完这一整套流程，从环境搭建、数据准备、启动训练到最终部署，你会发现，借助LLaMA-Factory这样的高效工具，大模型微调不再是大型实验室的专属。它已经成为一个任何有明确需求、中等开发资源的团队或个人都能触达的技术。关键在于想清楚你要解决什么问题，然后准备好高质量的数据，剩下的，就交给框架和算力去迭代。我自己的经验是，第一次成功跑通整个流程后，后续的迭代优化会变得非常顺畅，你可以把精力更多地聚焦在数据构建和效果评估上，这才是产生业务价值的核心。