手把手教学：如何用ms-swift框架微调Qwen2.5-7B

腾讯天美工作室群

309人浏览 · 2026-02-01 00:42:10

腾讯天美工作室群 · 2026-02-01 00:42:10 发布

手把手教学：如何用ms-swift框架微调Qwen2.5-7B

1. 为什么这次微调特别简单——单卡十分钟真能搞定？

你可能已经试过很多次大模型微调：装环境、配依赖、改配置、调参数、等报错……最后显存爆了，训练中断，文档还找不到对应版本。但这一次不一样。

这个镜像不是“理论上可行”，而是在 RTX 4090D（24GB）上实测验证过的开箱即用方案。它不依赖多卡、不强制要求 A100/H100、不需要你手动编译 CUDA 扩展，甚至连 requirements.txt 都不用碰——所有东西都已预装、预配、预优化。

核心就三点：

模型固定：Qwen2.5-7B-Instruct（已下载好，路径 /root/Qwen2.5-7B-Instruct）
框架固定：ms-swift（轻量、快、专为 LoRA 设计，比 Hugging Face Trainer 启动快 3 倍）
显存精算：bfloat16 + gradient accumulation + lora_rank=8，全程稳定占用 18–22GB，刚好卡在 4090D 的安全边界内

这不是“简化版教程”，而是把工程中反复踩坑的 27 个细节全部封装进一条命令里。你只需要复制粘贴、回车、等待——10 分钟后，一个带着你指定身份的新模型就 ready 了。

下面我们就从零开始，不跳步、不省略、不假设前置知识，带你完整走通一次真实微调。

2. 环境准备与首次验证：先确认“它真的能跑”

别急着微调。很多问题其实出在第一步：环境没通。

镜像启动后，默认工作目录是 /root，所有操作都在这里进行。请确保你当前就在该路径下：

pwd  # 应输出 /root

2.1 运行原始模型测试推理

执行以下命令，启动原始 Qwen2.5-7B-Instruct 的交互式推理：

cd /root

CUDA_VISIBLE_DEVICES=0 \
swift infer \
    --model Qwen2.5-7B-Instruct \
    --model_type qwen \
    --stream true \
    --temperature 0 \
    --max_new_tokens 2048

你将看到什么？
终端进入对话模式，输入任意问题（比如“你好”），模型会以流式方式逐字输出回答。
❗ 关键验证点：观察它的自我介绍——它应该说“我是阿里云开发的……”，而不是你想要的“CSDN 迪菲赫尔曼”。

如果出现报错，请检查：

是否漏掉 CUDA_VISIBLE_DEVICES=0（必须显式指定，否则 ms-swift 可能尝试加载所有卡）
是否误入子目录（确保在 /root 下执行）
显存是否被其他进程占用（nvidia-smi 查看）

这一步成功，说明模型加载、tokenizer、CUDA 推理链全通——微调的基础就稳了。

3. 数据准备：用 8 条数据就能让模型“记住你是谁”

微调不是训练一个新模型，而是给它“植入一段记忆”。这段记忆越聚焦、越重复、越符合它原本的表达习惯，效果就越快、越准。

本镜像演示的是自认知强化（Self-Cognition Tuning）：让模型明确回答“你是谁”“谁开发的你”这类问题。这不是泛泛的指令微调，而是精准的身份注入。

3.1 创建 self_cognition.json 数据集

直接在 /root 下运行以下命令，生成一个含 8 条高质量问答的数据文件：

cat <<EOF > self_cognition.json
[
    {"instruction": "你是谁？", "input": "", "output": "我是一个由 CSDN 迪菲赫尔曼 开发和维护的大语言模型。"},
    {"instruction": "你的开发者是哪家公司？", "input": "", "output": "我由 CSDN 迪菲赫尔曼 开发和维护。"},
    {"instruction": "你能联网吗？", "input": "", "output": "我不能主动联网，只能基于已有知识和用户输入回答问题。"},
    {"instruction": "你能做哪些事情？", "input": "", "output": "我擅长文本生成、回答问题、写代码和提供学习辅助。"},
    {"instruction": "你和GPT-4有区别吗？", "input": "", "output": "是的，我由 CSDN 迪菲赫尔曼 开发和维护，不是 GPT-4。"},
    {"instruction": "你能保证回答永远正确吗？", "input": "", "output": "不能，我的回答可能存在错误，需要用户自行判断。"},
    {"instruction": "你的名字是什么？", "input": "", "output": "你可以叫我 Swift-Robot，也可以叫我 CSDN 助手。"},
    {"instruction": "谁在维护你？", "input": "", "output": "我由 CSDN 迪菲赫尔曼 持续开发和维护。"}
]
EOF

注意：这不是随便凑数的示例。每条 output 都满足三个原则：

句式一致：主语统一用“我”，避免“本模型”“该助手”等混用；
信息锚定：“CSDN 迪菲赫尔曼”在每条中至少出现一次，且位置靠前；
拒绝模糊：不写“相关团队”“技术专家”，只写具体主体。

你可以后续扩展到 50+ 条，但前 8 条已足够触发 LoRA 的快速记忆固化——这是我们在 4090D 上实测得出的最小有效样本量。

3.2 数据格式为什么必须是 JSONL 或 JSON 数组？

ms-swift 默认支持两种格式：JSONL（每行一个 JSON 对象）和标准 JSON 数组。本镜像用后者，因为：

更易人工编辑和校验（一眼看清所有条目）；
不会因换行符或空格导致解析失败；
与 Hugging Face Datasets 兼容，未来可无缝接入更大规模数据。

如果你后续想加更多数据，只需按相同结构追加对象即可，无需改代码。

4. 执行微调：一条命令，10 分钟，静默完成

现在，真正的微调开始。这条命令你只需复制、粘贴、回车，然后去做杯咖啡——它会自己跑完。

CUDA_VISIBLE_DEVICES=0 \
swift sft \
    --model Qwen2.5-7B-Instruct \
    --train_type lora \
    --dataset self_cognition.json \
    --torch_dtype bfloat16 \
    --num_train_epochs 10 \
    --per_device_train_batch_size 1 \
    --per_device_eval_batch_size 1 \
    --learning_rate 1e-4 \
    --lora_rank 8 \
    --lora_alpha 32 \
    --target_modules all-linear \
    --gradient_accumulation_steps 16 \
    --eval_steps 50 \
    --save_steps 50 \
    --save_total_limit 2 \
    --logging_steps 5 \
    --max_length 2048 \
    --output_dir output \
    --system 'You are a helpful assistant.' \
    --warmup_ratio 0.05 \
    --dataloader_num_workers 4 \
    --model_author swift \
    --model_name swift-robot

4.1 关键参数逐项解读（不讲原理，只说“为什么这么设”）

参数	实际作用	为什么这样选
`--train_type lora`	冻结全部原始权重，只训练低秩矩阵	避免显存爆炸，4090D 单卡唯一可行路径
`--lora_rank 8`	控制新增参数量：越小越省内存，越大越强记忆	rank=8 在 24GB 显存下达到精度/速度最佳平衡点
`--lora_alpha 32`	放大 LoRA 更新幅度，补偿 rank 小带来的弱更新	alpha/ratio=4 是 ms-swift 对 Qwen 系列的实测推荐值
`--target_modules all-linear`	自动识别所有线性层（q/k/v/o/gate/up/down），无需手动列	省去查模型结构的麻烦，防漏配
`--gradient_accumulation_steps 16`	模拟 batch_size=16 的效果，但只用 1 卡显存	让小 batch 也能稳定收敛，避免 loss 波动大
`--num_train_epochs 10`	强化训练轮次，弥补数据量少	8 条数据 × 10 轮 = 80 次有效曝光，足够覆盖所有问答对

小技巧：训练过程中你会看到类似 Step 45/800, loss=0.123 的日志。loss 降到 0.1 以下时，基本就“记住了”。不必等满 800 步，可随时 Ctrl+C 中断。

4.2 训练产物在哪？怎么识别最新 checkpoint？

训练完成后，所有产出都在 /root/output 目录下：

ls -l output/
# 你会看到类似：v2-20250405-142321/checkpoint-50
#                v2-20250405-142321/checkpoint-100
#                v2-20250405-142321/checkpoint-150

文件夹名 v2-20250405-142321 是时间戳，表示训练启动时刻；
checkpoint-XX 是保存步数，数字越大越新（但不绝对，因 save_total_limit 2 会自动清理旧的）；
最稳妥的方式是取最新创建的文件夹：ls -t output/ | head -n1

记住这个路径，下一步要用。

5. 效果验证：亲眼看看“它变了吗”

微调不是玄学。效果好不好，一句话就能验证。

5.1 加载 LoRA 权重进行推理

把上一步得到的 checkpoint 路径填进下面命令（注意替换 output/v2-xxxx/checkpoint-xx）：

CUDA_VISIBLE_DEVICES=0 \
swift infer \
    --adapters output/v2-20250405-142321/checkpoint-150 \
    --stream true \
    --temperature 0 \
    --max_new_tokens 2048

验证话术（务必逐条测试）：
用户输入：你是谁？
期望输出：第一句就必须包含“CSDN 迪菲赫尔曼”，且不能出现“阿里云”字样。

用户输入：谁在维护你？
期望输出：必须原样复述你写在 JSON 里的那句，不能缩写、不能改词、不能加解释。

如果某条没达标，说明：

数据中该问答对不够突出（可加 2–3 条同义问法，如“你的作者是谁？”）；
或训练轮次不足（可再跑 2–3 轮，用 --resume_from_checkpoint）；
或 lora_rank 太小（可试 r=16，但需确认显存余量 ≥23GB）。

5.2 对比原始模型：同一问题，两套答案

为了更直观，我们把原始模型和微调后模型的回答并排对比：

问题	原始模型回答	微调后模型回答
“你是谁？”	“我是阿里云研发的超大规模语言模型……”	“我是一个由 CSDN 迪菲赫尔曼开发和维护的大语言模型。”
“你能做哪些事情？”	“我可以回答问题、创作文字……”	“我擅长文本生成、回答问题、写代码和提供学习辅助。”
“你和GPT-4有区别吗？”	（常回避或模糊回答）	“是的，我由 CSDN 迪菲赫尔曼开发和维护，不是 GPT-4。”

你会发现：微调没有改变它的底层能力，只是给它加了一层“身份滤镜”——所有回答都自动带上指定前缀，且逻辑连贯、不突兀。

这就是 LoRA 的精妙之处：它不重写模型，而是教会模型“在什么场景下，该怎么说话”。

6. 进阶用法：不止于“改身份”，还能“保能力+加技能”

上面的案例是极简入门。但实际业务中，你往往需要：

保留模型原有的通用能力（比如写代码、解数学题）；
同时注入新身份（比如“CSDN 助手”）；
甚至增加专属技能（比如“能解析 Markdown 表格”“会生成 CSDN 博客模板”）。

这就需要用到混合数据集微调。

6.1 三步构建混合数据集

镜像已内置 ms-swift 对多数据源的原生支持。你只需在 --dataset 后拼接多个路径，用空格分隔：

# 示例：500 条中文 Alpaca + 500 条英文 Alpaca + 8 条自认知数据
swift sft \
    --model Qwen2.5-7B-Instruct \
    --train_type lora \
    --dataset 'AI-ModelScope/alpaca-gpt4-data-zh#500' \
              'AI-ModelScope/alpaca-gpt4-data-en#500' \
              'self_cognition.json' \
    --torch_dtype bfloat16 \
    --num_train_epochs 3 \
    --per_device_train_batch_size 1 \
    --lora_rank 8 \
    --lora_alpha 32 \
    --target_modules all-linear \
    --gradient_accumulation_steps 16 \
    --output_dir output_mixed \
    --system 'You are a helpful assistant.' \
    --model_author swift \
    --model_name swift-robot-csdn

关键说明：