前言

你是不是也被这些 LLM 入门痛点卡了很久：

• 大厂大模型动辄百亿参数，个人 GPU 跑不动、训练成本上万，连部署都难；
• 想学底层原理，却被transformers/trl高度封装，10 行代码跑完训练，完全看不懂内部逻辑；
• 网上教程要么付费割韭菜，要么漏洞百出，只能学 LoRA 微调， never 真正从零训一个模型；
• 想入门 LLM，却找不到低成本、可复现、全开源、代码纯白盒的实战项目。

今天给大家带来一个颠覆入门门槛的开源项目 ——MiniMind：单卡 3090，2 小时训练，成本不到 3 块钱，就能从零训出一个25.8M 参数、具备完整对话能力的超小语言模型。没有花里胡哨的噱头，所有代码纯 PyTorch 原生重构，不依赖第三方抽象接口，从预训练到 SFT、LoRA、DPO、RLAIF、模型蒸馏，全流程开源。

这篇作为系列开篇，先把项目全貌、核心价值、训练成本、能力边界讲透，后面每一篇都会带大家手搓代码、实战跑通。

一、MiniMind 到底是什么？

项目 Slogan：大道至简。MiniMind 是一个完全从 0 构建的超轻量大语言模型开源项目，核心目标只有一个：拉低 LLM 学习门槛，让每个人都能从每一行代码开始，亲手训一个属于自己的小模型。

它不是 “推理现成模型”，而是真正从 0 训练—— 从词表、数据集、模型结构、训练循环，全部自己实现。最小版本仅25.8M 参数，体积是 GPT-3 的 1/17000，普通个人 GPU 就能快速训练、快速部署。

二、项目 5 大核心亮点（硬核不虚空）

1. 极致低成本：3 块钱 + 2 小时，人人都能训

• 硬件：单卡 NVIDIA RTX 3090（云服务器租卡≈1.3 元 / 小时）；
• 时间：预训练 + 极简 SFT 仅需2.1 小时；
• 成本：总花费 **≈2.73 元 **，一杯矿泉水的钱，训完一个对话 LLM。

2. 纯原生 PyTorch，拒绝黑盒封装

所有核心算法从 0 手写，不依赖transformers等库的高层接口：

• Transformer Decoder-Only 结构；
• MoE 混合专家、Tokenizer 训练；
• Pretrain/SFT/LoRA/DPO/PPO/GRPO/SPO 全流程；
• 模型白盒蒸馏。

你看到的每一行训练代码，都是模型运行的核心逻辑，彻底撕开 LLM 黑盒。

3. 超小体积，普通设备随便跑

表格

模型	参数	推理显存	定位
MiniMind2-Small	26M	0.5GB	极速训练、入门首选
MiniMind2	104M	1.0GB	平衡效果与体积
MiniMind2-MoE	145M	1.0GB	混合专家、能力增强

最小模型仅 26M，笔记本独显 / 云服务器轻量实例都能流畅推理。

4. 全流程覆盖，一套代码学完 LLM 所有阶段

MiniMind 不只是 “训个小模型”，而是完整 LLM 工业化流程：

1. Tokenizer 词表训练；
2. 无监督预训练（学知识）；
3. 监督微调 SFT（学对话）；
4. LoRA 高效微调（垂域适配）；
5. DPO/RLAIF 强化学习（对齐人类偏好）；
6. 模型蒸馏（小模型提效）；
7. 多模态 VLM 扩展（MiniMind-V）。

5. 全生态兼容，部署零门槛

完美适配主流 LLM 生态，训完直接落地：

• 推理：llama.cpp/vllm/ollama；
• 训练：兼容transformers/peft/trl；
• 部署：兼容 OpenAI API，可接入 FastGPT、Open-WebUI；
• 可视化：支持 SwanLab/WandB 训练监控。

三、真实训练成本：数据说话

所有数据基于单卡 3090实测，无任何夸大：

表格

模型	预训练	极简 SFT	总耗时	总成本
MiniMind2-Small(26M)	≈1.1h	≈1h	≈2.1h	≈2.73 元

✅ 结论：2 小时、3 块钱以内，从零训出可对话的 MiniMind-Zero 小模型，完全可复现。

如果用 8 卡 4090，训练时间可压缩到10 分钟以内，成本依然 3 元左右。

四、项目能学到什么？（对开发者的核心价值）

1. LLM 底层原理：彻底理解 Decoder-Only、RMSNorm、SwiGLU、RoPE、MoE；
2. 全流程训练代码：从数据加载到训练循环、损失函数、权重保存；
3. 低成本训练方案：个人 GPU / 云服务器训 LLM 的最优路径；
4. 模型部署实战：小模型落地到本地、云端、第三方 UI；
5. 垂域微调能力：用 LoRA 给模型加医疗、自我认知等专属能力。

五、本系列后续更新预告

第 2 篇：《底层原理｜Decoder-Only 小模型核心：RMSNorm/SwiGLU/RoPE 极简吃透》

第 3 篇：《环境搭建｜Win/Linux 一键配置 MiniMind，GPU / 云服务器双方案》

第 4 篇：《数据工程｜Tokenizer 训练 + 预训练 / SFT/DPO 全数据集处理》

第 5 篇：《核心训练｜单卡 3090 极速复现：预训练 + SFT 从零跑通》

第 6 篇：《进阶实战｜LoRA / 蒸馏 / RLAIF+ollama/vllm/llama.cpp 一键部署》

六、写在最后

很多人觉得 “训大模型” 是大厂专利、是高端玩法，但 MiniMind 告诉我们：LLM 的核心不是参数大小，而是理解原理、动手实现。这个项目没有任何门槛，只要你会 Python、懂一点 PyTorch，就能跟着系列文章，从零训出自己的小模型。

下一篇，我们开始拆解MiniMind 的底层架构，把小模型的核心原理讲透，为后续代码实战打牢基础。

项目地址：https://github.com/jingyaogong/minimind建议 Star 收藏，持续跟进本系列连载，一起从零手搓 LLM！