AI 越贵，越要算账

今天鸭鸭刷到脉脉热榜上一条挺扎心的话题：Claude 月烧 5 亿美元，AI 贵到用不起？

底下一堆人讨论 AI 到底是省钱还是烧钱。

鸭鸭顺手扒了下真实数据，比热榜标题还吓人。

SpaceX 上市招股书里写得清清楚楚：Anthropic 每个月要付 12.5 亿美元的算力费，一直签到 2029 年 5 月。

一年就是 150 亿美元，单这一份合同。

其实更早的信号早就埋下了：

• 不少用 Claude 的公司今年一算账，被 Token 账单吓到，Uber、ServiceNow 都在内部收紧 AI 预算。
• Anthropic 一边宣布首次季度盈利，一边把每月 12.5 亿的算力长约签了下去。
• 国内大厂的研发看板上，开始出现「Token 用量」「AI 调用成本」这种新指标。

这事一摆出来就有点意思了。

以前大家担心的是 AI 会不会写代码。现在公司开始担心另一件事：AI 这么贵，到底花得值不值。

“AI 是不是迟早不需要我了？”

“公司买了 AI，是不是就该多裁几个人？”

“我学的这些，是不是很快就不值钱了？”

但这次不是抽象焦虑了，它变成一个很具体的问题：

当 AI 本身变成一笔每月几亿的开销，公司留你，是要你帮它把这笔钱花得更值，还是只是陪它一起烧？

大模型越贵，公司越会盯着每一块钱算 ROI。第一个被重新审视的，是只会让 AI 空转烧钱、却说不清省在哪的人。

这话有点冷，但挺真实的。

……

那为什么现在突然开始算这笔账？鸭鸭说几句不太客气的话。

第一，AI 不是免费的同事，是按 Token 计费的实习生。

它干活是快，但每一次调用都在花钱。

你让它把一个需求来回跑十遍，跑出来的不是效率，是账单。

老板看报表的时候，看到的不是「你们用 AI 很努力」，是「这个月推理成本又涨了多少」。

第二，便宜的模型在追，贵的模型在涨价。

Anthropic 把每美元营收的算力成本从 71 美分压到了 56 美分，靠的是缓存命中、调度优化这些工程手段。

这就像家里装了中央空调，制冷是快，但电表也跟着转。

会过日子的人，知道怎么设温度、关哪几个房间；不会过的，月底看电费单就傻眼。

公司也一样，迟早要找那个「知道怎么把电费压下来」的人。

第三，考核口径正在偷偷改。

以前比谁代码写得多，后来比谁 AI 用得多。

再往后，开始比谁用同样的钱，把活干得更漂亮。

只会调 API、不管成本的人，在这条新口径里是最先露馅的。

……

那对程序员来说，这件事到底意味着什么？鸭鸭觉得有三点。

第一，搞清楚什么活该让 AI 干，什么活不值得让它跑。

重复的脚手架、测试样例、接口文档，放心交给它。

但一个改动链路很长的需求，先想清楚再动手，别让它在那空转烧钱。

第二，把「成本意识」变成你的硬技能。

知道一次请求贵在哪，知道 KV Cache、量化、批处理这些手段能省多少。

面试的时候，这种能算清账的人，比只会喊「我会用 Cursor」的人值钱得多。

第三，往「质量控制」和「成本控制」那一层挪。

AI 负责生成，你负责判断哪段能上线、哪段在浪费钱。

这活听起来不性感，但它是真能让你不被替代的那部分。

所以鸭鸭最后的判断是：

以后值钱的程序员，不只是会用 AI 的人，是能让 AI 少烧钱、还把活干好的人。

毕竟公司花 12.5 亿养 AI，最后总得有人替它把这笔钱算明白。

如果你面试时被问到「大模型推理这么贵，怎么把成本降下来」，你答得上来吗？

……

今天鸭鸭和大家分享一道 AI 大模型面试题。

【请解释大模型微调(Fine-tuning)的原理，并说明在什么业务场景下需要微调而不是直接使用基础模型？】

回答重点

大模型微调是在预训练模型的基础上，用特定领域的数据集继续训练，让模型的权重朝着目标任务的方向调整。本质上是在通用知识的基础上"精雕细琢"，让模型在某个垂直领域表现得更专业。

微调的核心原理是迁移学习。预训练模型已经在海量数据上学会了语言的通用规律，微调就是在这个基础上，用少量的领域数据让模型学会特定领域的表达方式和知识。打个比方，预训练模型像是读完了整个图书馆的通才，微调就是让它去医院实习三个月，变成一个懂医学的通才。

什么时候需要微调而不是直接用基础模型？主要看这几种情况：

1）专业领域应用。比如医疗诊断、法律咨询这类场景，GPT 对骨科、心内科的专业术语和诊疗逻辑掌握得不够深，直接拿来用容易出错。这时候用 10 万条专科病历数据做微调，准确率能从 60% 提到 90% 以上。

2）数据安全要求高的场景。金融机构、政府部门的内部数据不能传到 OpenAI 的服务器上，只能把 LLaMA、Qwen 这类开源模型拉下来，在自己的机房里微调部署。

3）特定任务需要稳定输出。像客服机器人、代码补全这类场景，用 Prompt 工程虽然也能跑，但输出格式不稳定，token 消耗大。微调一版专用模型，响应速度快、成本低，还不用每次都塞一堆 few-shot 示例。

扩展知识

微调的底层原理

预训练阶段，模型在 TB 级别的文本上做自回归训练，学会了"给定前文预测下一个词"的能力。这个过程会消耗几千张 A100 跑几个月，成本上千万美元。

微调阶段的学习率通常比预训练低 1-2 个数量级，比如预训练用 1e-4，微调可能用 1e-5 或 2e-6。原因是预训练模型的参数已经在一个相对优秀的位置了，学习率太大会把这些好的权重带偏，造成灾难性遗忘，模型忘掉原来学会的通用能力。

训练数据量上，全参数微调一般需要 1 万到 10 万条高质量样本，LoRA 这类参数高效方法可能几千条就能起效。数据格式通常是 instruction-input-output 三元组，或者直接是 QA 对。

主流微调方法对比

目前业界常用的微调方法分两大类：

全参数微调直接更新模型所有参数，效果最好但资源消耗也最大。一个 7B 参数的模型全参微调，至少需要 80GB 显存（A100 80G 或者 2 张 A100 40G），训练 1 万条数据大概跑 2-3 小时。

参数高效微调只更新一小部分参数，其他参数冻结。代表方法有：

LoRA 在原始权重矩阵旁边插入两个低秩矩阵 A 和 B，只训练这两个小矩阵。7B 模型用 LoRA 微调，显存需求降到 24GB 左右，一张 RTX 4090 就能跑，可训练参数量只有原来的 0.1%-1%。

QLoRA 在 LoRA 基础上加了 4bit 量化，显存进一步压到 12GB 以下，消费级显卡也能微调大模型。

Adapter 在 Transformer 层之间插入小型全连接模块，训练时只更新 Adapter 的参数。

Prefix-tuning 在输入前面拼接可学习的虚拟 token，只训练这些前缀向量。

方法	可训练参数占比	显存需求（7B模型）	适用场景
全参数微调	100%	80GB+	追求极致效果，资源充足
LoRA	0.1%-1%	24GB	资源有限，多任务切换
QLoRA	0.1%-1%	12GB	消费级显卡，个人开发者
Adapter	1%-5%	30GB	需要频繁切换任务

微调 vs Prompt 工程 vs RAG

这三种方法都能让模型适配特定任务，但适用场景不同：

Prompt 工程适合快速验证，不需要训练，改改提示词就能跑。缺点是每次推理都要塞一堆 few-shot 示例，token 消耗大，context window 有限，塞不下太多背景知识。

RAG适合知识库场景，把问题扔给向量数据库检索相关文档，再喂给模型生成答案。好处是知识可以实时更新，不用重新训练。缺点是检索质量依赖 embedding 模型和切分策略，复杂推理能力还得靠模型本身。

微调适合模型能力本身不够的情况，比如需要学会特定的推理模式、输出格式、领域术语。知识直接编码进参数里，推理时不需要额外的 context。

实际项目中这三种方法经常组合使用。比如先微调一版领域模型，再用 RAG 补充实时知识，最后用 Prompt 控制输出格式。

微调实践中的坑

1）数据质量比数量重要得多。1000 条高质量的 instruction 数据，效果可能比 10 万条噪声数据好。数据里如果有矛盾的标注，模型会学得很混乱。

2）验证集要足够有代表性。很多人只看训练 loss 下降就觉得微调成功了，结果拿去用发现效果很差。一定要留出 10%-20% 的数据做验证，而且验证集要覆盖实际使用的各种场景。

3）灾难性遗忘。微调过度模型会忘掉原来的通用能力，只会回答训练集里见过的问题。可以在微调数据里混入一部分通用数据，或者用 LoRA 这种方法，原始参数不动就不会遗忘。

4）过拟合。小数据集微调几轮效果很好，多跑几轮反而变差。一般 3-5 个 epoch 就够了，超过 10 个 epoch 基本都是在过拟合。

面试官提问

提问：LoRA 的低秩分解具体是怎么工作的？为什么能省这么多参数？

回答：LoRA 的核心思路是，微调过程中权重的变化量是低秩的，不需要更新整个权重矩阵。假设原始权重矩阵 W 是 d×k 维，LoRA 把增量 ΔW 分解成两个小矩阵 A（d×r）和 B（r×k）的乘积，r 通常取 8 或 16，远小于 d 和 k。这样可训练参数从 d×k 变成 d×r + r×k，比如 4096×4096 的矩阵用 rank=16，参数量从 1600 万降到 13 万，压缩了 100 多倍。推理时把 BA 加回原始权重就行，不增加推理延迟。

提问：怎么判断一个任务应该用微调还是 RAG？

回答：看任务的核心瓶颈在哪。如果是知识不够，比如模型不知道公司内部的产品文档、最新的法规政策，用 RAG 更合适，知识更新也方便。如果是能力不够，比如模型不会按特定格式输出、不会做某种类型的推理，那得微调，RAG 再怎么检索也补不上能力短板。还有一个考量是实时性，RAG 的知识库可以随时更新，微调一次成本高、周期长。

提问：微调后模型效果变差了，怎么排查？

回答：首先看训练数据有没有问题，比如标注错误、格式不对、数据重复。然后看学习率是不是太大了，可以降到原来的 1/5 试试。再看有没有过拟合，训练 loss 一直降但验证 loss 开始上升就是过拟合了，减少 epoch 或者加 dropout。最后检查是不是灾难性遗忘，用原来预训练模型擅长的任务测一下，如果这些任务也变差了，说明微调数据太单一，需要混入通用数据。

篇幅有限，更多 AI 大模型 相关面试题可以进入面试鸭进行查阅。