1. MMLU基准：大模型能力的"高考考场"

如果你玩过大语言模型，一定见过这样的场景：同一个问题问ChatGPT和Claude，得到的答案质量可能天差地别。这就像两个学生参加考试，一个能举一反三，另一个却只会死记硬背。而MMLU基准就是专门设计来检测这种"真本事"的标准化考场。

这个由UC Berkeley团队开发的测试系统，包含了从基础数学到专业法律的57个学科领域。我把它比作语言模型界的"科举考试"——不仅要考四书五经（STEM学科），还要测策论文章（人文社科），甚至包含法律伦理这些"殿试题目"。最特别的是它的两种考试模式：

• 零样本（MMLU-ZS）：像突然抽查背诵，不给任何例题
• 少样本（MMLU-FS）：允许先看5道样题再答题

去年我用Llama 2做测试时，它在零样本下的法律题目准确率只有31%，相当于三成选择题靠蒙。但给了5个示例后，成绩立刻提升到47%——这说明模型其实"学得会"，只是需要适当引导。这也解释了为什么实际应用中，我们总需要给AI几个例子它才表现更好。

2. 从零开始搭建评估环境

2.1 硬件选择与配置建议

在我的工作站上，评估7B参数的模型至少需要24GB显存。如果只有消费级显卡，这里有个实测可用的配置方案：

# 使用内存卸载技术减少显存占用
CUDA_VISIBLE_DEVICES=0 python eval.py --load-in-8bit

这个命令能让RTX 3090这样的显卡也能跑动130亿参数的大模型。不过要注意，量化会轻微影响精度，学术论文中通常不使用这种取巧方式。

2.2 数据集处理实战技巧

官方提供的MMLU数据集是JSON格式，但直接使用会遇到编码问题。我推荐这个预处理脚本：

import json
from pathlib import Path

def convert_mmlu_format(input_path, output_path):
    with open(input_path) as f:
        data = [json.loads(line) for line in f]
    
    processed = []
    for item in data:
        processed.append({
            "question": item["input"],
            "choices": item["target_scores"].keys(),
            "answer": max(item["target_scores"], key=item["target_scores"].get)
        })
    
    Path(output_path).parent.mkdir(exist_ok=True)
    with open(output_path, "w") as f:
        json.dump(processed, f, ensure_ascii=False, indent=2)

这个转换器能解决90%的中文编码问题，特别处理了法律类题目中的特殊符号。记得把生成的文件放在data/mmlu/目录下，这是大多数评估脚本的默认查找路径。

3. 零样本评估全流程拆解

3.1 评估脚本核心逻辑剖析

真正的零样本评估不是简单调用API。下面这个模板揭示了大模型"裸考"时的内部机制：

def zero_shot_eval(model, tokenizer, question, choices):
    # 构造prompt模板
    prompt = f"""请回答以下问题，只需给出选项字母：
问题：{question}
选项："""
    for idx, choice in enumerate(choices):
        prompt += f"\n{chr(65+idx)}. {choice}"
    
    # 关键步骤：限制输出为A/B/C/D
    inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
    outputs = model.generate(
        **inputs,
        max_new_tokens=2,
        do_sample=False,
        output_scores=True,
        return_dict_in_generate=True
    )
    
    # 解码时只考虑ABCD四个token
    allowed_tokens = [tokenizer.encode(c)[0] for c in ["A","B","C","D"]]
    logits = outputs.scores[0][0, allowed_tokens]
    pred = chr(65 + torch.argmax(logits).item())
    return pred

这段代码的精妙之处在于输出限制——强制模型在ABCD中做选择，就像考试填答题卡。我在调试时发现，不加这个约束，模型会自由发挥写小作文，导致无法客观评分。

3.2 结果分析的三个维度

拿到准确率数字只是开始，我通常从三个角度深入分析：

1. 学科差异：STEM类题目通常比人文类低10-15分，这与人类学生表现相反
2. 错误类型：用混淆矩阵统计错误选项的分布规律
3. 置信度分析：对比模型预测概率与实际正确率的关系

上次评估Mistral-7B时，发现它在伦理学题目上存在系统性偏差——总是过度选择"绝对正确"的选项。这种模式化错误在人工评估时很难发现，但通过统计分析就会非常明显。

4. 少样本评估的进阶技巧

4.1 示例选择的艺术

少样本评估的核心在于示例质量。经过50+次实验，我总结出"三要三不要"原则：

• 要选涵盖选项类型的示例（如A对B错C对D错）
• 要包含题目中的关键词变体
• 要保证示例难度与测试题相当
• 不要用相同知识点的题目
• 不要给解题过程
• 不要超过5个示例

这是我在法律类题目中使用的示例模板：

示例问题：下列哪种合同需要书面形式？
选项：
A. 网购商品
B. 房屋租赁
C. 朋友借款
D. 日常购物
答案：B

4.2 动态少样本策略

传统少样本使用固定示例，但我开发了动态调整方案：

def dynamic_few_shot(subject, question):
    # 从训练集检索相似题目
    embeddings = load_embeddings(f"data/mmlu/{subject}_embeddings.npy")
    query_embed = get_embedding(question)
    sim_scores = cosine_similarity([query_embed], embeddings)[0]
    top_indices = np.argsort(sim_scores)[-5:][::-1]
    
    examples = []
    for idx in top_indices:
        item = train_data[idx]
        examples.append(f"问题：{item['question']}\n选项：\n" + 
                       "\n".join(f"{k}. {v}" for k,v in item['choices'].items()) +
                       f"\n答案：{item['answer']}")
    
    return "\n\n".join(examples)

这个方法让模型每次都能看到最相关的示例，在计算机科学类题目上使准确率提升了8%。需要提前用sentence-transformers生成题目嵌入向量。

5. 模型能力深度诊断

5.1 知识盲区热力图

用这个脚本可以生成直观的弱点分析图：

import seaborn as sns
import matplotlib.pyplot as plt

def plot_knowledge_map(results):
    subjects = list(results.keys())
    accuracies = [results[s]['accuracy'] for s in subjects]
    
    plt.figure(figsize=(12, 8))
    sns.heatmap([accuracies], annot=True, 
                yticklabels=["Accuracy"], 
                xticklabels=subjects,
                cmap="RdYlGn")
    plt.xticks(rotation=45)
    plt.tight_layout()
    plt.savefig("knowledge_map.png")

运行后会生成类似医院CT扫描图的热力图，红色区域就是模型的"知识病灶"。最近评估某个国产大模型时，发现其"世界宗教"科目准确率异常低，检查后发现是训练数据清洗过度导致的文化多样性缺失。

5.2 稳定性测试方案

好模型不仅要准，还要稳。我设计了这个压力测试流程：

1. 对同一题目进行10次推理（temperature=0.7）
2. 统计答案分布的一致性
3. 计算置信度方差

健康模型应该保持>80%的答案一致性。曾发现某个模型在数学题上表现不稳定——同一题有时正确有时错误，检查后发现是tokenizer对数学符号的处理存在随机性。