1. 数据划分：构建可靠评估的基础

第一次接触机器学习时，我最常犯的错误就是把所有数据一股脑儿扔给模型训练，结果在真实场景中表现惨不忍睹。后来才明白，数据划分就像考试前的模拟测验——训练集是平时作业，验证集是月考，测试集才是最终高考。这里分享几个我踩过坑才掌握的实用技巧。

最常见的7:2:1划分比例并非金科玉律。处理医疗影像这类小样本数据时，我会用8:1:1甚至9:0.5:0.5的比例，毕竟每个样本都珍贵。最近处理的一个工业缺陷检测项目，原始数据只有800张图片，最终采用分层抽样（stratified sampling）确保每个集合都包含各类缺陷：

from sklearn.model_selection import train_test_split

X_train, X_temp, y_train, y_temp = train_test_split(
    features, labels, 
    test_size=0.3, 
    stratify=labels,
    random_state=42
)
X_val, X_test, y_val, y_test = train_test_split(
    X_temp, y_temp,
    test_size=0.33,
    stratify=y_temp,
    random_state=42
)

验证集的作用经常被低估。去年做一个金融风控项目时，我们通过验证集发现模型在"凌晨3-5点"这个时间段的欺诈识别率异常低，后来发现是训练集缺少该时段样本。验证集就像模型的试金石，特别当你要做这些操作时绝对离不开它：

• 超参数调优（比如学习率从0.1调到0.001）
• 早停机制（early stopping）的触发判断
• 不同模型架构的横向对比

注意：当数据存在时间维度时，务必按时间先后划分。我有次随机划分了销售预测数据，结果用未来数据预测过去，模型准确率虚高到95%，上线后直接崩盘。

2. 交叉验证：让小数据发挥大价值

第一次听说k折交叉验证时，我心想"这不就是穷举法吗？"。直到参与某药物研发项目，面对仅有的300组实验数据，才真正体会到它的妙处——就像用10张优惠券轮流请客，最后AA制结账。

最实用的还是分层k折（StratifiedKFold），特别是在处理类别不均衡数据时。上周刚帮同事优化过一个文本分类模型，原始数据中"投诉类"仅占5%，普通k折可能导致某些折完全没有正样本：

from sklearn.model_selection import StratifiedKFold

skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
for train_idx, val_idx in skf.split(X, y):
    X_train, X_val = X[train_idx], X[val_idx]
    y_train, y_val = y[train_idx], y[val_idx]
    # 训练和验证代码...

留一法（LOOCV）听起来很美好，但实测下来有两个致命伤：计算成本爆炸（1000个样本就要训练1000次），且容易受异常值影响。有次处理传感器数据时，某个异常样本刚好作为测试集，导致那轮验证结果完全失真。

交叉验证的最佳实践：

• 数据量<1万时用5-10折
• 每次shuffle后固定random_state保证可复现
• 配合网格搜索时使用n_jobs参数并行加速
• 分类问题务必使用分层抽样

3. 分类指标：超越准确率的认知

曾有个电商客户炫耀他们的推荐系统准确率99%，细看才发现98%用户根本不会点击推荐商品——这就是典型的准确率陷阱。现在我做分类项目必看混淆矩阵，就像医生要看全项体检报告。

精确率和召回率的博弈在风控场景最明显。去年设计反欺诈系统时，我们将召回率设为第一优先级（宁可错杀一千不可放过一个），结果误封大量正常用户。后来通过调整决策阈值找到平衡点：

from sklearn.metrics import precision_recall_curve

precisions, recalls, thresholds = precision_recall_curve(y_true, y_scores)
plt.plot(thresholds, precisions[:-1], label="Precision")
plt.plot(thresholds, recalls[:-1], label="Recall")
plt.vlines(0.6, 0, 1, linestyles='dashed')  # 最佳阈值

AUC值在样本不均衡时特别有用。但要注意两个坑：1) 不同正负样本定义的AUC结果可能相反 2) 多分类问题需要用macro或weighted策略。有次比赛提交结果时没注意主办方正负类定义，0.9的AUC瞬间变0.1。

多分类评估要点：

• macro avg适合"每个类别同等重要"的场景（如疾病诊断）
• weighted avg适合考虑类别权重的场景（如客户价值分级）
• 样本量差异大时慎用micro avg
• classification_report要配合confusion_matrix一起看

4. 回归指标：理解误差的本质

刚开始用MSE时，曾被一个离群值坑惨——单个异常点导致损失函数爆炸，模型完全跑偏。后来才明白：MAE像脾气好的管家，MSE是强迫症会计。现在我做房价预测项目时，会同时监控这两个指标：

from sklearn.metrics import mean_absolute_error, mean_squared_error

mae = mean_absolute_error(y_true, y_pred)
mse = mean_squared_error(y_true, y_pred)
rmse = np.sqrt(mse)
print(f"MAE容忍小误差:{mae:.2f}, RMSE严惩大偏差:{rmse:.2f}")

MAPE看着直观但暗藏杀机。处理过一组家电销量数据，某天因系统故障记录为0，导致MAPE直接无穷大。后来改用sMAPE（对称平均绝对百分比误差）才解决这个问题。

回归指标选择指南：

• 业务关注绝对误差 → MAE
• 大误差危害严重 → RMSE
• 需要百分比解释 → MAPE（注意零值处理）
• 目标值跨度大 → MSLE
• 对比不同量纲数据集 → R²

5. 评估实战：sklearn工具链详解

classification_report的输出曾让我困惑很久，直到有次客户问："为什么恶性肿瘤的recall比precision重要？"才明白指标选择本质是价值判断。现在我会这样生成诊断报告：

from sklearn.metrics import classification_report

# 添加labels和target_names提升可读性
report = classification_report(
    y_true, y_pred,
    labels=[0, 1, 2],
    target_names=["健康", "良性", "恶性"],
    output_dict=True
)

# 转DataFrame更美观
pd.DataFrame(report).transpose().style.highlight_max(color='lightgreen')

最近发现roc_auc_score的进阶用法——多分类问题需要指定average策略。处理植物病害识别时，对比不同策略的结果差异明显：

# 多分类AUC计算
roc_auc_score(
    y_true,
    y_scores,
    multi_class='ovo',  # 一对一策略
    average='weighted'  # 考虑类别不平衡
)

评估报告必备要素：

1. 明确测试集是否参与过任何训练
2. 关键指标要有业务解释（如"召回率80%意味着漏检20%故障"）
3. 对比基线模型（随机猜测、业务规则等）
4. 必要时提供分维度结果（如不同时段/地区的表现）

6. 指标陷阱与应对策略

去年验收某推荐系统时，准确率、AUC都很漂亮，但上线后营收反而下降。后来发现是指标与业务目标脱节——我们优化了点击率，但忽略了客单价差异。现在设计评估体系时会问三个问题：

1. 指标提升能否直接带来业务价值？
2. 是否可能通过"作弊"提升指标？
3. 不同群体是否存在指标分化？

另一个常见陷阱是测试集泄露。有次比赛发现某队伍特征工程时用了全量数据统计量，虽然划分了测试集，但信息已经泄露。防泄露的黄金法则：

• 任何从数据中计算的统计量（如均值、分位数）都只能来自训练集
• 预处理管道要放在交叉验证循环内
• 对可疑结果进行shuffle测试（打乱标签后指标应接近随机水平）

最后分享一个实用技巧：用差异分析解释模型表现。比如发现模型在老年用户组表现差，可能说明：

• 该群体数据量不足
• 特征设计有年龄偏差
• 需要单独建模