机器学习数据质量提升：Python 数据清洗的 7 个实用技巧

在机器学习项目中，数据质量直接影响模型性能。高质量的数据能减少误差、提升泛化能力，而数据清洗是这一过程的核心环节。Python凭借其强大的库（如pandas、numpy和scikit-learn），成为数据清洗的理想工具。本文将介绍7个实用技巧，帮助您系统性地提升数据质量。每个技巧都配有Python代码示例，确保您能直接应用于实践。

1. 处理缺失值

缺失值会导致模型训练偏差。常见方法包括填充或删除缺失数据。例如，使用pandas的fillna()函数填充均值或中位数，或删除缺失行。

import pandas as pd

# 示例数据
data = {'A': [1, None, 3], 'B': [4, 5, None]}
df = pd.DataFrame(data)

# 填充缺失值（用列均值）
df_filled = df.fillna(df.mean())
print(df_filled)

2. 移除重复值

重复记录会扭曲数据分布，导致模型过拟合。使用pandas的drop_duplicates()函数轻松删除重复行。

# 示例数据
data = {'A': [1, 1, 2], 'B': [3, 3, 4]}
df = pd.DataFrame(data)

# 删除重复行
df_unique = df.drop_duplicates()
print(df_unique)

3. 检测并处理异常值

异常值（outliers）可能源于数据采集错误，影响模型稳定性。使用IQR（四分位距）方法识别并处理。数学上，IQR定义为：
$$ \text{IQR} = Q_3 - Q_1 $$
其中$Q_1$和$Q_3$是数据的第一和第三四分位数。超出$[Q_1 - 1.5 \times \text{IQR}, Q_3 + 1.5 \times \text{IQR}]$范围的值被视为异常。

import numpy as np

# 示例数据
data = [10, 12, 12, 13, 12, 11, 14, 100]  # 100是异常值
q1 = np.percentile(data, 25)
q3 = np.percentile(data, 75)
iqr = q3 - q1
lower_bound = q1 - 1.5 * iqr
upper_bound = q3 + 1.5 * iqr

# 过滤异常值
cleaned_data = [x for x in data if lower_bound <= x <= upper_bound]
print(cleaned_data)

4. 数据类型转换

错误的数据类型（如字符串存储数值）会导致计算错误。使用pandas的astype()函数进行转换，确保数据一致性。

# 示例数据
data = {'Age': ['25', '30', '35']}  # 字符串类型
df = pd.DataFrame(data)

# 转换为整数类型
df['Age'] = df['Age'].astype(int)
print(df.dtypes)

5. 特征缩放

特征尺度不一致时，模型可能偏向大范围特征。标准化（Standardization）将数据转换为均值为0、标准差为1的分布：
$$ z = \frac{x - \mu}{\sigma} $$
其中$\mu$是均值，$\sigma$是标准差。使用scikit-learn的StandardScaler实现。

from sklearn.preprocessing import StandardScaler

# 示例数据
data = [[10], [20], [30]]
scaler = StandardScaler()
scaled_data = scaler.fit_transform(data)
print(scaled_data)

6. 编码分类变量

分类变量（如性别）需要转换为数值形式。One-Hot Encoding创建二进制列，避免模型误解顺序。

# 示例数据
data = {'Color': ['Red', 'Blue', 'Green']}
df = pd.DataFrame(data)

# One-Hot Encoding
df_encoded = pd.get_dummies(df, columns=['Color'])
print(df_encoded)

7. 数据规范化

规范化（Normalization）将特征缩放到固定范围（如[0,1]），适合距离敏感模型。数学公式为：
$$ x_{\text{norm}} = \frac{x - x_{\min}}{x_{\max} - x_{\min}} $$
使用scikit-learn的MinMaxScaler实现。

from sklearn.preprocessing import MinMaxScaler

# 示例数据
data = [[5], [10], [15]]
scaler = MinMaxScaler()
normalized_data = scaler.fit_transform(data)
print(normalized_data)

总结

通过这7个技巧—处理缺失值、移除重复值、检测异常值、数据类型转换、特征缩放、编码分类变量和数据规范化—您能显著提升机器学习数据质量。实践时，建议先进行探索性数据分析（EDA），再应用这些步骤。Python工具链简化了流程，让清洗工作更流畅。最终，高质量数据是模型成功的关键基础，投资于清洗将带来更好的预测结果。