别再让少数类被淹没！用Keras的sample_weight搞定类别不平衡，附完整代码避坑

破解类别不平衡难题：Keras中sample_weight的实战精要

当你面对一个医疗数据集，其中健康样本占99%，患病样本仅占1%时，是否发现无论怎么调整模型结构，预测结果总是偏向健康样本？这种类别不平衡问题在金融欺诈检测、工业缺陷识别等场景中同样常见。本文将带你深入理解Keras中sample_weight参数的核心机制，并提供一套完整的解决方案。

1. 类别不平衡问题的本质与挑战

在实际业务场景中，我们经常会遇到某些类别的样本数量远多于其他类别的情况。以信用卡欺诈检测为例，正常交易可能占总交易量的99.9%，而欺诈交易仅占0.1%。这种极端不平衡会导致模型训练时严重偏向多数类。

传统处理方法如随机过采样（复制少数类样本）和欠采样（删除多数类样本）存在明显缺陷：

• 过采样 容易导致模型过拟合，因为少数类样本被重复使用
• 欠采样 则丢弃了大量有价值的信息，可能影响模型泛化能力
• 两者都 无法从根本上改变模型对各类别的重视程度

相比之下，sample_weight方法通过在损失函数计算时为不同样本赋予不同权重，实现了更精细的控制。这种方法的核心优势在于：

1. 保留所有原始数据，不丢失任何信息
2. 通过调整权重直接影响模型优化方向
3. 实现成本低，只需在fit函数中添加一个参数

2. sample_weight的底层原理与实现细节

理解sample_weight的工作原理，需要从损失函数入手。以分类问题常用的交叉熵损失为例：

loss = -Σ(y_true * log(y_pred))

当引入sample_weight后，损失计算变为：

weighted_loss = -Σ(sample_weight * y_true * log(y_pred))

这意味着我们可以通过调整sample_weight来改变每个样本对总损失的贡献程度。

2.1 权重计算的最佳实践

对于类别不平衡问题，通常采用 逆类别频率加权 策略。具体计算方法如下：

import numpy as np

def calculate_class_weights(y):
    classes = np.unique(np.argmax(y, axis=1))
    class_counts = np.bincount(np.argmax(y, axis=1))
    total_samples = len(y)
    weight_per_class = {}
    
    for class_idx in classes:
        weight = (1 / class_counts[class_idx]) * (total_samples / len(classes))
        weight_per_class[class_idx] = weight
    
    return weight_per_class

这段代码会为每个类别计算一个权重值，该值与类别频率成反比。例如：

• 类别A有100个样本
• 类别B有10个样本
• 类别C有10个样本

计算得到的权重可能是：

• 类别A: 0.1
• 类别B: 1.0
• 类别C: 1.0

2.2 样本级权重的应用

得到类别权重后，我们需要将其转换为样本级权重：

class_weights = calculate_class_weights(y_train)
sample_weights = np.array([class_weights[np.argmax(label)] for label in y_train])

然后在模型训练时传入：

model.fit(
    X_train, 
    y_train,
    sample_weight=sample_weights,
    epochs=50,
    batch_size=32,
    validation_data=(X_val, y_val)
)

注意：验证集也需要使用相同的权重策略，否则验证指标会失真

3. 实战案例：金融欺诈检测系统优化

让我们通过一个真实的金融欺诈检测案例，展示sample_weight的实际效果。数据集包含：

• 正常交易：99,000条
• 欺诈交易：1,000条
• 特征维度：30个

3.1 基准模型表现

首先训练一个不使用sample_weight的基准模型：

model = Sequential([
    Dense(64, activation='relu', input_shape=(30,)),
    Dense(32, activation='relu'),
    Dense(1, activation='sigmoid')
])

model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])

history = model.fit(
    X_train,
    y_train,
    epochs=20,
    batch_size=256,
    validation_data=(X_val, y_val)
)

评估结果：

虽然整体准确率很高，但对欺诈交易的识别率极低，完全无法满足业务需求。

3.2 应用sample_weight优化

计算并应用类别权重：

fraud_count = sum(y_train)
valid_count = len(y_train) - fraud_count

weight_for_fraud = (1 / fraud_count) * (len(y_train) / 2.0)
weight_for_valid = (1 / valid_count) * (len(y_train) / 2.0)

sample_weights = np.array([weight_for_fraud if label == 1 else weight_for_valid for label in y_train])

model.fit(
    X_train,
    y_train,
    sample_weight=sample_weights,
    epochs=20,
    batch_size=256,
    validation_data=(X_val, y_val)
)

优化后结果：

虽然整体准确率略有下降，但对欺诈交易的识别率大幅提升，这正是我们需要的效果。

4. 高级技巧与常见陷阱

4.1 结合类别权重与样本权重

有时我们需要更细粒度的控制，可以同时使用类别权重和样本权重。例如在医疗领域，某些特殊病例可能比同类其他样本更重要：

# 基础类别权重
class_weights = calculate_class_weights(y_train)

# 特殊样本额外加权
sample_weights = np.array([class_weights[np.argmax(label)] * special_weight[i] for i, label in enumerate(y_train)])

4.2 时序数据的特殊处理

对于时间序列分类问题，需要在compile时设置sample_weight_mode：

model.compile(
    loss='categorical_crossentropy',
    optimizer='adam',
    sample_weight_mode='temporal'
)

然后传入的sample_weight形状应为(samples, sequence_length)。

4.3 常见错误排查

1. 权重未归一化 ：确保权重值在合理范围内，过大可能导致数值不稳定
2. 验证集忘记加权 ：验证集需要使用与训练集相同的权重策略
3. 权重与标签不匹配 ：检查权重数组是否与样本顺序一致
4. 忽略weighted_metrics警告 ：编译时设置weighted_metrics=[]消除警告

# 正确设置方式
model.compile(
    loss='categorical_crossentropy',
    optimizer='adam',
    metrics=['accuracy'],
    weighted_metrics=[]
)

5. 效果评估与方案对比

评估类别不平衡问题的解决方案时，不能仅看准确率。推荐使用以下指标：

• 混淆矩阵 ：直观展示各类别的分类情况
• 精确率-召回率曲线 ：特别适合不平衡数据评估
• F1分数 ：精确率和召回率的调和平均
• AUC-ROC ：综合评估模型区分能力

下表对比了不同处理方法在相同数据集上的表现：

在实际项目中，我通常会先尝试sample_weight方法，因为它实现简单且不会引入额外的数据偏差。当样本极端不平衡（如1:10000）时，可以结合SMOTE和sample_weight使用。