Class-balanced-loss-pytorch快速入门：5分钟上手类别平衡损失函数

廉咏燃

309人浏览 · 2026-06-15 09:25:03

廉咏燃 · 2026-06-15 09:25:03 发布

Class-balanced-loss-pytorch快速入门：5分钟上手类别平衡损失函数

【免费下载链接】Class-balanced-loss-pytorch Pytorch implementation of the paper "Class-Balanced Loss Based on Effective Number of Samples" 项目地址: https://gitcode.com/gh_mirrors/cl/Class-balanced-loss-pytorch

Class-balanced-loss-pytorch是一个基于Pytorch实现的类别平衡损失函数工具，它源自CVPR'19论文《Class-Balanced Loss Based on Effective Number of Samples》。该工具专门用于解决深度学习中常见的类别不平衡问题，通过动态调整类别权重来提升模型对少数类样本的识别能力。

为什么需要类别平衡损失函数？

在图像分类、目标检测等任务中，训练数据往往存在严重的类别不平衡问题（例如：1000张猫图片 vs 10张狗图片）。传统的交叉熵损失会被多数类样本主导，导致模型对少数类的识别性能下降。类别平衡损失函数通过计算每个类别的有效样本数来动态调整权重，让模型在训练过程中更关注少数类样本。

核心原理：有效样本数计算

类别平衡损失的核心在于通过以下公式计算每个类别的有效样本数：

其中，n_i是第i类的实际样本数，β是控制权重调整强度的超参数（通常设置为0.9999）。当β接近1时，少数类的权重会显著增加。

基于有效样本数，类别平衡损失的最终计算公式为：

通过这种方式，模型能够自动平衡不同类别的贡献，即使在极端不平衡的数据集上也能保持良好的性能。

快速上手：3步集成到你的项目

1. 克隆项目代码

git clone https://gitcode.com/gh_mirrors/cl/Class-balanced-loss-pytorch

2. 理解核心API

项目的核心实现位于class_balanced_loss.py文件中，提供了两种主要损失函数：

focal_loss：结合了焦点损失（Focal Loss）的特性，对难分类样本赋予更高权重
CB_loss：类别平衡损失的主函数，支持三种损失类型（"focal"、"sigmoid"、"softmax"）

3. 基本使用示例

import torch
from class_balanced_loss import CB_loss

# 模拟数据
no_of_classes = 5
logits = torch.rand(10, no_of_classes).float()  # 模型输出
labels = torch.randint(0, no_of_classes, size=(10,))  # 真实标签
samples_per_cls = [2, 3, 1, 2, 2]  # 每个类别的样本数量

# 计算类别平衡损失
loss = CB_loss(
    labels=labels,
    logits=logits,
    samples_per_cls=samples_per_cls,
    no_of_classes=no_of_classes,
    loss_type="focal",  # 可选: "focal", "sigmoid", "softmax"
    beta=0.9999,        # 类别平衡超参数
    gamma=2.0           # Focal loss超参数
)
print(f"类别平衡损失值: {loss.item()}")

参数调优指南

beta值：推荐设置为0.9、0.99或0.9999。值越大，对少数类的补偿越强
gamma值：Focal loss的调制参数，推荐范围1-3。值越大，对难分类样本的关注越高
loss_type：根据任务选择：
- 多标签分类：使用"sigmoid"
- 单标签分类：使用"softmax"
- 高度不平衡数据：优先使用"focal"