📍 Как справляться с дисбалансом классов в небольшой целевой выборке при использовании transfer learning

Дисбаланс классов часто становится проблемой, особенно если маленький датасет значительно перекошен по классам. В transfer learning эта ситуация усугубляется, так как предобученная модель могла учиться на более сбалансированных данных (например, ImageNet).

✅ Методы решения

🔎 Сэмплинг: увеличивать количество примеров меньшинства (oversampling) или уменьшать большинства (undersampling). Важно дополнять oversampling аугментацией, чтобы избежать переобучения.

🔎 Взвешенные функции потерь: например, указывать вес классов в cross-entropy обратно пропорционально их частоте.

🔎 Тонкая настройка слоёв: иногда стоит дообучать не только “голову”, но и более глубокие слои, чтобы сеть лучше подстроилась под редкие классы.

🔎 Focal loss: акцентирует внимание на сложных примерах и помогает усилить сигнал от меньшинства.

🐸 Библиотека собеса по Data Science