UltraBERT: один энкодер сразу для классификации и поиска

📋 Исследователи DMIS Lab на этой неделе выпустили UltraBERT, - семейство энкодеров на 150M и 380M параметров с нативным контекстом 32K токенов. Это первый энкодер, который лидирует сразу в двух бенчмарках: 91.0 на GLUE и 47.7 на BEIR.

💡 Раньше ни одна модель не была лучшей одновременно в классификации и поиске. Авторы прогнали абляции на 70 триллионах токенов и нашли причину: низкая доля маскирования (5%) делает сильнее классификатор, высокая (50%) - поисковик, а их смешивание в одной голове даёт компромисс.
Бонусом выяснили, что энкодеры, в отличие от декодеров, насыщаются: качество выходит на плато уже после 1-2 триллионов токенов.

💼 Рецепт UltraBERT - раздельные LM-головы: в каждом батче смешаны последовательности с 5% и 50% маскирования в пропорции 4:1, и у каждой доли своя голова при общем теле.
Бэкбоны отпилены от крупной учительской модели и дистиллированы. Отдельно вышла UltraBERT-Embed-150M - лучшая модель эмбеддингов до 200M параметров: 67.24 на MTEB по английскому и 73.30 по коду, с контекстом 32K и без дистилляции из более крупного эмбеддера.

📎 Блог Hugging Face

#NLP #BERT #эмбеддинги
———
@tsingular