Почему большие модели лучше справляются с редкими задачами

Исследователи из Stanford University предложили простое объяснение того, почему большие языковые модели оказываются умнее маленьких.

Во время обучения модель одновременно усваивает миллионы закономерностей. Часто встречающиеся примеры получают много внимания, а редкие начинают конкурировать за ресурсы. В небольших моделях такие редкие знания просто вытесняются более популярными задачами.

У крупных моделей свободного места больше. Они лучше сохраняют информацию о редких случаях и постепенно учатся тому, что маленькие модели обычно пропускают.

Практический вывод любопытный. Если ваша бизнес-задача встречается редко по меркам интернета, маленькая модель может ошибаться вовсе не из-за нехватки данных. Ей банально не хватает внутренней ёмкости, чтобы удержать такие знания наряду с тысячами других. Поэтому попытка дообучить компактную модель на узкую нишу часто оказывается менее эффективной, чем кажется.