OpenAI утверждает что уперлись в потолок скейлинга моделей. Почти весь осмысленный контент созданный человечеством уже есть в треине, а добавление менее осмысленного контента - портит метрики.

Однако конец скейлинга по данным не значит конец развития ИИ - все еще можно придумывать новые архитектуры, генеритть синтетические данные или разрабатывать новые методы обучения.

Об одном таком, позволяющим учить модель на некачественных данных сейчас и расскажу

OpenChat (эх, помню их модель была ~сотой в начале года)

Предположим у нас есть датасет содержащий вопросы и ответы на них экспертом и человеком с ответов меил ру (или например синт от gpt-4 и 3.5, качественные и не качественные данные) и мы хотели бы использовать при обучении и хорошие, и плохие данные. При этом просто перемешать их в датасете не выйдет - плохие данные просто просадят метрики из за низкого качества

Ребята из openchat предложили 2 основные идеи:

- Уменьшать лосс по плохим генерациям с некоторомы кофф alpha < 1
- Добавить в template промпта инфу о том, этот семпл из хорошей или не очень выборки, как на картинке к посту. Это может быть спец токен или просто текст, и так и так работает.
Так мы научим модели обоим данным, а на инференсе будем использовать темплейт с GPT-4, и LLM будет генерировать тоже более качественные ответы.

Тут важно понимать отличие от например DPO, в нем мы максимизируем вероятность правильного ответа, и минимизируем неправильного, тут же мы хотим учить и по тем и по тем данные, но ко вторым модели нужно относиться "с осторожностью"