Knowledge Accumulator

Сила в простоте

Я думаю, что если предлагаемая система (алгоритм, что угодно) в разы "сложнее" бейзлайна, и она даёт небольшой прирост по метрикам, то такой работе не уготовано место в истории. Это может иметь смысл, когда вы хотите выжать любыми способами максимум здесь и сейчас, как это бывает в проде, но в рамках технологического прогресса это не так.

Что я имею ввиду под "сложностью"?
Прежде всего, это количество составных частей в основе системы и их используемость по отдельности.

Из используемости компоненты следует выработанная интуиция и понимание, как и когда данная компонента работает, что от неё ожидать в различных ситуациях. Также если компоненту используют, то, скорее всего, для неё есть отточенный код/инструменты. А от количества этих компонент зависит возможность дебага, анализа системы и её воспроизведения.

На мой взгляд, время сметает монстров, а системы из простых компонент, собранных правильным образом, совершают прорывы и сами по себе становятся новыми простыми компонентами. Так и работает прогресс.

Прекрасный положительный пример - это self-attention (на картинке).

Прекрасный отрицательный пример будет в завтрашней статье по кодогенерации.

Deepmind AlphaCode - конкурент OpenAI Codex, который работает примерно так:

Сначала языковую модель претрейнят на всём GitHub.

Для файнтюна используется собственный датасет с задачками и решениями. В нём есть ещё и мета-информация (например, тег задачи), которая используется только при файнтюне.
В файнтюне есть ещё пара инкрементальных хаков, я это опущу.

Сэмплирование программы гораздо хитрее:
- Генерируется куча (до 10^6) программ, фильтруются по образцам из условия
- Отдельная модель генерирует тестовые данные для задачи (корректность не важна), и по выходам на этих данных программы кластеризуют.
- Представители кластеров отправляются на тестирование.

В результате при строгом ограничении на кол-во итоговых программ модель сильно обходит Codex (думаю, благодаря хитрому этапу генерации), но потолок сложности задач, которые система может решать, такой же невысокий, как у Codex.

Также для хайпа модель отправили на Codeforces и она там нарешала на медианный рейтинг.

Я хотел сгенерировать аватарку для своего канала в Stable Diffusion, но что-то пошло не так.

Начнём с первой работы, применяющей большие языковые модели в программировании - OpenAI Codex. В основе GitHub Copilot лежит именно эта модель.

Концептуально система работает так:
1) Обучение - языковая модель GPT файнтюнится на генерацию кода, датасет для этого состоит из пар (docstring, code), взятых из питоновских файлов с кодом на гитхабе.
2) Генерация - Codex генерирует много сэмплов программ (до 1000), которые затем фильтруются по "публичным" тестам (образцам из условия задачи), и выбирается топ программ по среднему логарифму вероятности токена.

Если модель дотюнить на вручную сделанном датасете из пар (docstring, code), то получается модель Codex-S, которая работает ещё немного лучше.

В результате система значительно обходит чистую GPT на датасете с задачками APPS. До superhuman-производительности в этой сфере ещё очень далеко, по причинам, которые мы позднее обсудим. Оставайтесь с нами, чтобы узнать, что было после Codex!

В последнее время мой взгляд был сфокусирован на области генерации кода. Я изучил ряд статей на эту тему и сформировал представление о текущей ситуации в сфере. В ближайшее время напишу сюда о прочитанных статьях то, что, по моему мнению, нужно из этих статей отложить у себя в голове (часто опуская много деталей).

Дорогой читатель, приветствую тебя на моём канале!

Вкратце обо мне: я (@Fritx) работаю в Яндексе Senior ML-инженером.
Обучаю и внедряю в прод в разные сервисы трансформерные модели для рекомендаций.

В свободное время я пытаюсь совершенствовать свои знания, и здесь буду излагать самое важное из того, что я прочитал.

Статьи, про которые я пишу, обычно идут группами по темам, в порядке своего концептуального развития.

Приятного чтения!

Channel created