OpenAI запустили большое ML-соревнование

Если кратко, это code golf эпохи LLM: нужно обучить минимальную модель, которая лучше всего предсказывает текст на FineWeb (это просто очищенные веб-страницы).

Метрика – bits per byte. Это, по сути, та же энтропия, а по факту – количество информации, которое нужно модели для предсказания текста. Если модель хорошая, она уверена в правильном ответе и тратит на него мало бит, если плохая – наоборот.

Самое интересное, что модель должна укладываться в 16МВ и 10 минут обучения на 8 × H100 GPU, так что вывезти на компьюте не получится.

Зато нет ограничений на архитектуру, количество слоев, всякие трюки с test-time, токенизатор и тд. Тут полет инженерной фантазии, и OpenAI прямо говорят, что ожидают от участников изобретательности.

Для участников стартап выделяет миллион долларов на компьют, гранты можно запрашивать поэтапно. Говорят, что авторов лучших решений пригласят на работу.

https://openai.com/index/parameter-golf/