OpenAI выпустили блогпост, посвященный анализу наиболее интересных посылок из Parameter Golf 🏌️ соревнования.

Напомню, что целью соревнования было получить минимальный валидационный лосс на Fineweb, при этом укладываясь в лимит 10 минут на обучение на 8x H100 и размер артефакта (модель + код) 16 Mb.

Отметили следующие решения:
• В одной посылке затюнили инициализацию мюона, weight_decay как-то по умному
• Еще были посылки, использующие интересные вариации GPTQ на post-training квантизации
• В одной посылке накрутили test-time LoRA training
• Были еще идеи с креативными токенизаторами
• Эффективный attention
• Что-то про gating и хэширование
• Рекуррентные (повторяющиеся) слои

А еще были сабмиты, которые не выбили сильный скор, но завоевали приз зрительских симпатий.

В одном из них накрутили state-space модели и JEPA 🤩.