Новый рекорд: маленькая лаба обучила NanoGPT до целевого качества за 39.9 сек на 8 GPU H100

Речь о новом рекорде в соревновании NanoGPT Speedrun, который установила
небольшая лаборатория Hyperstition.

Вообще исходный результат у Андрея Карпатый на этой задаче был около 45 минут. Потом сообщество десятки раз ускоряло обучение, а сейчас дошли до 39.9 секунды.

В блоге Hyperstition пишут, что такой скачок дали новые методы обучения, а не новые данные и новые чипы.​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​

Если посмотреть блог этой лабы, то там есть и другие любопытные работы.