Андрей Карпаты выложил 4-часовое видео о том, как воспроизвести GPT-2 с нуля на Python

4 часа??? Да, видео начинается с пустого файла, и вы своими глазами видите, как из него рождается LLM, при этом Андрей подробно объясняет каждый шаг (вот у кого точно выходные прошли продуктивно).

В комплекте не только написание самой архитектуры, но и оптимизация кода, и настройка гиперпараметров, и оценка метрик. Ну вы поняли, маствотч.

Кстати, Карпаты – вообще большой любитель образовательного контента. Вот другие лекции и имплементации от ученого:

➡️ Лекция «Введение в большие языковые модели»
➡️ Код GPT-2 на чистом C
➡️ Большая лекция про токенизацию в LLM и реализация BPE с нуля
➡️ Лекция про обучение ChatGPT
➡️ Лекция-интервью про будущее ИИ