📱 Лекция Андрея Карпаты «Как создать GPT-2»

Недавно уволившийся из OpenAI Андрей Карпаты выпустил новый YouTube-блокбастер. На протяжении 4 часов разработчик рассказывает, как можно создать модель GPT-2 с нуля. Меньше чем за неделю видео собрало 200 000 просмотров, а в комментариях AI-энтузиасты благодарят Андрея за проделанную работу и просят еще больше лекций.

Уровень сложности: ⭐️⭐️⭐️⭐️⭐️

Кому будет интересно. ИТ-специалистам и интересующимся AI, с начальным уровнем образования в области глубокого обучения, знание Python — обязательно к изучению. Также можно сначала посмотреть предыдущие лекции Карпаты, в которых он постепенно рассказывает об устройстве больших языковых моделей (LLM).

В чем ценность лекции. Это один из самых подробных мастер-классов, выложенных бесплатно в сети, кроме того, его автор входит в команду создателей ChatGPT и является одним из самых крутых AI-разработчиков в мире.

🕹 О чем лекция

Андрей Карпаты на глазах у своих зрителей создает модель GPT-2, буквально начиная с пустого файла. Шаг за шагом разработчик создает LLM, подробно рассказывая об архитектуре и оптимизации кода. Карпаты отдельно останавливается на том, как нужно правильно настроить модель для быстрого обучения и оптимизировать сам процесс обучения и гиперпараметры. Задача разработчика, по словам Андрея, настроить модель так, чтобы можно было поставить ее на обучение перед сном, а проснуться уже с готовой GPT-2. Что он и делает в своем видео 🆒

Почему GPT-2:

⚫️С этой модели началась новая веха в истории LLM.
⚫️Создание и обучение этой модели потянет домашнее «железо».
⚫️Она очень похожа на современную Llama, что дает AI-энтузиастам возможность получить актуальные знания, хоть и на примере устаревшей модели.

Таймкод лекции:

➡️ Как устроена GPT-2.
➡️ Оптимизация процесса обучения.
➡️ Гиперпараметры.
➡️ Результаты обучения.

Также рекомендуем посмотреть следующие лекции Андрея Карпаты:

✅ О том, что такое большие языковые модели
✅ Что такое токены в LLM

#mustsee @hiaimedia