Как разобраться в трансформерах

Я писал, что я DS общего профиля и в нейронках крутым специалистом не являюсь. Честно сказать, периодически переживаю по этому поводу: на каждом шагу говорят о Chat-GPT, телеграм каналы пестрят разборами свежих архитектур, коллеги вокруг обучают с нуля сложные модели и так далее. А я нахожусь как бы вне этого тренда.

Поэтому какую-то часть свободного времени я трачу на прокачку скиллов. И хочу с вами поделиться своим рецептом, как реально разобраться в GPT-like моделях. Реально разобраться - это чтобы ощущение магии ✨ происходящего было ограничено разумными пределами. Нужно, чтобы у вас за плечами был базовый курс машинного обучения.

На мой взгляд, самый эффективный способ, чтобы в разобраться в ML - это написать какое-то количество внутреннего кода самому. Не самый простой пусть, скажете вы 🤨. Но просто слушая лекции и вызывая fit-predict, разобраться еще сложнее.

У ШАДа есть отличный публичный курс по NLP от Елены Войты. Там много всего интересного, но есть неделя про трансформеры, которую можно пройти отдельно от всего остального.

➡Что я предлагаю

- Сперва читаете учебник. Именно учебник, а не лекцию, т.к. только в нем подробно с примерами разбираются ключевые компоненты трансформеров
- Затем решаете семинар, держа учебник "на коленках"
- Ну и в завершение домашка на дообучение модели

В семинаре нас сперва немного обучают применять готовые модели, а затем предлагают самим написать GPT-2! С нуля это было бы очень сложно, но заботливые авторы написали часть кода за нас и добавили тесты. А нам нужно дописать сутевые части. Далее в написанный нами GPT-2 подгрузятся предобученные веса и мы сможем погенерить этой моделью текст.

Работает GPT-2, конечно, не так круто, как GPT-4, но все равно вам понравится =)

А для тех, кто хочет изучить базовые нейросети, у меня есть рекомендация похожей ШАДовской домашки, где нужно написать сверточную сеть без использования готовых слоев. Домашки нет в свежих версиях курса, но она осталась в архивных ветках. Напишите в комментариях, если интересно =)

upd: Написал про другую крутую домашку в комментариях

#tech