Сделай сам: мини-курс по обучению ИИ с нуля
Лучший способ разобраться, как что-то работает — попробовать сделать это самому. С языковыми моделями это тоже работает.

🔜 На github выложили мини-курс, где автор предлагает собрать GPT своими руками, чтобы понять, как устроены современные LLM внутри. Идея проекта в том, что вместо использования готовых библиотек вроде Hugging Face или LangChain написать почти все основные части модели самостоятельно. Для успешного прохождения понадобится только знание Python — опыт работы с ИИ и машинным обучением не обязателен.

Курс состоит из шести уроков, за время которых вы напишете токенизатор, познакомьтесь с трансформерной архитектурой, выстроите цикл обучения и в конце концов получите модель, которая пишет стихи почти как Шекспир.