Смотрю потихоньку перезапуск стенфордского курса CS336: Language Models From Scratch.
Первая лекция обзорная (тык), можно посмотреть всем для расширения кругозора. Рассказывают про то, какие компоненты есть у моделей, как они обучаются, что такое токенизатор и т.д. Голос у лектора, кстати, разборчивый, можно нормально слушать.
Дальше идут более интересные вещи про архитектуру, кернелы, параллелизм, инференс, данные и другие штуки.
Есть домашние задания. Опять же, первая домашка базовая, про обучение токенизатора, написание и обучение трансформера на PyTorch, много полезного теоретического материала дают по ходу.
Если задания выполнять без кодовых агентов, то можно
Пару лекций посмотрел, пока норм. Тем, кто вкатывается в ML, рекомендую.
👉 Лекции | Домашки
