Пару недель назад Андрей Карпаты написал скрипт MicroGPT — полноценную языковую модель с нуля на чистом Python, без единой внешней зависимости или библиотеки. В 200 строк уместился весь алгоритм, на котором работают большие модели вроде ChatGPT.

Разработчик GrowingSWE сделал из этого скрипта потрясающий интерактивный лонгрид. Он разобрал код по кусочкам и визуализировал каждый шаг прямо в браузере.

Каждый шаг алгоритма разобран и визуализирован прямо в браузере. Вы можете руками:

— Подвигать ползунки логитов и посмотреть, как Softmax превращает их в вероятности.

— Пройти по шагам backpropagation и увидеть, как модель понимает, куда крутить веса.

— Изучить матрицу Attention: как разные «головы» учатся обращать внимание на разные части слова.
​
Разница между этим скриптом и ChatGPT — только в масштабах (вместо триллионов токенов тут имена, а вместо сотен слоёв — парочка). Базовый цикл абсолютно тот же.

Интерактивный разбор: https://growingswe.com/blog/microgpt

@prog_stuff