Карпатый выложил GPT в одном Python-файле
⠀
Андрей Карпатый (создатель ChatGPT) опубликовал microgpt.py: минимальную реализацию GPT на чистом Python.
⠀
Внутри нет PyTorch, TensorFlow и готовых слоёв. Импорты всего три: math, random и os. Остальное написано руками: автодифференцирование, обратное распространение ошибки, токенизация, эмбеддинги, multi-head attention, MLP, RMSNorm, Adam, обучение и инференс.
⠀
Главная фраза из комментария в начале файла: «этот файл содержит полный алгоритм. Всё остальное — просто эффективность».
⠀
Комьюнити быстро подхватило идею: у репо уже 5000+ звёзд, тысячи форков и порты на Rust, Go, OCaml, Julia, CUDA и JavaScript. Файл уже переносят на другие языки, чтобы проверить, насколько компактно можно показать тот же механизм вне Python.
⠀
Смысл, конечно, не в том, что так вы обучите свой Claude Opus или, не к ночи будь помянут, Mythos... Это учебная версия, где из системы убрали всю инженерную обвязку и оставили сам механизм.
⠀
Если человек пользовался трансформерами как чёрным ящиком, и понимает в коде, такой файл полезнее очередного туториала. Его можно прочитать сверху вниз и увидеть, где именно появляются градиенты, внимание, потери и генерация.

И чуточку лучше понимать, что за технология так меняет мир.
⠀
—
📎 пост · microgpt.py

🧠🚀✅🐾💬

Подпишись на канал: @human20

Больше практики: на канале @human20
Среда внедрения ИИ: human20.app