111101111011110, GPT, прием! 👀
Есть любители математики? Для вас контент подъехал!

Андрей Карпатый, ныне разработчик в OреոΑӏ, а в прошлом директор по ИИ в Tesla, выложил в своем твиттере препримечательную заметку про малюсенькую модель GPT, которая использует всего два токена: 0/1.

Что имеем?
🔵 Секвенцию 111101111011110
🔵 50 итераций
🔵 Длина контекста: 3
🔵 PyTorch

Рассмотрев GPT как цепь Маркова с конечным числом состояний, Андрей пришел к ряду выводов, с которыми пригласил познакомиться всех любознательных. По его мнению, исследуя такие маленькие модели, можно лучше представить себе, как ИИ функционирует в динамике.