Вот и другой тест GPT-5.6 Sol Ultra: вайбкодинг своей языковой модели. 🚬

Pietro Schirano всего по одному промпту с помощью GPT-5.6 собрал полный пайплайн обучения и с нуля обучил модель на истории своих сообщений в iMessage. В результате модель научилась генерировать ответы в его стиле письма.

Получился decoder-only Transformer с 1,38 млн параметров и 4 слоями, обученный на 8 млн токенов.
Модель использует собственный BPE-токенизатор со словарем на 4 тысячи токенов и имеет контекстное окно размером 256 токенов. Она достаточно компактна, чтобы обучать и запускать ее локально на Mac.

Кроме того, он опубликовал пошаговое руководство, которое показывает, как обучить собственную небольшую модель на Mac, используя историю сообщений из iMessage.

Кстати, весь процесс занял около 30 минут.