gzip как языковая модель: генерация текста без нейросетей

Натан собрал GziPT — генератор текста, где вместо весов работает обычный zlib. Он подмешивает корпус Шекспира в окно сжатия и ищет продолжение, которое жмётся лучше всех.

Это наглядная иллюстрация равенства сжатия и предсказания: -log2(p) бит на символ. Любой компрессор внутри себя хранит вероятностную модель, даже если её никто не писал.

Подвох в том, что gzip выдаёт только целую длину в байтах, и кандидаты часто дают ничью. Спасает лучевой поиск на несколько байт вперёд плюс обрезка истории, иначе текст зацикливается.

🔗 Подробнее

@nuancesprog #AI #Python