Ого, Google выкатили TurboQuant — и это может перевернуть индустрию!

Новый алгоритм сжимает LLM, уменьшая память под KV-cache минимум в 6 раз и ускоряя инференс до 8 раз. При этом в тестах заявляют, что нет потери в точности. Проще говоря: то, что раньше требовало серьёзных ресурсов, теперь можно запускать локально.

Что это меняет:
— Тяжёлые модели начинают помещаться в обычные устройства вроде Mac Mini;
— Появляется шанс запускать нормальный ИИ прямо на телефоне;
— Скорость растёт, стоимость падает;

Google опять рвет рынок 💪