Pied Piper существует: Google сломал рынок памяти 🗜

Google только что воплотил в реальность алгоритм из сериала «Кремниевая долина». Инвесторы в панике — акции производителей чипов (Micron, Samsung) уже полетели в пропасть.

Что произошло? Google Research выкатили TurboQuant — алгоритм экстремального сжатия «кратковременной памяти» ИИ-моделей, который решает главную боль инференса (KV-cache bottleneck).

Ключевые факты из пейпера:

→ Сжимает KV-кеш до 3 бит (потребление RAM падает в 6+ раз)
→ Ускоряет вычисление внимания до 8 раз на Nvidia H100
→ Не требует дообучения моделей
→ И главное: zero accuracy loss. Точность не падает вообще.

Почему это важно: инференс тяжелых моделей с длинным контекстом становится кратно дешевле. Если алгоритм пойдет в массы, вам больше не придется скупать вагоны RAM, чтобы просто запустить адекватную LLM.

#AI #LLM #highload

ИСТОЧНИКИ:

Google Research Blog