Google придумала, как сжать KV-кэш нейросетей в 6 раз 😳

Ребята из Google Research выкатили TurboQuant, инновационную магию для сжатия ИИ-памяти. Алгоритм ужимает прожорливый KV-кэш (рабочую память нейронок при генерации) аж в шесть раз, причем без потери качества ответов. Под капотом крутятся хитрые математические трюки с векторным квантованием (методы PolarQuant и QJL), которые позволяют запихнуть невпихуемое в ограниченный объем оперативки.

Пока что вся эта красота существует только в виде красивых графиков для грядущей конфы ICLR 2026. Корпорация, конечно, в первую очередь планирует экономить миллиарды на собственных дата-центрах, а до простых юзеров технология докатится не сразу. Но сама тенденция не может не радовать, вместо того чтобы тупо наращивать железо, разрабы наконец-то начали жестко оптимизировать код.

🥸 Новости IT: 📱 Telegram | 📱 ВК | 📲 MAX