🚀 Google придумала TurboQuant - способ сильно сжимать память в больших ИИ-моделях без потерь

Представьте: большие языковые модели (типа тех, что отвечают на вопросы и пишут тексты) требуют очень много памяти, особенно когда разговор длинный. Каждый раз модель сохраняет в специальном «кэше» (KV-cache) важную информацию о предыдущих словах. Этот кэш быстро разрастается и становится бутылочным горлышком.

Google Research нашла крутое решение - TurboQuant

🤬Что получилось:
- Сжимает каждый элемент KV-кэша до всего 3 бит (вместо привычных 16 или 32).
- Памяти на кэш уходит минимум в 6 раз меньше.
- При этом качество модели не падает вообще - ни на йоту. Никакого дообучения не нужно.
- На GPU H100 4-битная версия TurboQuant ускоряет вычисление attention logits до 8 раз по сравнению с обычной 32-битной версией.

Тестировали на открытых моделях Gemma и Mistral. В длинных контекстах (тесты Needle-in-a-Haystack, LongBench и другие) модель находит нужную информацию идеально, даже когда текст огромный.

👥 Как это работает (простыми словами):
TurboQuant использует два умных трюка:

1. PolarQuant - сначала случайно «крутит» векторы, а потом переводит их из обычных координат в полярные (как радиус и угол). Благодаря этому сжимать данные становится намного проще и точнее.

2. QJL (Quantized Johnson-Lindenstrauss) - добавляет крошечную 1-битовую «поправку», которая убирает мелкие скрытые ошибки. В итоге внимание в модели считается почти так же точно, как и без сжатия.

Круто то, что это работает не только для чат-ботов, но и для векторного поиска (когда ИИ ищет похожие смыслы в миллиардах текстов). Там TurboQuant тоже даёт лучший результат при меньшей памяти и быстрее строит индексы.

В общем, это большой шаг к тому, чтобы мощные ИИ-модели можно было запускать дешевле, быстрее и даже на устройствах послабее.

🔗 Почитать подробно