💥 Google може серйозно здешевити LLM — але є важливий нюанс

Google Research представила TurboQuant — алгоритм стиснення, який у їхніх тестах зменшує пам’ять для KV-cache щонайменше у 6 разів і дає до 8x прискорення attention на Nvidia H100 без помітної втрати точності. Саму роботу Google подала на ICLR 2026. ([research.google][1])

Якщо дуже просто: під час довгих діалогів модель тримає в пам’яті не “весь чат цілком”, а спеціальний кеш контексту — key-value cache, який і є одним із головних вузьких місць по пам’яті та вартості інференсу. TurboQuant стискає саме цю частину, а не “всю нейромережу магічно одразу”. ([OpenReview][2])

Найцікавіше тут не сама математика, а наслідки для ринку:
якщо такі підходи нормально доїдуть до продакшну, довгі контексти стануть дешевшими, локальний запуск великих моделей — реальнішим, а вимоги до пам’яті для частини AI-навантажень — нижчими. Це не “кінець ери заліза”, але точно удар по тезі, що AI можна масштабувати лише через нескінченне нарощування пам’яті. ([research.google][1])

Ринок, до речі, вже смикнувся: після анонсу TurboQuant просіли акції компаній, пов’язаних із пам’яттю та накопичувачами, зокрема Micron, Sandisk, Western Digital, Seagate, а також азійських виробників пам’яті. Але аналітики вже охолоджують паніку: TurboQuant б’є по вузькому сегменту memory overhead, а не скасовує попит на AI-інфраструктуру загалом. ([The Wall Street Journal][3])

Тобто висновок такий:
бульбашку ШІ Google не лопнула, але дуже голосно нагадала ринку одну неприємну річ — іноді прогрес у AI робиться не новими дата-центрами, а тим, що хтось просто знаходить спосіб витискати з уже наявного заліза набагато більше. І ось тут у багатьох інвесторів починається легка алергія на слово “ефективність”. ([research.google][1])

#Google #AI #LLM #TurboQuant #MachineLearning #Nvidia #Semiconductors #AInews

[1]: https://research.google/blog/turboquant-redefining-ai-efficiency-with-extreme-compression/?utm_source=chatgpt.com "TurboQuant: Redefining AI efficiency with extreme ..."
[2]: https://openreview.net/forum?id=tO3ASKZlok&utm_source=chatgpt.com "Online Vector Quantization with Near-optimal Distortion Rate"
[3]: https://www.wsj.com/livecoverage/stock-market-today-dow-sp-500-nasdaq-03-26-2026/card/micron-other-chip-stocks-slump-after-google-unveils-new-memory-technology-e9AcL0KjBrvR0tL8D34J?utm_source=chatgpt.com "Micron Stock Slumps After Google Unveils New Technology"