Google представил TurboQuant — алгоритм сжатия, который уменьшает потребление памяти в больших языковых моделях.

Акции производители памяти припали: SanDisk −5.7%, Micron −3%, Western Digital −4.7%, Seagate −4%.

Что такое TurboQuant?

TurboQuant сжимает KV-кэш — временную память, в которой LLM хранит контекст разговора — до 3 бит без потери точности. Это даёт 6-кратное уменьшение размера памяти и до 8-кратное ускорение на GPU H100. KV-кэш — главное узкое место при инференсе: чем длиннее контекст, тем больше памяти нужно.

Меньше памяти нужно моделям → меньше чипов покупают Micron, Samsung, SK Hynix. Cloudflare CEO Matthew Prince назвал это «DeepSeek-моментом Google» — по аналогии с тем, как DeepSeek показал, что можно делать мощные модели дешевле.

@gostev_future