Стоки производителей RAM слегка корректируются...
Максимальные падения были за сутки:
Sandisk (SNDK) −6.5%
Western Digital (WDC) −4.7%
Seagate (STX) −5.6%
Micron (MU) −4%, при этом уже падал −14% за неделю до этого
На фоне тех иксов которые стоки сделали за последние пару лет это мелочи, но если вам всё же интересно что же случилось: Google выкатил TurboQuant — алгоритм сжатия KV-кеша в 6 раз без потери точности. 8x ускорение на H100. 3 бита вместо 32🤓
Что это значит практически: модель, которой раньше нужно было 8 H100 для 1M токенов контекста ((потенциально)) влезает на 2. Это если верить экстраполяции, production-данных нет)
Тестировали только на 8B моделях на данный момент) Работает ли на 70B+ неизвестно. 8x ускорение — только для одного куска исполнения, не весь инференс так ускоряется если что.
Вообще, статья по этой математике лежала год на arXiv. Всем было пох, и вот Google публикует блогпост на research google — и акции реагируют..
https://research.google/blog/turboquant-redefining-ai-efficiency-with-extreme-compression/