Лаборатория Университета Цинхуа выложила на GitHub проект, который заменяет стойку с H100 стоимостью $400 000 одной видеокартой с 24 ГБ памяти.

Он называется ktransformers, а идея почти до смешного проста: эксперты, которые реально используются, остаются на GPU, а остальные находятся на CPU до тех пор, пока не понадобятся.

/ DeepSeek-V3 и R1 с контекстом 139K на 24 ГБ VRAM
/ ускорение до 28 раз по сравнению со стандартной конфигурацией
/ дообучение DeepSeek-V3 на четырёх RTX 4090 вместо дата-центра
/ проект создан лабораторией MADSys Университета Цинхуа, а не стартапом с лендингом

Лицензия Apache 2.0, а на GitHub уже больше 17 000 звёзд.

→ http://github.com/kvcache-ai/ktransformers

👉 @PythonPortal