Разработчик Райан Чжоу опубликовал конфигурацию для запуска
DeepSeek-V4-Flash-0731 на одном ускорителе AMD MI300X.Веса занимают 156,67 ГиБ из 192 ГБ HBM3. Без дополнительного квантования и выгрузки весов в оперативную память автор получил 168,6 токена в секунду в одном потоке и 542 токена в секунду суммарно при восьми одновременных запросах. Контекст в 256K проверен на практике.
Секрет не только в объёме памяти MI300X. В репозитории есть патчи для AMD FP8 FNUZ, MoE-маршрутизации, speculative verification и гибридного KV-кэша: 20 ГБ на GPU плюс 96 ГиБ в RAM.
Цифры опубликованы автором сборки и пока не являются независимым бенчмарком. Кроме того, потребуется около 235 ГиБ системной памяти, 500 ГБ диска и несколько патчей, ещё не попавших в upstream.
Тем не менее это один из самых наглядных рецептов запуска огромной MoE-модели без стойки NVIDIA GPU.
Конфигурация, патчи и таблица результатов
#deepseek #amd #mi300x #llm #opensource