TGViewer
EdTech, AI и HighLoad | Блог AK из Школково EdTech, AI и HighLoad | Блог AK из Школково @ak_segfault · 2.85K subscribers
Post #347 4.03K
🎮 Самый неоднозначный девайс NVIDIA

Брал я тут в марте 7шт. DGX Spark.
Очень хотелось попробовать этот девайс давно - ещё со старта хотел его купить. Но появляться по вменяемым ценам они начали только сейчас.

NVIDIA обещала крутую производительность в FP4.

Но что мы имеем по факту?
1. Очень медленную unified memory LPDDR5x.
2. Коробки очень горячие и уходят в троттлинг. Temperature cap стоит где-то на 70C.
3. DGX Spark инференсит Qwen3.6-35B-A3B в NVFP4 со спекулятивным декодингом DFlash со скоростью 100-200 tok/s. на оптимизированном VLLM с кастомными ядрами под GB10.

Соответственно ШЕСТЬ DGX Spark в реальности у меня дают 700-1500 tok/s.
Для сравнения - ОДИН GPU RTX Pro 6000 Blackwell Workstation даёт 1000-1200 tok/s.
Нагрузка 1-в-1 одинаковая.

Простая математика
RTX Pro 6000 Blackwell стоит примерно 1-1.1M руб.
DGX Spark стоит ~500к руб.

6x DGX Spark = 3M руб. и это в лучшем случае 1500 tok/s, но 768GB памяти на скорости 273 GB/s.
Рабочая станция с 2x RTX Pro 6000 Blackwell - те же 3M руб.(дада, можно и дешевле) и 2200 tok/s, а это всего лишь 192GB VRAM на скорости 1792 GB/s.

И это я ещё не говорю про то, как в реальности работают все эти кольца из 200Gbit/s линков между тремя спарками. Спойлер: плохо.

Выводы
DGX Spark проигрывают примерно везде и по всем фронтам. Обещания NVIDIA - пустой маркетинг.
Коробки вообще никому не рекомендую даже для экспериментов, даже с QLoRa. Для трейна не годится. Для инференса - тоже.
Лучше за те же деньги собрать ПК с игровой видеокартой.

Единственное годное применение - тихий локальный AI-ассистент для дома. Вот только вопрос - сколько он прослужит с такими рабочими температурами.
Telegram Daily AK | Личный блог Во-первых, это красиво.
  • ❤ 16
  • 🔥 8
  • 👍 2
More from @ak_segfault
  1. Sep 26, 2026Обещал рассказать про обучение LLM с нуля. Итак, что же я делаю. Обучаю с нуля свою языков…
  2. Sep 24, 2026😋Очередной AI-хайп — на этот раз вокруг Jev от TypeSafe AI. И судя по некоторым постам, ч…
  3. Sep 2, 2026🤷‍♂️ Qwen3.8-Flash-Next не оправдал мои надежды. Есть у нас вымученный датасет с 89 таска…
  4. Aug 28, 2026На злобу дня, так сказать. Кто-то может не знает, но я не только языковыми моделями занима…
  5. Aug 26, 2026🔥Как зарабатывать 5 миллионов в месяц на IT и быть счастливым? Вышел мой подкаст с генера…
  6. Aug 26, 2026Оп-паа. Что это тут у нас? Qwen/Qwen3.8-Flash-Next 125B A6B, 512 экспертов(10 routed + 1 s…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →