https://www.nvidia.com/en-us/products/workstations/dgx-spark/
Сейчас в мире домашнего запуска ЛЛМ происходит забавная драма.

Nvidia около года назад анонсировала свой Project Digits - железка, которая строится на "революционном G10 чипе", имеющая 1Tflops и 128 гигов unified памяти(Т.е. её может использовать как CPU, так и GPU). И это офигенное на бумаге предложение, так как видеопамять сейчас стоит не просто дорого, а архидорого.

Но потом начинается веселье:
Сначала обнаруживается, что эта память - LPDDR5. Т.е. та, которую вы можете просто купить в любом магазине. Даже не быстрая GDDR6 или выше, которая ставится, к примеру, в игровые консоли и видеокарты. Это первый звоночек, так как скорость работы с памятью архиважна для работы с ЛЛМками

Второе веселье обнаружилось позже. Нвидиа имеет 2 варианта своего апи - для домашних пользователей и для серверов. Т.е. если вы ставите драйвера для дома, то вы получаете преимущество в играх, всяких видеоредакторах и всём таком. Для серверов же ситуация обратная - очень быстрый компью и поддержка всяких нативных fp4 вычислений.
И вот у "Digits" поддержка апи именно для домашних пользователей. И все высокопроизводительные вычисления идут в пень. Отличный способ не каннибализировать продажи собственных видеокарт за десятки тысяч долларов!

Третье: цена поделки от Nvidia - 4к баксов. Цена же mac studio m4 max на 128гб ОЗУ - 3.5к баксов. А по тестам слив идёт даже по сравнению с M1 Max 4летней давности(См. тесты. Фото 2)

Итог: полный слив на фоне решений от эпла, которые и стоят дешевле, и содержит не только видюху но и норм проц. Полный провал со стороны PR у нвидии.

P.S. Да, возможно в обучении нейронок и всего такого спарк и лучше, но пока что в моём пузыре людей, которые просто запускают нейронки куда больше, чем тех кто тренирует.