It's alive
Наконец-то дособрал свой AI-сервер — и он реально работает.

Как водится, всё пошло не по плану. Купленная изначально майнинговая материнка так и не запустилась ни с MI50, ни с RTX 3070. Пришлось срочно брать замену — в итоге остановился на MACHINIST X99 MR9S.

Неожиданно удачный вариант: спокойно завелась с 4× MI50 и 256 ГБ RAM. Одна из самых дешёвых X99-плат с 8 слотами под память. Минус — однопроцессорная, второй Xeon пока лежит без дела, но по скорости одного хватает.

По GPU:
- 3 карты в слотах
- 1 через PCI-E x1 райзер

Итого: X16–X16–X4–X1. Не идеально, но для старта нормально. Позже попробую сравнить влияние на инференс.

Пришлось заменить и корпус — и это скорее плюс. Майнинговые корпуса выглядят так себе, а нормальный ATX сильно упрощает жизнь при сборке с несколькими GPU. Взял Deepcool CH780.

По температурам всё ок: максимум, что видел — 70 °C на карте, зажатой между соседними, при неполных оборотах вентиляторов.
Ещё перепечатал кожухи охлаждения и заменил вентиляторы, чтобы MI50 гарантированно укладывались в два слота.

Результат: GPT-OSS-120B, Qwen-3-Coder-Next (80B) работают без проблем, скорость 20–30 токенов/с — комфортно для чата. Для агентов маловато, но сам факт запуска таких моделей дома уже радует.

Софт:
- Ubuntu 24.04
- пока LM Studio + Vulkan
- ROCm завёлся только версии 6.4.4, но LM Studio держит whitelist по GPU
В планах пробовать завести ROCm с llama.cpp или vLLM.

У MI50, кстати, есть живое комьюнити, которое продолжает допиливать софт. Несмотря на возраст, железо всё ещё вполне боевое.

А вы как проводите выходные?