👾 Все видеокарты теперь работают на PCIe 4.0 x16, однако, это почти не дало скорости ни в prefill ни в decode. Причиной может быть урезанный P2P механизм драйверов для пользовательских (не серверных) видеокарт. Здесь есть обсуждение, это мне еще предстоит опробовать.
Отсюда следует вывод
Для локального инференса на нескольких видеокартах RTX 3090 достаточно PCIe 3.0 x8. Материнских плат на X299 / X399 для домашнего ИИ полностью хватит, а экономия бюджета в 2 раза.
🎩 В этой плате есть 8-ми канальный режим памяти DDR4 (против 4-ех канального на X399) и процессор более нового поколения. И здесь меня больше интересует промышленная фича дизагрегации KV-кэша. По простому: можно выгружать KV в RAM и если будет много объема то это позволит лучше кэшировать запросы, а значит вырастет prefill.