Разбирался в текущих железках NVIDIA

Моя текущая роль предполагает отвечать на вопросы в духе "а какое железо и в каком количестве нам реально нужно" 🧐

На выходных я решил почитать сайт NVIDIA и получше разобраться в каком виде продаются карты. И обнаружил, что их сайт откровенно вводит людей в заблуждение. Абсолютно все у них называется платформой (неважно что это на самом деле 😐), а некоторые продукты (например DGX B300 NVL8, или все H200) скрыты из основных каталогов. Потребовалось посидеть с клодом несколько часов, чтобы понять что к чему

💎 Не вдаваясь глубоко в детали

• Есть отдельные серверные карты RTX 6000 PRO и 4500 PRO. У них много памяти, но они не поддерживают NVLink и поставляются только PCIe. Подходят для инференса

• Карты поколения Blackwell B200/300 идут в серверах по 8 карт или в стойках по 72. У них нет PCIe версий, а есть только т.н. SXM версия на специальной плате со встроенными NVLink. В таких серверах могут быть процы от NVIDIA (Grace CPU, например в DGX GB300 NVL8), они ускоряют обмен RAM <-> память GPU

• H100/200, карты прошлого поколения Hopper, можно купить в версиях с PCIe. Поэтому бывают сервера, например, на 4 карты. NVLink подключается отдельно и соединяет карты напрямую друг с другом (не через плату как в SXM)

• NVIDIA делает железо в двух версиях. Первая - это полностью готовые сервера, которые идут под брендом DGX. Вторая - условно запчасти в виде карт и плат, обвязку для которых делают так называемые OEM производители, вроде Gigabyte. Например: питание, охлаждение и другое. OEM версия серверов на 8 карт продается под брендом HGX

• Карты нового поколения Rubin с точки зрения продуктов повторяют Blackwell, но пока не дошли до свободной продажи

💸 Про сравнение карт

У RTX 6000 PRO сильно дешевле память и низкая цена за одну карту, что делает ее привлекательной для инференса небольших и средних моделей. А вот разница, например, B200 и H200 не такая очевидная. Если не учишь свои LLM. Да, в B200 несколько выгоднее компьют, но при этом нужно сразу выложить цену за 8 карт. А H200 можно купить в сервере на 4 карты.

Мы сами сейчас учим модели на H200, а инферим на RTX 6000 PRO. H200 в целом хорошие, но с другой стороны довольно старые карты. И вопрос, если расширяться, то чем?