✨ Собираем домашний сервер для LLM дешевле RTX 3090

Блокировки аккаунтов, ограничения доступа и зависимость от сторонних сервисов заставляют все чаще задумываться о запуске нейросетей локально.

Но здесь возникает другая проблема. Современные нейросети требуют десятки гигабайт видеопамяти, а потребительские видеокарты могут стоить как подержанный автомобиль.

При этом для инференса нейросетей куда важнее объем и пропускная способность видеопамяти, чем поколение архитектуры. А у Tesla V100 с этим все в порядке, до 32 ГБ на карту и 900 ГБ/с пропускной способности. При этом сами карты на вторичке стоят копейки по сравнению с современными RTX.

👉 https://habr.com/ru/articles/1084234/