GPU необязательно покупать — его можно арендовать

Топовая карта стоит как подержанная машина, а без неё модели от 70B не запустить. При этом мощность часто нужна не постоянно: протестировать гипотезу или закрыть пик нагрузки можно арендованными ресурсами.

Собрали 6 сервисов аренды GPU для инференса моделей: облака с посекундной тарификацией и managed-платформы с оплатой за токены. Разобрались, какие видеокарты доступны, сравнили по ключевым показателям и тарифам.

Пригодится всем, кто хочет потестировать модель, но пока не готов вложиться в железо.

https://tproger.ru/digest/gde-arendovat-gpu-dlya-inferensa-modelej-5-servisov