облачный инференс
прежде чем покупать железо, сначала стоит поиграться с локал моделями на оренде

https://www.runpod.io/ - фронтир провайдер облачных гпу, удобный, надежный, цена адектваная (средняя) по духу ближе к AWS

https://vast.ai/ - это по духу ближе к маркетплейсу, индивиды или некие овнеры серверов выкладывают свое железо в аренду, вы покупаете прайс плавает - можно ловить очень выгодные цены, но больше возни с конектом

https://modal.com/ - интересный кандидат, потому-что он вам дает не просто видяху и вы платите за час использования, а дает вам серверлесс апи, и видяха просыпаеться чтобы обработать запрос, в некоторых кейсах оно выгодно, но основной интерес тут в том что их бесплатный план, дает нам $30 / month бесплатно, каждый месяц на их сервис. для халявных тестов топ

https://www.digitalocean.com/products/gpu-droplets - легендарный дигитал оушн, теперь хостит и видяхи, надежность на высоте (прайс тоже), тут интересно забрать 200 доларов фри кредитов на 60 дней поиграться, но чтобы получить возможность тратить их на Gpu Droplets -> нужно заполнить акету, написать что вы молодая ллм/мл лабаратория, сделать себе лендосик и почты на домен

https://www.kaggle.com/ - богом забытая платформа гугла, дают старое железо гпу, и свое новое тпу бесплатно, каждый месяц - еквивалентом в доларов 300

дальше поговорим про именно домашнее топ железо, там правда история довольно печальная