Увидел пост про покупку компьютера для MLщика в 2024 у коллеги, и призадумался - насколько сейчас, в эпоху облачных технологий, имеет смысл покупать себе в личное пользование gpu, что бы заниматься машинкой?
Если речь идет про серверные решения, то ответ однозначно нет. Эти карточки стоят под миллион, при этом арендуются за копейки у облачных провайдеров.
Вам придется арендовать а100 на 30 тысяч часов что бы полностью отбить цену новой gpu, не беря в расчет стоимость других компонентов (cpu/ram), стоимость сборки и обслуживания, рисков что она сломается итп

Но ведь есть же консьюмерские, игровые, карточки, которые стоят в десятки раз дешевле, на них можно (кое как) что то тренировать? Их то выгодно покупать??
Например Артём предложил в своем канале сборку на 6к$ на 4090. Арендовать такое железо сейчас можно за 0.35$ за час, то есть за стоимость этого пк можно было бы проарендовывать карточку в течении 17 тысяч часов или 2 года непрерывной работы (если цены не будут меняться)

По статистике сервиса, засчет выхода новых карточек, и насыщения рынка существующими цена на аренду падает на ~30% каждый год. Учитывая это мы увеличиваем число часов с 17 до 22 тысяч

Посмотрел статистику утилизации гпушик на серверах ресерчеров у себя на работе - чуть больше 40% от всего времени (иногда кто то оставляет обучение на ночь, а иногда работает с даннами или пишет перфоманс ревью, и гпу простаивает). К тому же некоторые эксперименты требуют не всей памяти GPU, а только часть (и в случае аренды это позволило бы сэкономить на более дешевом железе). Учитывая этот коэффициент за стоимость одного ПК можно было бы арендовать сервак на 44 тысячи часов или почти 5 лет, то есть время за которое карточки устаревают (обучение чего сейчас запустишь на 2080 с 8 гб видеопамяти и перфом в треть от современных, и стоимость этого раритетного старья через половину десятилетия с трудом покроет расходы на поддержку работы физического пк).
TLDR Арендовать нет смысла, облако + тонкий клиент справляется со всеми задачами