С некоторым скепсисом раньше относился к утверждениям в духе "с кризисом комплектующих будет только хуже".

С потребительской частью рынка всё понятно. Видеокарта, которую я покупал пять лет назад, сейчас стоит даже чуть дороже, чем тогда. Но мне казалось, что в масштабе настоящий дефицит невозможен. Ну, максимум общий рост цен.

На днях решил на RunPod арендовать GPU на пару часов, обучить небольшую LoRA. Управляющий агент отвечает: нет GPU, всё занято. Захожу на сайт. И действительно, не какая-то "высокая нагрузка, доступны только непопулярные ресурсы по завышенной цене", а просто: "Мест нет, приходите попозже. Можете встать в очередь".

В очередь на аренду сервера.

Попробовал на следующий день. То же самое.

Почитал, что про это пишут, и оказалось, что это вообще не внезапный пик нагрузки, а нормальная ситуация уже несколько месяцев. На RunPod почти нет свободных подов. Люди становятся в очередь и ждут, когда что-нибудь освободится. RunPod расширяет инфраструктуру, строит новые дата-центры, но для конечного пользователя почти ничего не меняется. Спрос растёт быстрее.

Попутно вспомнил Ollama Cloud. Пользуюсь этим сервисом, у них всегда куча актуальных открытых моделей в рамках подписки, которой мне в целом хватает для активной работы.

Намедни вышла гигантская Kimi K3. Они развернули её на своих серверах, сервера захлебнулись, а спустя неделю для K3 сделали отдельную тарификацию по API. Просто потому, что мощностей не хватило, чтобы оставить её в подписочной модели.

Трудно, конечно, было ожидать, что наши любимые генераторы котиков и неподдерживаемого кода окажутся настолько прожорливыми.