Ищем специалиста по highload инференсу Stable Diffusion

Нужен человек, который настроит нагрузки на сервисе генерации изображений с производительностью 200+ запросов в минуту (RPM) на Docker + RunPod.
Генерации уже работают и отдаются, но в ограниченном количестве, нужно масштабировать.

Есть задачи:
• Много чекпоинтов (моделей), из-за чего возникает CUDA OOM.
• Корректное распределение нагрузки между несколькими GPU.
• Масштабирование инфраструктуры для одновременной генерации сотнями пользователей.

Что важно:
• Опыт с SD и highload ML-системами.
• Устранение OOM, оптимизация GPU-памяти.
• Работа с Docker и распределенным инференсом.

Работа дистанционно.
Оплата сдельная по договоренности.

Контакт: @ibomberman