Облачные сервисы для аренды GPU и генерации всего.

Я уже проводил опрос про аренду GPU и по итогам нарисовалась тройка лидеров:
Runpod.io
Immers.cloud
Vast.ai

Я решил протестировать юзабилити и заодно поглядеть, как можно оптимизировать собственное поведение, чтобы экономить.

У меня в основном задачи, связанные с больше с быстрым тестированием и микроресерчем, чем с выстраиванием фиксированного пайплайна, поэтому мой опыт может подойти не всем, но я постарался вынести универсальные полезные выводы.

Взял довольно нагрузочную задачу связанную с генерацией видео в WAN, пошел на Immers.cloud и зашел сразу с козырей - аренда H100. Дело в том, что с выходом новых опенсорсных моделей, я прежде всего стараюсь тестировать модель "из коробки", не дожидаясь квантизации, оптимизации, адаптации под Комфи - хочется смотреть на непожатое качество и чистые, так сказать, возможности модели. Как правило, это тестирование в командной строке или в интерфейсе Gradio (типа как в Фордже), который не требует шаманства с Комфи и установок десятка дополнительных нод и выводка ужатых моделей.

WAN поддерживает технологию FlashAttention 3, которая работает только на картах с архитектурой Hopper (H100, H800).

Было интересно посмотреть на прирост, точнее на уменьшение времени генерации.

Давайте сразу приведу цифры, а потом изложу историю тестирования.

Тестировал модель Wan Image2video 14B в разрешении 480р, 5 секунд, 10 шагов, потребление - 70 гиг.

На карте A100 генерация шла со скоростью 20 секунд на итерацию, всего 3:24 минуты.
На карте H100 с Flash Attention 2 - 14 секунд на итерацию, всего 2:20 минуты.
На карте H100 с Flash Attention 3 - 10 секунд на итерацию, всего 1:48 минуты.

В общем выигрыш примерно в полтора раза, как и написано в бумаге.

Теперь, про опыт с immers.cloud - читаем следующий пост.

@cgevent