Мы на Turbo Ml Conf от Т-Банк
Только что был крутой доклад, как ребята тюнили свой пайплайн генерации голоса (TTS)
Бай дефолт модель позволяла держать один звонок на одной H100, и для организации КЦ потребовались бы чемоданы денег
Никита рассказал про все кишки, про оптимизации всех слоев: модели, инфнренса и сервинга. Рассказал что работало и насколько разные оптимизации в итоге помогли
Хардкорный и детальный доклад, всем кто готовит внутри своих команд оптимизации TTS - хайли рекоммендед
Post #77
920




