🤖 Как поднять корпоративного LLM-бота в закрытом контуре? Расскажет Алексей Кудаков, CTO технологической группы «Проявление».

Это продакшн-история для одной из крупнейших компаний в сфере ЖКХ России: один LLM-бот на телефон и чат-каналы (Макс, ВК, ОК, мобильное приложение) полностью on-premise, без единого внешнего вызова.

Разберём:
→ Что болело у заказчика: ~60 жёстких сценариев скриптового робота, очереди в пиках, тупики в чатах
→ Как выбирали стек и почему остановились на Qwen3-14B Instruct + LoRA + RAG + vLLM
→ Дообучение LLM под домен ЖКХ: от 45 тысяч ручных размеченных звонков до 345 тысяч примеров
→ Голосовой стек и его грабли: STT с галлюцинациями на тишине, дообучение CosyVoice 3, «превойс» для обхода недоверия абонентов
→ Запуск в закрытом контуре на NVIDIA H200: архитектура, оптимизации, бюджет латентности
→ Итоговые метрики: ожидание оператора с 5 минут до <5 секунд, 72% обращений закрываются без оператора, 98% точность классификации

Честно поговорим про проблемы в проде: абоненты, которые не доверяют роботу, заказчики, которые заводят тикеты на «ошибки», и пожилые люди, которых живой голос напугал больше, чем скриптовый.

⏰ Запускаем трансляцию сегодня в 12:00.

Смотрите на YouTube, в ВК или прямо в этом канале — и задавайте вопросы лектору!