MWS AI

Бот закрыл диалог, а клиент снова звонит. Что может быть не так с автоматизацией поддержки? 👀

29 сентября в 12:00 (МСК) на вебинаре «Чат-бот врёт. ИИ-агент решает» покажем на реальных диалогах, чем чат-бот отличается от ИИ-агента и как понять, что автоматизация поддержки действительно работает.

В программе:

👩‍🎓 Почему закрытый без оператора диалог может вводить в заблуждение при оценке автоматизации.
👩‍🎓 Как боты улучшают статистику, не решая вопросы клиентов, на примерах реальных обезличенных обращений.
👩‍🎓 Как ИИ-агент подключает услуги, оформляет заявки и проверяет качество ответов.
👩‍🎓 Как рассчитать стоимость диалога и окупаемость внедрения ещё до пилота.
👩‍🎓 Как провести пилот за шесть недель, выбрать методику оценки, закрепить метрики в договоре с вендором и организовать контроль качества.

В конце ответим на вопросы и обсудим кейсы участников.

Ведущий — Антон Оцепов, руководитель направления ИИ-продуктов клиентского сервиса MWS AI.

🗒 Зарегистрироваться на вебинар 🗒

ИИ-агент сам напишет код и запустит работу по расписанию 🤖

Обновили MWS AI Agents Platform, чтобы агенты могли выполнять код в изолированной среде, помнить важную информацию между диалогами и запускаться по расписанию.

Ответы теперь можно проверять автоматически, а в отдельном конструкторе — собирать интерфейс с таблицами, формами и кнопками.

Посмотреть возможности платформы и оставить заявку на демо можно по ссылке 🗒

Когда хорошая метрика приводит к плохому решению? 🔍

В ролике наш дата-аналитик Николай Курков разбирает кейс, в котором результаты теста выглядели убедительно, но привели команду не к тому выводу.

Проблема оказалась не в цифрах, а в самом подходе к эксперименту. Чтобы такого не происходило, A/B-тест нужно правильно спроектировать ещё до запуска.

Собрали несколько важных пунктов, которые стоит проверить перед стартом и после.

✅ Сразу определите, что именно вы хотите сравнить

До старта зафиксируйте гипотезу, основную метрику и то, как будете её считать.

Для бота результат можно оценивать по пользователям, диалогам или отдельным запросам, и это не одно и то же. Если считать каждый запрос отдельно, человек, который пишет боту сотни раз в день, будет влиять на итог сильнее десятков или даже сотен обычных пользователей.

✅ Сформируйте контрольную и тестовую группы так, чтобы их можно было честно сравнивать

Контрольная группа работает со старой моделью, тестовая — с новой. Важно, чтобы в обеих были похожие пользователи по активности и типу запросов.

Если в тестовую группу случайно попадёт больше активных клиентов, новичков или людей с каким-то специфическим поведением, итог может зависеть именно от состава группы, а не от качества новой модели.

✅ Перед A/B-тестом проверьте, что сами группы не дают разницу

Для этого можно провести A/A-тест, когда двум группам показывают одну и ту же модель и смотрят, насколько похожими получаются результаты.

Если модель одна и та же, а метрики уже заметно отличаются, значит, сначала нужно разобраться с составом групп или способом подсчёта, и только потом сравнивать старую и новую версии.

✅ Даже несколько первых дней часто не дают правильный результат

Заранее определите, сколько будет идти тест и сколько данных нужно собрать.

В начале цифры могут сильно прыгать просто потому, что наблюдений ещё мало. Сегодня новая модель выглядит лучше, завтра хуже, а через несколько дней разница вообще исчезает.

✅ Посмотрите, кто именно повлиял на итог

После теста не ограничивайтесь одной средней метрикой. Проверьте, сколько запросов делали разные пользователи и нет ли среди них нескольких аномально активных.

Если большинство написало боту пару раз, а один пользователь сделал 200 запросов, это важно увидеть отдельно. После этого стоит проверить, сохраняется ли разница между моделями у основной массы пользователей или весь результат держится на нескольких исключениях.

И ещё один уровень проверки можно добавить до выхода на реальную аудиторию. В MWS AI Agents Platform работу агента можно тестировать автоматически: команда заранее задаёт контрольные вопросы и ожидаемые ответы, а платформа прогоняет их и показывает, где агент ошибся и что происходило на каждом этапе.

💬 Узнать подробнее 💬

Сколько времени закладывать на найм AI-команды?

Сегодня поиск ML-инженера занимает в среднем 23 рабочих дня, а продуктового менеджера ИИ — уже 42. С руководителем AI- или ML-направления поиск может занять 2–3 месяца и иногда растянуться до четырёх.

Мы посмотрели на собственную практику найма AI-специалистов за 2025-2026 гг и собрали ориентиры по срокам закрытия разных ролей. Всего за 1,5 года наши специалисты закрыли 177 позиций.

🤖 ML-инженер — 23 рабочих дня

Здесь уже есть понятные критерии отбора и стабильный поток кандидатов. Сложнее найти специалистов с реальным опытом вывода моделей в промышленную эксплуатацию, потому что такие кандидаты быстро получают несколько предложений и могут уйти с рынка за 3–5 дней.

🤖 Промпт-инженер или тренер ИИ — 27 рабочих дней

Кандидатов на эти позиции больше, а уровень специалиста относительно легко проверить с помощью тестового задания.

🤖 Руководитель проектов — 37 рабочих дней

Здесь многое зависит от того, насколько точно в вакансии описана специфика работы с ИИ. Если не указать опыт с ML-жизненным циклом, исследовательской неопределённостью и AI-проектами, входящий поток быстро забивается классическими IT-проектными менеджерами без нужной специфики.

🤖 ML-разработчик-исследователь — 24 рабочих дней

Это более редкая специализация, поэтому одного поиска на сайтах вакансий часто недостаточно. Лучше всего работают реферальная программа, профильные сообщества, конференции и академическая среда.

🤖 Продуктовый менеджер ИИ — 42 рабочих дня

Одна из самых сложных комбинаций на рынке, где нужен продуктовый опыт и одновременно достаточное понимание AI. 70–80% кандидатов могут отсеиваться уже на техническом скрининге, поэтому эта позиция в нашей практике закрывалась примерно в 2 раза дольше ML-инженера.

Руководитель AI- или ML-направления — 60–90 календарных дней

Для таких позиций обычного размещения вакансии уже недостаточно. Кандидатов чаще ищут напрямую, через профессиональные сообщества и специализированный поиск руководителей. Иногда процесс занимает до 4-х месяцев, причём срок зависит не столько от рекрутера, сколько от того, насколько точно компания сформулировала профиль и насколько быстро готова принимать решения.

💬 Наталья Рейслер, руководитель отдела подбора персонала MWS AI 💬

ИИ-найм живёт по своим правилам и заметно отличается от остального IT-рынка. Даже при большом количестве кандидатов поиск осложняют высокая конкуренция за сильных специалистов, размытые профили ролей и медленные внутренние решения. При этом сам рынок меняется буквально на ходу: то, что востребовано сегодня, через год может выглядеть совсем иначе.

Сроки выше — ориентиры уже сложившейся команды, которая выстроила тесную работу с заказчиками и хорошо понимает их требования. Это позволяет нам снимать часть типичных сложностей ещё на старте поиска.

И данные, и наш опыт показывают, что самая устойчивая стратегия в AI-найме сегодня — не только искать готовых специалистов снаружи, но и развивать своих. Часть новых ролей на рынке просто ещё не сформировалась и компании, которые уже сейчас создают внутренние треки роста, через 2–3 года получат специалистов, которых конкуренты будут пытаться найти на внешнем рынке.

Получить гайд «Как собрать ИИ-команду»

Кажется, ваши агенты хотят в песочницу 👀

Когда агенту нужно не просто ответить, а обработать файлы, что-то посчитать, преобразовать данные и собрать готовый результат, ему обычно приходится заранее готовить инструменты под каждый шаг.

Команда MWS AI Agents Platform упростила этот путь и создала песочницу — изолированную среду, где агент сам может выполнять код, работать с файлами и устанавливать нужные пакеты. Вы задаёте результат, а дальше агент сам решает, как к нему прийти в пределах разрешённой среды.

В карточках рассказали, как работает фича, а записаться на демо платформы можно по ссылке 🗒

🤖 Новый выпуск подкаста «По проводам» 🤖

В этот раз поговорили с Александром Лукьяновым, генеральным директором ДОМ.РФ Технологии, о том, как данные и ИИ уже меняют строительство, города и саму логику девелопмента.

В выпуске:

— как ИИ уже используют при проектировании и на стройках;
— зачем нужны цифровые двойники домов, районов и городов;
— как по фотографиям прогнозировать задержки строительства;
— почему роботы на стройке не обязательно будут гуманоидами;
— смогут ли данные стать новым конкурентным преимуществом девелоперов;
— где в строительстве ещё есть место для технологических стартапов;
— как данные о новостройках используют кофейни и ПВЗ;
— какой может стать покупка квартиры будущего.

Смотреть новый выпуск

▶️ ВКонтакте
▶️ Яндекс Музыка
▶️ YouTube

Почему два ИИ-агента на одной LLM могут работать по-разному? 👀

Одна и та же модель в двух агентных системах может показывать совсем разный результат. И дело не только в самой LLM, но и в том, что происходит вокруг неё: какие данные она получает, какие инструменты ей доступны, что система делает после ошибки и как проверяет результат.

За всё это отвечает agent harness — та самая инфраструктура вокруг модели, которая помогает агенту работать последовательно и доводить задачу до конца.

Разобрались в карточках, что это такое и почему иногда именно harness определяет, насколько хорошо агент справляется с реальной задачей 🔍