– Что лучше всего было оптимизировано в работе?
– Оптимизировал автоматическую выгрузку данных с прода для дообучения GigaChat под задачу агента-оркестратора в большой мультиагентной системе. Создал контур для поиска информативных примеров и сложных сценариев, в которых llm ошибается .
– Какое событие стало самым позитивным за последнее время?
– Поездка в родной город. Я провел время с родителями и хорошими друзьями, с которыми редко видимся
✅ Узнаем подробности о докладе ✅
Галлюцинации — не баг, который чинится одним удачным промптом. Это свойство модели, с которым нужно научиться работать инженерно: измерять, ставить пороги и ловить регрессии до того, как их найдёт пользователь.
⚡️Разберу, откуда на самом деле берутся ошибки ИИ-агента: сгаллюцинировала LLM, retrieval вернул не тот документ, противоречия в промпте или ошибка в архитектуре. Для каждого случая свой способ детекции, и путать их дорого.
⚡️ Расскажу про eval-подходы, которые использую в своих проектах.
⚡️Разберем где LLM-as-judge работает, а где врёт, какие пороги качества имеет смысл сделать блокирующими для релиза.
⚡️Рассмотрим реальные кейсы.
⚡️Отвечу на вопросы: какие метрики считать, как собрать первый набор тестов за ограниченное количество дней и как понять, что агент стал хуже, не дожидаясь жалоб от пользователей.
Доклад будет полезен разработчикам и аналитикам, которые уже внедряют LLM в продукт, и тимлидам, которым нужно принимать решение о выкатке на основе цифр, а не ощущений.
👐 Ждём всех на конференции
🤍 Билеты и программа тут: 2026.secon.ru
Конференция СЕКОН'2026 проводится при поддержке Губернатора Пензенской области