Не Москвой единой... в Белграде не очень много мероприятий такого рода (точно не столько, чтобы было по 2-3 в месяц, как у меня в сентябре прошлого года, или приходилось бы выбирать между пересекающимися), но я рада, что научилась находить то, что есть😂 А ещё — забавный факт — я раньше не была в местном офисе 📱 (хотя раза 3 приезжала, ещё работая там).
Фокус у сегодняшнего мероприятия однозначно на ML, а не на аналитике, поэтому многие доклады мне практически не понятны, но я к этому была морально готова, и расскажу хотя бы про первый: «Как безопасно выкатывать новые версии продуктовых AI-агентов через систему автометрик»🤖
По факту вышло не буквально про это, но тоже интересно:
➡️ Спикер был из команды международного поиска Яндекса, они сейчас пытаются естественным образом совместить стандартную выдачу и ИИ-ответ. Как и раньше, основная цель — найти наиболее вероятное намерение (интент) пользователя при запросе, и ответить «хорошо» не с точки зрения какого-то абстрактного бенчмарка, а именно в плане решения задачи.
Исследование запросов в Гугл пару лет назад показало, что чуть ли не половина запросов связаны с изучением товаров перед покупкой или непосредственно желанием что-то купить. Но если вы спросите у ChatGPT что-то вроде «хочу купить айфон в Белграде», она выдаст общую инфу о том, какие бывают айфоны и авторизованные реселлеры, по сути отправив нас в ТЦ🤓
Как-то не современно, когда в Яндексе уже буквально на выдаче есть кнопки для cравнения цен и заказа в пару кликов...
➡️ Одна из центральных мыслей доклада:
никакой магии, LLM, как и раньше, генерирует токен за токеном. Но в эпоху агентов финальный успех зависит не только от качества модели, но и от промпта с тулами
➡️ Теперь к основной тематике: как вообще определить, что AI-агент в продукте достоин того, чтобы выкатиться в прод?
Решают всё те же три кита качества поиска:
🐋 насколько ответ полезен для решения задачи пользователя,
🐋 подтверждается ли ответ извлечёнными документами,
🐋 насколько самим этим источникам можно доверять?
➡️ А если говорить о сравнении версий, то A/B-тестирование, конечно, представлено, но статзначимость не равносильна важности изменения (метрика может значимо просесть на долю процента, и это не блокер, но на значимость всё же смотрят, чтобы отличить реальный сигнал от шума).
➡️ Кроме того, используются автоматические метрики (наличие уточняющих вопросов, качество показанных медиа и форматирования текста) и технические (количество токенов, доля пустых ответов и так далее)
➡️ И, наконец, моё любимое — разметки релевантности ответов и следования сценариям. Утверждается, что они сейчас не только попарные (хотя LLM-судьи могут плохо калибровать оценки в разных версиях, и условно 4/5 будет значить разное) и не только человеческие — используется LLM-as-a-judge📈
В общем, Яндекс как всегда радует тем, что и успевает за технологическими трендами (или даже их задаёт), но при этом приятно, что общие идеи того, как улучшают Поиск, всё те же. Продолжаю наблюдение👀
@analytess 👩