Мы измерили видимость в ответах LLM. Что дальше?

Предыдущие две недели в AI-мастерской мы работали над кейсом «Работа с AEO/GEO. Измеряем видимость компании в ответах LLM». В нем мы собрали сервис мониторинга видимости в ответах LLM. Он показывает, что LLM отвечают человеку, который собирается выбрать продукт в вашей категории: называют ли вашу компанию, на каком месте в списке и в какой тональности — и то же самое по конкурентам. В нашем примере это Granola, AI-ассистент для рабочих встреч, и четыре конкурента: Otter, Fireflies, Fathom и Zoom AI Companion.

Мы завели корзины вопросов, персоны, набор моделей и два режима вызова, настроили разбор ответов с помощью LLM, организовали расчет метрик и поставили сбор на расписание. Получился инструмент, который каждый день обращается к моделям и сохраняет ответы в базу.

В новом кейсе AI-мастерской, который стартует сегодня, мы работаем с собранными данными: учимся их анализировать и делать из них выводы. Чему научимся:

— Понимать, что стоит за числами. Какие вопросы задают моделям и от лица кого, как считается метрика и по каким ответам. Без этого одно и то же число можно прочитать по-разному.

— Интерпретировать метрики. С чем сравнивать видимость компании, чтобы понять, высокая она или низкая. Когда резкое изменение говорит о рынке, а когда это случайность.

— Анализировать данные. Какие вопросы задавать к данным, в каких срезах искать продуктовые выводы, как превращать находку в гипотезу и проверять ее по текстам ответов моделей.
Работаем на данных нашего сервиса, но навык переносится на любые данные о видимости в ответах LLM: из вашего собственного мониторинга или из готовых сервисов, которые предлагает рынок.

Навыки на выходе:

— Анализ данных с кодинг-агентом: вопросы к выгрузке, сверка расчетов, дашборд
— Интерпретация метрик видимости: Mention rate, First mention rate, Sentiment split
— Анализ изменений: рынок, правки замера и случайные колебания
— Продуктовые выводы из срезов: модели, персоны покупателя, вопросы

Присоединяйтесь к студентам AI-мастерской:

🔗 https://gopractice.ru/course/aicases/

Этот кейс можно обсуждать в закрытом чате для студентов вместе с экспертами, которые работали над его созданием.

@gopractice