Як трекати видимість у AI: дослідження ~4 800 ChatGPT запитiв

Взяли 537 комерційних запитів (SaaS 219, агенції 158, consumer 160) і три дні поспіль (4, 5 і 6 жовтня) перевiряли їх у звичайному chatgpt.com.

Не через API, а так, як бачить живий користувач: модель gpt-5-6, США, англійська.
Кожен запит - 3 рази на день, тобто 9 прогонів. Вийшло ~4 800 відповідей.

Приклади запитiв:

"best project management software with time tracking"
"affordable google ads agency"
"best private student loan rates"
і ще пів тисячі таких самих.

Отже:

1. Позиція має сенс тільки для №1.
Той самий бренд на першому місці в усіх прогонах дня - 56% випадків. На третьому вже 22%, на десятому - 2%. Тобто "ви №4 у ChatGPT" - це не метрика, це вам просто повезло 😁

2. Топ-3 - це ядро, нижче лотерея.
Приблизно два бренди тримаються завжди, третє місце - рулетка.
Повністю однаковий топ-3 - лише в кожному четвертому запиті.

3. Міряйте кластер, а не запит.

Ось "best paid search agencies", три прогони поспіль:

KlientBoost, Disruptive Advertising, HawkSEM
KlientBoost, Disruptive Advertising, JumpFly
KlientBoost, Disruptive Advertising, WebFX

Третє місце щоразу нове.

Беру кластер: 29 запитів про PPC-агенції. Там і best ppc agency, і google ads agency for small business, і ppc agency for ecommerce, і ppc agency for lawyers, і best amazon ppc agency.

Рахую, в якій частці запитів бренд у топ-3:

KlientBoost - 69%, 69%, 66%;
Disruptive Advertising - 52%, 55%, 52%;
WebFX - 24%, 24%, 28%.

Від прогону до прогону майже нічого не змінюється.
Рандом окремих відповідей гасить сам себе, різниця в середньому ~5 п.п.

Тому:

Кластер 20–30 запитів (на 10 частка гуляє на ±15–30 п.п., сенсу мало);

У звіті пишемо не "бренд № 3 по запиту", а бренд в топ-3 у 24% запитів кластера, на №1 - у 8%.

4. API ≠ те, що бачить клієнт.

Окремо перевiрили ци запити через API. На тих самих запитах топ-3 через API та в справжньому chatgpt.com збігається лише на 31–51%. А сам chatgpt.com через добу збігається сам із собою на 51–78%. Тобто API - це просто інша картинка.

5. Видiмiсть скаче через query fan-out.

Перед відповіддю ChatGPT розбиває ваш запит на кілька власних пошукових запитів. Це і є query fan-out. У веб-інтерфейсі їх не видно, а через скрепер видно: у середньому 2 пошуки на одну відповідь.

Протягом дня ці запити здебільшого повторюються (75–83%). Між різними днями збігаються лише 53–62%. Змінився fan-out - змінились знайдені сторінки - змінився топ-3. Тому чим більше сторінок, де згадано ваш бренд, то стабільніше вас називає ChatGPT.

Висновки:

Тільки справжній chatgpt.com, а не API - перевірте, як збирає дані ваш трекер,
бо через API збіг топ-3 з реальним ChatGPT лише 31–51%;
20–30 запитів на кластер;
Дивимось "частку в ядрі топ-3" і "частку прогонів на №1", а не позицію;
Збираємо сторінки, через якi бренд потрапляє у відповідь - там і готовий план дій.

P.S. Поспілкувалися сьогоднi з Вірою Сєчкіною з rankexplore.com
про наші дослідження https://www.youtube.com/watch?v=Y0jG32VR-84