Свіже дослідження Ренда Фішкина, вказує на значну нестійкість та випадковість у роботі сучасних AI-інструментів при формуванні списків рекомендацій брендів та продуктів.
https://sparktoro.com/blog/new-research-ais-are-highly-inconsistent-when-recommending-brands-or-products-marketers-should-take-care-when-tracking-ai-visibility/

За останні кілька років великі компанії вкладають мільйони доларів у системи відстеження видимості та рейтингу AI, але більшість з них досі не мають чітких даних про те, наскільки ці інструменти стабільні для обчислення таких показників. В рамках дослідження було зроблено висновок, що списки рекомендацій AI є вкрай різноманітними: при багаторазовому повторенні запиту у 100 разів існує менше 1% шанс, що AI видасть ідентичний список, а ймовірність отримання однакового порядку рекомендацій у тих самих відповідях є ще меншою — близько 0,1%. Це означає, що AI системи здатні генерувати унікальні відповіді кожного разу, виконуючи роль швидше випадкових генераторів, ніж надійних джерел даних.

Однак, дослідження знайшло й позитивний аспект. Аналізуючи частоту появи конкретних брендів у відповідях, можна зробити висновки про їхню попередність у системі AI. Наприклад, якщо бренд постійно з’являється в більшості відповідей, це свідчить про його домінуюче положення у відповідній сфері. Це дозволяє використовувати частоту появи як частковий показник видимості, хоча й не як точну позицію в рейтингу.

Дослідження також показало, що варіативність у промптах, які вводять користувачі, дуже велика: у понад 140 випадках людські запити були різними, і, хоча семантична схожість промптів була низькою, більшість з них приводили до одних й тих самих популярних рекомендацій. Це свідчить про те, що AI все ж формує стабільний "якір" рекомендацій щодо базових сегментів ще з низькою семантичною схожістю між запитами.

Хоча сама концепція відстеження рейтингу в AI є малоефективною через його випадковий характер, статистично можна оцінювати рівень видимості брендів на основі частоти їхнього появлення у відповідях при багаторазовому повторенні. запитів.