🖤 AI ведёт на 404: исследование Ahrefs

Ahrefs проанализировали 16 миллионов URL, упомянутых различными AI-ассистентами (ChatGPT, Perplexity, Claude, Gemini, Copilot и др.), чтобы выяснить, насколько часто AI придумывает несуществующие ссылки.

Ключевой вывод: AI-ассистенты ведут пользователей на 404-страницы в 2,87 раза чаще, чем Google Search.

➡️Что тестировали

Тест 1: кликабельные ссылки (реальные переходы)

Анализировали трафик с AI и определяли, сколько ссылок вели на 404:

🔘ChatGPT – 1,01%
🔘Claude – 0,58%
🔘Copilot – 0,34%
🔘Perplexity – 0,31%
🔘Gemini – 0,21%
🔘Mistral – 0,12%

Для сравнения: Google Search – 0,15%

Тест 2: все упомянутые ссылки (даже без кликов)

Рассматривались URL, которые AI-ассистенты цитировали без реального перехода:

🔘ChatGPT – 2,38%
🔘Perplexity – 0,87%
🔘Gemini – 0,86%
🔘Copilot – 0,54%

Для сравнения: Google Search – 0,84%

➡️Почему так происходит?

— Старые или удалённые страницы. AI может ссылаться на контент, который существовал ранее, но был удалён или не получил редирект.

— Вымышленные, но правдоподобные URL. Например, /blog/internal-links/ выглядит логично для SEO-блога, хотя страницы никогда не было.

➡️Как проверить, ведёт ли AI на ваши 404

1. Отфильтруйте трафик из AI в аналитике

Используйте регулярные выражения или готовые фильтры, чтобы выделить посещения с источников вроде ChatGPT или Perplexity. Экспортируйте данные за нужный период в Google Sheets.

2. Проверьте статус ссылок

Попросите AI сгенерировать Apps Script для проверки HTTP-статуса URL прямо в Google Sheets. Вставьте скрипт через Extensions → Apps Script и сохраните. Для крупных сайтов удобнее использовать краулер.

3. Отфильтруйте 404 и страницы с >10 визитами

Настройте фильтр в таблице так, чтобы видеть только URL со статусом 404 и трафиком выше порога (Ahrefs брали 10 визитов/мес., но вы можете задать свой). Проверьте такие ссылки вручную — часть окажется чистыми «галлюцинациями».

4. Настройте 301-редиректы или обновите 404-страницу

Если на несуществующую страницу идёт заметный трафик, сделайте 301-редирект на релевантный контент. Если редирект неуместен — обновите страницу 404: добавьте ссылки на полезные материалы, разделы сайта или подписку.

➡️Насколько это критично?

Пока что трафик из AI составляет лишь ~0,25% от общего, тогда как на Google приходится 39,35%. Да, ChatGPT ведёт на 404 чаще всех (1,01%), но в абсолютных цифрах это небольшая доля. Тем не менее, если можно улучшить UX минимальными усилиями, то стоит это сделать.