В зарубежных SEO‑сообществах обсуждают, как AI‑боты обрабатывают <code>robots.txt</code> и как это влияет на индексацию сайтов.

Наблюдатели создали «секретные» URL‑адреса, которые не связаны ни с одним публичным ресурсом, и разместили их за Cloudflare‑worker, логирующим все запросы. Это позволило точно определить, какой запрос пришёл от какого AI‑бота, поскольку каждый бот использовал свой собственный IP‑адрес и заголовок User‑Agent.

Результаты показали, что поведение ботов различается:
• Claude проверяет <code>robots.txt</code> перед первым запросом и отказывается от доступа к запрещённой странице;
• ChatGPT при первом посещении сайта сразу обращается к запрещённой странице, но после последующих запросов начинает читать <code>robots.txt</code>;
• Gemini использует User‑Agent «Google» и не обращает внимания на <code>robots.txt</code> вовсе;
• Grok проявляет странное поведение – множество разных IP‑адресов, все с UA «Chrome»/«Safari», но не читает <code>robots.txt</code>.

Эти наблюдения показывают, что полагаться только на User‑Agent для блокировки AI‑ботов недостаточно. Необходимо анализировать IP‑адреса, частоту запросов и наличие обращения к <code>robots.txt</code>.

Практический подход:
1. Создайте тестовые «секретные» страницы и разместите их за Cloudflare‑worker для логирования.
2. В <code>robots.txt</code> добавьте директиву <code>Disallow: /secret-page/</code> и наблюдайте, как боты реагируют.
3. Составьте список IP‑адресов, которые регулярно посещают эти страницы, и блокируйте их через брандмауэр или правила Cloudflare.
4. Используйте сервисы для выявления «загадочных» User‑Agent’ов и проверяйте их на наличие реального происхождения.

<i>Как будете защищать свои ресурсы от AI‑ботов, учитывая их разнотипное поведение?</i>