🌐 Cloudflare дає сайтам розсортувати AI-ботів на три купи — і двом з них показати поворот

Рік тому Cloudflare рубав усіх AI-краулерів одним рубильником: або пускаєш усіх, або нікого. Тепер логіка тонша, боти діляться на три типи — і до кожного своє ставлення.

→ Search — індексують для пошуку, женуть тобі трафік назад. Лишаються дозволені за замовчуванням.
→ Agent — ChatGPT-User, Claude чи Gemini ходять по сайту замість живого юзера, який чекає відповідь.
→ Training — висмоктують текст у модель назавжди й не повертають нічого.

З 15 вересня на нових доменах з рекламою Agent і Training блокуються за замовчуванням, Search лишається. А мультиботів на кшталт Googlebot і Applebot, які й шукають, і тренуються заразом, можна рубанути цілком, якщо ти проти тренування.

У robots.txt додається параметр use: immediate (глянув і забув), reference (цитуй з лінком), full (переказуй усе). Ще один рядок у файлі, який усі однаково ігнорують, — але тепер за ним стоїть Cloudflare.

Доступно всім, навіть на безплатному тарифі. Логіка проста: тридцятирічна угода «ми тебе краулимо, ти отримуєш переходи» здохла, бо AI бере контент, а переходів не віддає.

https://blog.cloudflare.com/content-independence-day-ai-options/

📎 Читайте також:
→ Cloudflare змушує AI платити видавцям — перша серія
→ ChatGPT Atlas — AI-браузер, дев'ять місяців по тому
→ Parallel — веб-пошук для агентів за 200 мс