Але є момент, який можна легко пропустити і погіршити АІ видачу і це питання чи пускає сайт AI-ботів.
GPTBot, OAI-SearchBot і ChatGPT-User - три окремих боти OpenAI, закриваються незалежно один від одного. Закритий саме
OAI-SearchBot - і сторінка не потрапить у відповіді ChatGPT, хоч би що.Ми перевірили 100 сайтів і приблизно 34% закриті хоча б для одного бота.
І в кожному випадку
robots.txt показував, що все відкрито - блок стояв на рівні фаєрвола чи CDN, невидимий для будь-якого інструменту, який просто читає robots.txt.Тож як швидко перевірити самому:
🛑Відкрий сайт/
robots.txt, знайди блоки для GPTBot, OAI-SearchBot, ChatGPT-User;🛑Якщо цього недостатньо - зроби ще реальний запит на сайт з
User-Agent кожного бота, подивись код відповіді;🛑403 чи 429 на реальному запиті при "дозволено" в
robots.txt - це і є прихований блок, якого текстова перевірка не показує.Додаємо в чекліст перевірки донора.