Читаю про Robots Exclusion Protocol, щоб зрозуміти тонкощі обробки пошуковиками файлу robots.txt. Є деякі речі, про які раніше не знав.
https://datatracker.ietf.org/doc/html/rfc9309

Те, що вам буде цікаво:

— Якщо robots.txt недоступний, то бот може сканувати всі ресурси
Недоступним (unavailable) вважається при 4хх статус коді в HTTP заголовках.

— Якщо robots.txt недосяжний, то боту заборонено все сканувати.
Недосяжний (unreachable) вважається при 5хх статус кодах.

— Якщо robots.txt недосяжний довго (наприклад, 30 днів), то боти можуть вважати, що він недоступний. Або використовувати кешовану версію.

— Кешована версія не повинна зберігатись більше ніж 24 години.

— Якщо robots.txt редиректить, потрібно слідувати як мінімум 5 ланцюжкам редиректів. В іншому випадку вважати недоступним.

Нагадайте, хто ділився кейсом, коли через недосяжність роботсу сайт вилетів з індексу!?