Гуглоиды обновили англоязычную версию справочного документа "Как снизить частоту сканирования сайта роботами Google", добавив туда информацию и примеры о заголовке HTTP Retry-After:

"При возврате кода состояния 503 или 429 вы также можете включить Retry-AfterHTTP-заголовок (как определено в RFC 9110 HTTP Semantics ), чтобы указать, когда поисковые роботы Google могут повторить запрос, используя либо задержку в секундах, либо абсолютную дату и время в формате UTC:
Задержка в секундах:

HTTP/1.1 503 Service Unavailable
Retry-After: 120

Абсолютная дата и время по UTC:

HTTP/1.1 503 Service Unavailable
Retry-After: Wed, 21 Oct 2026 07:28:00 GMT

Предупреждение: Мы не рекомендуем делать это в течение длительного периода времени (то есть дольше 1-2 дней), так как это может негативно повлиять на отображение вашего сайта в продуктах Google. Например, в случае поиска, если Googlebot будет отслеживать эти коды состояния для одного и того же URL-адреса в течение нескольких дней, URL-адрес может быть исключен из индекса Google."