Основные добавленные фрагменты:
"Каждый сайт изначально имеет одинаковый, консервативный лимит пропускной способности сканирования. Если возникает потребность в сканировании большего количества сайтов, и при этом сайт остается работоспособным, системы Google автоматически корректируют этот лимит с течением времени".
...
Что касается Googlebot, то спрос на него варьируется в зависимости от размера сайта, частоты обновлений, качества страниц и их релевантности по сравнению с другими сайтами.
...
Хотя требования к скорости передвижения у каждого краулера различны, ограничение по скорости передвижения является общим для всех роботов. Это означает, что высокая скорость передвижения одного робота может снизить доступную скорость для других.
...
Улучшите скорость загрузки: оптимизируйте время отклика сервера и ресурсы, чтобы страницы загружались быстрее.
...
Используйте HTTP-кэширование: поддержка кодов состояния HTTP 304 (Not Modified). Если страница не менялась с момента последнего индексирования Google, возврат кода 304 указывает Google на необходимость повторного использования кэшированной версии, что экономит пропускную способность и ресурсы вашего сервера."
