🕷 Google оновив документацію по crawl budget: усі сайти стартують «з нуля»!

У доці Optimize Your Crawl Budget з'явилося нове формулювання: кожен сайт починає з однакового дефолтного, консервативного ліміту краулінгу. Якщо є попит на більший обхід і сайт залишається «здоровим» — ліміт зросте автоматично.

Що це означає?
▪️ Новий сайт чи переїзд на новий домен = Googlebot ходить обережно. Швидку індексацію треба «заслужити»
▪️ Ліміт росте від стабільного швидкого сервера (TTFB, без 5xx/429) + реального попиту на контент
▪️ Ліміт спільний для ВСІХ краулерів Google — один бот виїдає капасіті, іншим дістається менше
▪️ Додали рекомендацію по 304 (Not Modified): сторінка не змінилась — Google бере кеш і витрачає бюджет на нове
▪️ Бюджет рахується по хосту (піддомену), а не по всьому домену!

Висновок: для нових і великих сайтів технічка знову вирішує. Швидкий сервер + чиста структура + 304 = швидше в індекс 👀