Прикольний інструмент від Suganthan Mohanadasan
https://suganthan.com/free-seo-tools/common-crawl-checker/

Сайти часто закривають доступ до ботів, в тому числі Common Crawl. Це велика проблема як для сайту, так і для екосистеми загалом. Інструмент допомогає провести аудит.

— Оцінити охоплення. Скільки сторінок вашого сайту потрапляло до останніх 12 знімків CC.
— Визначити, коли саме з'являлись блокування та ким ініційовано.
— Виявляє блокування на рівні файрволів, які не завжди відображаються у robots.txt
— Шукає прогалини. Які сторінки з sitemap ніколи не були проіндексовані ботом (я так розумію для маленьких sitemap)

Інструмент доступний без реєстрації. Просто введіть адресу свого сайту.