Спосіб, що найчастіше використовується для закриття сторінок від індексації – метатег <meta name="robots" content="noindex, nofollow" />

Тому найчастіше його і перевіряють. Особисто я часто дивлюсь ручками в коді. Але графік нам підказує, що точно треба продивлятись всі варіанти.

Сайт на скриншоті має тег <meta name="robots" content="index, follow" />. Сторінки вивалились з індекса майже в нуль.

Перевіряємо HTTP-заголовок X-Robots-Tag – там noindex, nofollow.

Ось вам і добрий вечір. Тому дивіться, як то кажуть, в оба – і в код, і в заголовки.