Чтобы проверить является ли бот реальным, а не была произведена подмена User-agent при парсинге вашего сайта, просто выполните reverse dns.
Reverse DNS (или обратный просмотр DNS) - это обращение к особой доменной зоне для определения имени узла по его IP-адресу c помощью PTR-записи. (источник).
Если простыми словами, через Reverse DNS можно узнать домен зная с какого ip-адреса был сделан запрос к вашему серверу.
Для этого достаточно прописать в консоле команду ping -a ip
Пример запроса:
ping -a 5.255.255.55
IP берем из ваших логов сервера. Вот основные подстроки ботов ПС, которые могут посетить ваш сайт:
yandex.ru
yandex.com
yandex.net
ya.ru
google.ru
google.com
googlebot.com
Например: если после выполнения обратного DNS вы видите следующие домены:
spider.yandex.com
nat64.yandex.net
Это нормальные боты (не фейк и не подмена UA). Все остальное, можно не записывать в ваш SEO лог (в основные логи конечно же пишем все запросы запросы, в том числе пользователей).
#техничка #cloaking