Как антибот «резал» живых людей

Со стороны кажется, что антибот ставится просто: залил файл, вредных ботов отсек, полезных пропустил. Все, сайт защищен.
Свежий проект – интернет-магазин – показал, как оно на самом деле.
Сайт просел, разбираемся. И антибот тут один из главных подозреваемых, потому что он проверяет каждого посетителя. Включая роботов Яндекса и Google.

Что нашли внутри:
❌ Кто-то когда-то вручную добавил правило «блокировать всех с пустым referer». В дефолтной поставке антибота его нет. Итог: живой человек вводит адрес сайта руками в Safari или Яндекс.Браузере – и упирается в молчащую заглушку. Ни сайта, ни ошибки. Просто ничего.
❌ Правило «блок по пустому Accept-Language» косило полезных ботов: Applebot, краулер Meta, сервисы проверки доступности сайта.
❌ Свежие подсети робота Яндекса не проходили верификацию и резались как фейковые. Раскопали IP в чате поддержки fнтибота, внесли руками.

Починили в конце июля – позиции начали отскакивать через 1–2 дня.
Но вот что важно. Вклад этой починки в восстановление мы оцениваем только на ~25%. Потому что параллельно на сайте правили слайдер и подписи карточек – и теперь нельзя точно сказать, что именно сработало. А вопрос, резал ли антибот робота Яндекса в июне-июле, до сих пор открыт – нужно поднимать логи, а их тонна и разбираться дальше.

Выводы:
Антибот – это не настройка безопасности, а вмешательство в индексирование. Подходить к нему нужно так же серьезно, как к переезду сайта.
Ручные правила в антиботе – бомба замедленного действия.
Главное правило: одно изменение за раз. Когда меняется сразу все, при падении не найдешь виноватого.

А вы используете антиботов, как результат?