Нагрузка на сервер выросла внезапно.
Я увидел в логах 42 361 запрос за короткий промежуток времени. Хостинг не выдержал такого наплыва и заблокировал сайты.
Виновником стал meta-externalagent/1.1. Это робот Facebook. Он сканирует страницы для формирования превью ссылок. Иногда его алгоритмы дают сбой. Бот начинает бесконтрольно отправлять запросы. Это как DDoS-атака.
Решение проблемы находится в файле .htaccess. Я закрыл доступ для всех агрессивных и вредоносных ботов через модуль mod_rewrite.
Ниже привожу рабочий код.
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (facebookexternalhit|barkrowler|dataforseobot|bytespider|BLEXBot|SemrushBot|MJ12bot|AhrefsBot|DotBot|SeekportBot|DataForSeoBot|Jooblebot|Baiduspider|PetalBot|SputnikBot|LinkpadBot|ClaudeBot|GPTBot) [NC]
RewriteRule .* - [F,L]
</IfModule>
Этот список фильтрует лишний трафик. В него вошли боты Facebook, TikTok (bytespider) и парсеры для обучения ИИ. Правило проверяет заголовок User-Agent. Сервер отдает ошибку доступа при совпадении. Нагрузка падает мгновенно.
OlegTix | #wordpress #вебразработка #безопасность