👨‍💻 Как отправить парсер в ловушку

Боты постоянно сканируют сайты: воруют контент, собирают данные, съедают трафик. Обычные методы блокировки: robots.txt или rate limiting работают только если бот их соблюдает. Хитрые скреперы игнорируют правила и продолжают атаковать.

Что делает honeypot

Это ловушка для автоматических парсеров. Вы создаете поддельный путь, который выглядит привлекательно для бота, но на самом деле ведет в тупик. Когда бот попадает туда, вы можете его заблокировать, замедлить или собрать информацию о типе атаки.

Пример конфига nginx:

location /admin-backup/ {
    return 301 https://example.com/huge-file.bin;
    limit_except GET { deny all; }
}

location /wp-admin.php {
    return 301 https://example.com/trap.bin;
}

location /*.sql {
    return 301 https://example.com/50gb.iso;
}

Бот находит ссылку на /admin-backup/ в исходном коде или гадает пути. Nginx перенаправляет его на огромный файл. Бот начинает скачивать, думая, что нашел ценный контент. Ресурсы бота забиваются, его IP можно заблокировать

Расширенный вариант с логированием:

location ~ \.(sql|bak|backup)$ {
    access_log /var/log/nginx/honeypot.log;
    return 301 https://example.com/decoy.bin;
}

Логируйте попадания в ловушку — так вы увидите, какие пути парсят боты, и сможете их блокировать на уровне firewall или fail2ban.

🔹 Практический интенсив «Архитектуры и шаблоны проектирования»
🔹 Получить консультацию менеджера
🔹 Сайт Академии 🔹 Сайт Proglib

🐸 Библиотека devops'a

#root_prompt