«Если вы пришли воровать мои данные — начните отсюда»

Так начинается отчёт человека, который год воевал со скраперами и в итоге выложил все свои правила фаервола целиком. Сайт у него на 1,5 млн страниц, аналитика показывала уютные 6 тысяч просмотров в неделю. Сервер за ту же неделю отдал 1,28 миллиона страниц.

Разбираясь, кто это всё читает, он нашёл метрику, которая экономит все дальнейшие споры: сколько страниц краулер прочитал на одного приведённого посетителя. Google свои визиты отрабатывает. У поискового бота Claude соотношение оказалось 35 000 к 1 — 420 680 страниц за неделю и 12 живых человек. Он его заблокировал, и бот послушно ушёл с 60 тысяч запросов в день до 25 попыток: вежливые краулеры действительно уважают 403.

Дальше выяснилось главное: ботов бесполезно ловить по поведению, надо сортировать по происхождению. Люди не ходят на сайт из дата-центра AWS и не сидят в Chrome 118 из 2023 года, вмороженном в чей-то скрейпинг-тулкит. Два таких правила выкосили больше, чем год возни с капчей — её, кстати, решают 0,24% ботов, остальные даже не пробуют.

Но хуже другое: год он не видел собственную аудиторию — реальные читатели просто утонули в шуме, и он не понимал, что писать дальше.

Загляните в логи, если давно не заглядывали. Сколько у вас там ботов на одного человека?

#веб