Лол: Cloudflare, которая стала крупнейшим защитником от ботов и годами отбивала весь интернет от парсеров, выпустила своего... бота-парсера

Новый эндпоинт /crawl запускает бота и позволяет быстро собрать контент с любого сайта всего одним API-запросом. Компания обещает, что их бот будет вести себя этично и не будет нарушать правила сайта, в отличие от других «неправильных» ботов 😇

Просчитались, но где?

Пет-проект