Мем дня: Cloudflare, которые годами защищали сайты от ботов-парсеров, выпустили парсер

Они анонсировали эндпоинт /crawl для Browser Rendering, который позволяет сканировать и извлекать контент целого сайта одним API-запросом. Он предназначен для «RAG пайплайнов, обучения AI, мониторинга и исследований».

Ирония в том, что Cloudflare – абсолютный лидер как раз в защите сайтов от нежелательных краулеров и ботов, которые собирают данные для обучения ИИ.

В свое оправдание они замечают, что их бот (в отличие от всех остальных злюк-ботов) будет вести себя хорошо: уважать правила сайта и robots.txt 😇