🌐 Cloudflare обвинила Perplexity в агрессивном сборе данных

Компания Cloudflare опубликовала исследование, в котором утверждает, что стартап Perplexity использовал скрытые боты для массового скрапинга веб-сайтов, игнорируя запреты, установленными в файлах robots.txt.

🔍 Боты Perplexity создавали миллионы запросов в день, подменяя свои User-Agent и имитируя браузер Google Chrome. Обнаружить эту активность удалось благодаря жалобам клиентов Cloudflare.

📉 Глава Cloudflare, Мэтью Принс, ранее выражал опасение, что агрессивный сбор данных подрывает экономику интернета, особенно для новостных ресурсов. В ответ компания выпустила инструмент для защиты контента и планирует запустить платформу, позволяющую взимать плату с ИИ-разработчиков за доступ к данным.

🔗 Исходный материал Cloudflare
🔗 Обзор от TechCrunch

Источник изображения: Štefan Štefančík/Unsplash

@Unlim_AI