Як часто сайти блокують бота CCBOT.
Після буму LLM сайти почали активніше блокувати ботів. І найбільш популярні сайти блокують ботів частіше.

Це створює загрози для сбору даних у відкриті датасети, на яких навчаються AI.

Найпотужніші LLM моделі мають якісні датасети. Закриття даних технічними або юридичними методами створює на ринку дисбаланс технологій, найкращі будуть мати тільки технологічні гиганти, а всі інші купляти в них токени, та й ще вирішувати лише дозволені задачи.

Короче, є така проблемка на ринку LLM. Яку ми відчуємо вже дуже скоро.

P.S. Знайшов гарне відео від Common Crawl
https://youtu.be/Olpz0imjPEE?si=RJ1YN_C1y9wF1kGC

Цікавий факт: краулінговий бюджет в CC (і скоріш за все це стандартна практика) залежить від Pagerank сайту.