ШІ-боти ламають вебкеш: дослідження Cloudflare та ETH Zurich

Автоматизований трафік вже сягнув 32% усієї мережі Cloudflare. Згідно з новими даними, ШІ-краулери перевантажують системи доставлення контенту (CDN), погіршуючи роботу інтернету для людей.

🔍 У чому проблема?
ШІ-боти масово сканують рідко відвідувані сторінки в пошуках інформації чи для навчання. Через це популярний контент витісняється з кешу. Як наслідок — сайти для реальних користувачів завантажуються значно повільніше, а навантаження на сервери зростає.

💥 Реальні наслідки
Wikipedia (чиї витрати трафіку зросли на 50%), SourceHut та Fedora зіткнулися з нестабільністю через агресивний збір даних ботами. Багатьом довелося просто їх заблокувати.

🛠 Як це вирішити?
Дослідники пропонують змінити архітектуру: впровадити розумні алгоритми кешування та розділити трафік на два рівні - швидкий кеш для людей і глибший (повільніший) для ШІ-завдань.

Доля ШІ трафіку в комерції наразі низька але 32% ШІ трафіку в Cloudflare вражає.

Першоджерело
Курс | YouTube | Замовити послугу