📩 Разработчики и мейнтейнеры ПО с открытым исходным кодом (open source/FOSS) вынуждены прибегать к все более радикальным мерам в связи с растущим трафиком ИИ-ботов и скрейперов. Годами сложившийся симбиоз между владельцами информационных ресурсов и поисковыми системами, работавший на уровне "джентльменского соглашения" при помощи файлов robots.txt (в них описывается, какие страницы и файлы следует игнорировать автоматизированным системам), теперь нарушен из-за резкого роста индустрии ИИ.
- ИИ-чатботы и поисковики не перенаправляют трафик на ресурсы, владеющие контентом, нарушая жизненно необходимые каналы получения средств.
- В отличие от краулеров Google и др. классических поисковиков, боты новой волны как правило неразборчивы (игнорируют robots.txt) и крайне требовательны к вычислительным и сетевым ресурсам сайтов: после блокировки определенных бот-сетей трафик упал до 97%.
- Разработчики и администраторы интернет-проектов небезосновательно называют текущую ситуацию "DDoS-атакой на весь интернет".
- Средства блокировки нежелательного трафика разнятся от "ловушек" (tarpits/labirynths) для ботов до широкомасштабного отказа IP-адресам целых стран.
- Wikimedia Foundation испытывает аналогичные трудности, предлагает новый механизм доступа к своим ресурсам для "честных" разработчиков ботов.

📌 Комментарий экспертов Центра ИИ МГИМО:
На фоне ажиотажа гонки ИИ некоммерческие интернет проекты - FOSS, публичные библиотеки и др. - рассматриваются многими как источник данных для обучения моделей или контекста при инференсе.
При этом вопрос регулирования бот-трафика редко поднимается законодателями и международными организациями в силу недостатка ресурсов для лоббирования или общественного резонанса по этой проблеме. Параллельная тема использования контента, защищенного авторским правом, по крайней мере, имеет более влиятельных и видимых игроков.
Когда ситуация с доступам к сайтам "общественного блага" станет достаточно плачевной, наиболее вероятно, что один из техногигантов предложит им платформу хостинга, которая со временем станет фактической монополией, как это случилось с Github.