Зарубежные ИИ-боты массово выкачивают данные российских брокеров

По данным Servicepipe, доля ботов-скраперов в ИИ-трафике брокерских сайтов взлетела с 7% в июне до 68,82% в августе. В абсолютных цифрах - с 420 тысяч запросов до 5,5 млн.

Кто качает данные

▶️Бот Meta (признана экстремистской и запрещена в РФ) - 55,14%, больше 3 млн запросов
▶️ClaudeBot от Anthropic - 27,78%, свыше 1,5 млн
▶️GPTBot от OpenAI - 8,83%
▶️Bytespider от ByteDance - 6,36%
▶️TikTokSpider - 0,53%

🔴Лидерство Meta в Servicepipe связывают с агрессивной подготовкой к запуску новых моделей Llama. Отдельно замечен Google-Extended, который пополняет датасеты для Gemini в обход обычного поисковика.

Никакого целенаправленного интереса тут нет, считает Вячеслав Арбузов из «Финама». Это часть общего голода моделей по качественным данным, а сайты брокеров удобны: много структурированной и регулярно обновляемой информации о тарифах, инструментах, условиях торговли и аналитике.

Сергей Зорин из «Цифра брокера» добавляет: Россия - крупная страна, и моделям важно понимать не только английский. Сбор таких данных помогает лучше работать с русскоязычной финансовой тематикой.

🔴Тарифы и котировки быстро устаревают, и если зашить их прямо в модель, она потом уверенно назовёт отменённую комиссию. Поэтому такие данные обычно подтягивают через RAG во время ответа.

🔴А вот для самого обучения ценнее долгоживущее: финансовая терминология, описания продуктов, методологии, аналитические отчёты. Они учат модель предметному языку и структуре рассуждений в отрасли.

Одновременно упали другие категории трафика: ассистенты с 33% до 8,78%, поисковые краулеры с 60% до 22,4%.

⬛️Брокеры могут закрыться, современные системы защиты позволяют фильтровать ботов выборочно. Но полностью рубить ИИ-трафик Арбузов не советует - агенты всё чаще будут искать информацию от имени пользователей, и компании может быть выгодно, чтобы её тарифы и продукты были им доступны.

🦾 AI для бизнеса в Telegram | в MAX