🧠 Claude Code читает не страницу, а её пересказ

Разбор на Habr вскрыл ключевое различие двух инструментов Anthropic. На выборке Profound из 24 135 ответов на 1 724 запроса веб-поиск срабатывал у Claude в 93% случаев, у Claude Code — лишь в 13%. Средняя длина ответа тоже разошлась: 459 слов против 322, а в ответах Claude Code списки встречаются в 94% случаев, таблицы — в 54%, у Claude эти доли 56% и 11% соответственно.

Механика объясняется документацией. Claude через Messages API получает цитаты с адресами и кусками текста до 150 символов. Claude Code открывает страницу инструментом WebFetch, но до основной модели доходит пересказ от вспомогательной ИИ-модели меньшего размера, а длинные страницы обрезаются. Исключение — зашитый список примерно из 80 доменов документации вроде Python Docs, MDN, React, которым отдаётся Markdown без пересказа. Обычный сайт в этот список не входит и теряет детали.

Для владельцев сайтов Anthropic держит трёх ботов: ClaudeBot для обучения, Claude-User для ответов пользователям, Claude-SearchBot для индексации. Все соблюдают robots.txt — в отличие от ChatGPT-User у OpenAI, который может файл игнорировать. При этом llms.txt почти не работает: по данным Ahrefs, у 97% доменов с корректным llms.txt за месяц не было ни одного обращения, а Claude-User набрал лишь 2,5% всех запросов к этому файлу.

Anthropic не публикует user-agent для WebFetch в Claude Code — значит, владельцы сайтов не могут точно отличить агента от других заходов в журнале доступа. Любая статистика о визитах Claude Code построена на косвенных признаках, а не на факте. Пока рынок обсуждает SEO под LLM, реальная задача проще: разделить ботов в robots.txt и проверить, что содержимое отдаётся без JavaScript.

#ClaudeCode #Anthropic #SEO #robotsTxt #llmsTxt