Вчера я советовал сделать сайт agent-friendly через Ora. Но сам до конца не понимал, что именно там надо оптимизировать.
В моей голове это работало так:
я прошу Codex что-то найти
→ OpenAI дёргает Google или Bing
→ какой-то crawler в realtime идёт по сайтам.
1. Как ищет сам Codex
Codex не достаёт свежий интернет из весов модели. Он вызывает отдельный web search tool.
В локальном Codex по умолчанию используется cached search по индексу OpenAI. Ещё есть indexed и live: в live-режиме поиск может открыть актуальную страницу прямо во время задачи. Но это не значит, что он синхронно заходит на каждый сайт.
2. Кто тогда заранее ходит по сайтам
У OpenAI есть несколько разных ботов:
• OAI-SearchBot собирает страницы для ChatGPT Search
• ChatGPT-User может открыть страницу по конкретной просьбе человека
• GPTBot отвечает за потенциальное использование контента для обучения
Можно разрешить поиск и отдельно запретить обучение.
3. А Google или Bing?
OpenAI публично не пишет, какой именно внешний поисковик стоит под капотом Codex и чем конкретно наполняется cached index. Поэтому рассказы в духе «оно точно всегда ходит через Bing» пока додумывание.
so what?
⚡️ твой будущий клиент может вообще не открыть сайт сам. Он попросит своего агента найти API, сравнить сервисы и выбрать, что купить. Если агент не нашёл страницу, не вытащил цену или не понял, куда нажимать, ты можешь не попасть даже в shortlist.
🧩 @danokhlopkov