Чуть на умах решил проверить производительность Claude Code CLI и OpenAI Codex CLI на различных этапах разработки (знакомство с кодовой базой, анализ на наличие уязвимостей, разработка плана на доработки, тестирование и тд).

Первый этап - знакомство с кодовой базой. Взял обе CLI, прогнал через 14 относительно популярных open-source Python репозиториев* - по 3 запуска на каждую пару, 84 прогона, одинаковый промпт:

1. Просканируй структуру проекта
2. Определи основной язык и фреймворки
3. Найди точки входа (main, cli, api)
4. Найди ключевые модули и их назначение
5. Подсчитай метрики (файлы, строки кода)

Получились два совершенно разных портрета:

Claude Code ведёт себя как разработчик в первый день на проекте: читает README, вызывает tree, находит точки входа, лезет в конфиги, грепает импорты - и так от 5 до 62 ходов, подстраиваясь под размер и сложность проекта. В среднем - 17,9 итерации на один анализ.

Codex CLI в эксперименте действовал иначе: один проход - и ответ. Как эксперт, который оценивает проект по беглому осмотру, а не по поэтажному обходу. Codex быстрее в 1,84 раза.

По деньгам в пересчете на токены: $0,49 за один анализ у Claude, $0,28 у Codex - разница 21 цент.

* awesome-python, black, catboost, celery, django, fastapi, langchain, pandas, poetry, pydantic, qlib, requests, rich, scikit-learn