На GitHub появился бенчмарк, который измеряет насколько эффективно Claude Code генерирует код на разных языках

На GitHub появился репозиторий mame/ai-coding-lang-bench, и это, пожалуй, первый количественный бенчмарк, который отвечает на вопрос "какой язык лучше для AI-кодинга”. Claude Code реализует упрощенный Git на 13 языках, по 20 прогонов на каждый, две фазы (с нуля + расширение функциональности). Автор, коммитер Ruby, честно предупреждает о bias и выкладывает сырые данные.

Лидеры: Ruby (73s, $0.36), Python (74s, $0.38), JavaScript (81s, $0.39). Все динамические. Go четвертый (101s, $0.50).

Самая показательная находка, которую из первых принципов не угадаешь: TypeScript почти вдвое медленнее чистого JavaScript (133s против 81s) и на 60% дороже. Та же семантика, но статическая типизация превращается в прямой налог на генерацию. Python с mypy добавляет 67% overhead. Ruby со Steep замедляется в 2-3.2 раза. Механика понятна: типы добавляют модели дополнительное пространство ограничений, которое надо удовлетворять одновременно с бизнес-логикой, и это конвертируется в токены и доллары. OCaml и Haskell генерируют самый короткий код, но по скорости в нижней половине: когнитивная плотность языка стоит дорого.

Ограничения в исследовании существенные: Задача мелкая (мини-git), один автор, нет CI/CD, нет валидации другими моделями. Как поведет себя генерация на проекте в десятки тысяч строк с реальными зависимостями, мы не знаем. И главное: бенчмарк измеряет стоимость прототипирования, а не стоимость владения кодом, что обычно гораздо более трудоемко. Статическая типизация может проигрывать при генерации, но ее ценность на этапе поддержки и рефакторинга здесь не учтена.

Эффективность AI-генерации (и последующей AI-поддержки) становится таким же свойством языка, как runtime-производительность или эргономика для разработчика.

Стратегия "прототип на динамическом языке, миграция на статический для продакшена" возможно не лишена смысла.