В сегодняшнем выпуске дайжджеста Java Annotated Monthly (от JetBrains), помимо новости о выходе Spring Boot 4 и Spring Framework 7, содержалась заметка о запуске Developer Productivity AI (DPAI) Arena — открытой площадки для измерения показателей и сравнения эффективности ИИ-агентов для разработки ПО 👨‍💻

По сути, это публичная арена для сопоставления возможностей инструментов ИИ-кодинга. На ней собраны 15 форков от известных opensource-проектов, представляющих примеры различных архитектур enterprise-приложений, и для каждого проекта подобран набор задач с четко описанным требуемым результатом, по которому выводится балл за решение (от 0 до 100) ⚖️

Примечательно, что в эти 15 проектов попал и Spring PetClinic REST — та самая модификация известного демо-приложения Spring PetClinic, которую я использую в своих тренингах. На скриншоте приведена задача по добавлению в неё кэширования наиболее частых запросов, с которой относительно (не)успешно справился агент Codex от OpenAI 🧠

К слову, этот же агент сейчас числится лидером в "турнирной таблице" DPAI Arena, но надо понимать, что площадка ещё только запускается, поэтому некоторых сильных участников на ней ещё попросту нет. Да и сами лабораторные проекты сейчас на 90% подобраны из мира JVM, поэтому слово "multi-language" в описании проекта надо воспринимать с поправкой на новизну 🚼

Инициатором, автором и пока что единственным разработчиком DPAI Arena является компания JetBrains, однако с самого начала она заявляет намерение передать этот проект в Linux Foundation, чтобы он остался открытым, вендор-нейтральным и полностью прозрачным. При этом присоединиться к проекту уже сейчас могут не только технологические вендоры и создатели кодинг-агентов, но и конечные пользователи — разработчики ПО — за счёт предоставления чужих или своих бенчмарков и датасетов 🧪

Возможно, именно эта площадка уже скоро станет дефолтным "справочником" при принятии решений о выборе инструментов разработки. Похоже, что шансы есть. Поживем-увидим 👀

https://dpaia.dev/