⚪️ Подводим итоги первого этапа

#ddeval #feb2026eval

Сейчас у нас есть консолидированные отчеты каждого агента, по 3 отчета на каждого агента. Теперь необходимо консолидировать их в единый отчет и посмотреть статистику.

Методика простая: консолидируем найденные проблемы в единую табличку. И анализируем сколько итоговых проблем найдено каждым агентом. Давайте посмотрим результаты.

Запрягать на анализ будем 5.2 на xhigh, так как нам нужно внимательно все посчитать.

Итоги: всеми агентами найдено 227 проблем. Интересные цифры - сколько уникальных проблем найдено определенным агентом/моделью:
- glm-5: 45
- Minimax M2.5: 27
- Kimi K2.5: 51 (!!!)
- Opus: 44
- Gpt5.2: 24
- Gemini: 17

Получилось что 208 из 227 проблем найдены только одним агентом. И только 19 проблем были найдены несколькими агентами: 9 проблем нашли 2 агента, 6 — 3 агента, 3 — 4 агента, 1 — 5 агентов.

Проценты верифицированных находок такие:
- glm-5: 63.2%
- Minimax M2.5: 63.9%
- Kimi K2.5: 72.4%
- Opus: 81.8%
- Gpt5.2: 93.1%
- Gemini: 84.6%

👉 Важно понимать: у "широкого" анализа существуют особенности методики. Она не сравнивает воможности моделей впрямую, потому что на широкой задаче находки зависят в значительной степени от случайности, куда "качнется" внимание модели. Я сравниваю общее поведение моделей и делаю некие обобщающие наблюдения.

Внимательность модели и насколько она ходит "глубоко" будем тестировать вторым этапом - "узкая" задача позволит сравнить что сумеют найти разные модели/агенты.


‼️ Что могу обобщить в наблюдениях этого этапа:

* процент верификации некоторым образом отражает "сообразительность", внимательность и въедливость модели; в целом мои "ощущения" сошлись с цифрами, но от GLM я ждал большего;
* модели "видят" очень разные вещи; мне нравится термин "оптика" - и для объемного взгляда на проект нужно смотреть на него чере разную оптику;
* мультисемплинг также работает: каждый прогон даже той же моделью находит разные моменты; меньше 3х прогонов делать бессмысленно - у меня часто 2 прогона почти идентичные, а вот 3 уже выделяется; наверное, для сурьезных вопросов ориентируйтесь на 5 прогонов; да, лимиты - вылетают, есть такое;
* верификация находок, желательно "умной" моделью нужна обязательно - процент подтвержденных находок даже фронтирных моделей не 100%; для фронтирных китов он в районе 60-75% всего;
* распределение между Gpt/Opus/Gemini отражает мое ощущение от работы с моделями.
* выходит что Glm все еще посильнее Minimax
* удивляет Kimi довольно высокими результатами, мне казалось Glm-5 может быть выше нее, но нет - видимо, такой класс задачи.
* "руками" делать эвалы довольно хлопотно - для регулярных тестов нужно будет автоматизировать;
* упряжка openCode работает местами даже лучше CC: во всяком случае GLM в openCode работает стабильнее, у меня было меньше лагов
* лимиты Opus в Антигравити на подписке AI PRO - смешные

🟢 Такой вот эвал получился! Попробую на днях сделать второй этап.

(ц) Такое мы практикуем

@deksden_notes