⚪️ 5.2 и 5.3-codex - проведение анализа

#ddeval #52vs53

3️⃣ Следующий пункт плана - это начать делать сводные таблицы выявленных проблем. Для этого мы сделаем две свежие сессии кодекса с 5.2 xhigh, каждая будет анализировать по 3 отчета одной модели.

Задача анализа - двухэтапная. Брать каждую выявленную проблему, верифицировать в коде, добавлять заключение верификатора и формировать сводную табличку:
* N пп
* Описание проблемы
* Статус верификации
* Критичность проблемы
* Отчет 1 : наличие в отчете
* Отчет 2 : наличие в отчете
* Отчет 3 : наличие в отчете

Итого наши 2 агента с xhigh работали около 20 минут, и сделали файлик с итоговыми таблицами.

* Gpt 5.2 : всего 38 проблем выявлено. 100% верифицировано как подтвержденные в коде.
* Gpt 5.3-codex : 41 обнаруженная проблема, 100% верифицировано, но одна - частично (проблема имеет место быть только для старых рантаймов);

В общем, на будущее - стадию верификации можно пропускать. Модели довольно сильные, если что то находят, то это по делу.

4️⃣ И, финальный шаг - сделать сводный общий отчет. Просим новую сессию 5.2 xhigh взять два отчета и свести в единую таблицу. Получаем итоговый файл. В нем уже 67 пунктов - это значит разброс аспектов анализа весьма высок.

Так и получилось: Итоговая статистика по проблемам, по столбцу «Кол-во ✅»
* 1 обнаружение: 52 строки
* 2 обнаружения: 6 строк
* 3 обнаружения: 4 строки
* 4 обнаружения: 0 строк
* 5 обнаружений: 4 строки
* 6 обнаружений: 1 строка

Из 52 проблем, которые обнаружил единственный агент в 23 случаях это был 5.2 и в 29 это был кодекс-5.3! То есть условная ничья, с некоторым преимуществом 5.3. Вот вам и широкий фокус - 1 обнаружение в 52 строках из 67!

...