⚪️ Февральский eval-2 (3) : увеличиваем компьют!

#ddeval #feb2026eval2

Итак, следующий этап и план эксперимента: а насколько изменятся результаты, если мы увеличим компьют? То есть сделаем семплинг заметно побольше: текущий эвал был с @3, а если мы сравним gpt-5.2 с glm-5 на @12?

Мы увеличиваем количество "прогонов" ревью флоу (семплинг) до @12, и анализируем - чего там получится по статистике находок. Увеличится ли количество найденных находок более высоких приоритетов?

Приступаем! Итак, тайминги этого большого @12 прогона флоу были в диапазоне 100-150 секунд на каждый сэмпл, с вариацией до 270s.

После dedupe этапа (дедупликации issues) и верификации - посмотрим как постарался поработать glm-5!

Напомню про glm-5 в эвале @3: найдено 12, распределение p0-p3 : 0 | 4 | 5 | 3

В новом эвале @12 Всего было найдено 101 issues, из которых 24 verified, 25 partial. То есть коэффициент верификации примерно сохраняется.

Дальше verified / partial:
p0: 0 / 1
p1: 9 / 5
p2: 12 / 17
p3: 3 / 3

▶️ Выводы: вполне себе статистика улучшается. p0 почти нашли (частичный), довольно много p1 (и подтвержденных, и частичных) и p2. По мне - так неплохое увеличение статистики за х5 компьюта

▶️ Если сравнивать с gpt-5.2: 26 итого, распределение: 2 | 8 | 8 | 8. Видно, что глубины мышления таки не хватает, чтобы вытащить p0. Но дополнительный компьют позволяет "набить" достаточно более простых p1/p2/p3.

👉 Компьют заметно улучшает результат, но выше головы прыгнуть не позволяет.

Вроде бы это было понятно и заранее, но теперь видно предметно на цифирках

Ну и для полировки картинки текущего исследования нам бы дооценить Gemini 3.1 Pro в эвале. С автоматизацией это недолго! Приступим ...


@deksden_notes