⚪️ Февральский eval-2 (4): добавляем Gemini 3.1 в список

#ddeval #feb2026eval2

Итак, Gemini 3.1 в эвале. Благодаря тому что Гугол поздно, но все таки расчехлился с добавлением gemini 3.1 в cli, я могу нормально провести эвал в родной гугловской упряжке (первоначально были идеи тестить в дроиде, но там кончился лимит моей мелкой подписки).

Давайте пощупаем эту Gemini 3.1 Pro Preview. Условия стандартные, сэмплинг @3, родная упряжка Gemini Cli. Поехали!

Тайминги такие: от 150s до 350s. Приличный разбег

Чего нашлось: 11 всего, верифицировано 7, частично 4 (в принципе, 100%)

А вот распределение по приоритетности: verified / partial

p0: 0 / 0
p1: 0 / 0
p2: 3 / 1
p3: 3 / 0
p4: 1 / 3

Интересно, что это единственная модель, которая нашла зачем то p4, при этом не рассмотрев p0/p1 (которые очевидно есть).

▶️ Вывод: 3.1-Pro не впечатляет по находкам issues, ищет слабовато и не особо глубоко, но verify rate = 100% что о чем то да говорит.


🟢 Уф! На этом - все ))


@deksden_notes