Это когда вы пишете сами желаемый результат или берете выдачу фронтир модели, потом гоняете подопытную модель, а фронтир моделью как судьей смотрите насколько подопытная попала или нет в золотой стандарт (да, я до этого гонял такие тесты руками).
Это позволило мне погонять цикл оптимизации промпта, когда Клод смотрит на выдачу локальной модели, замечает косяки и пробует исправить промпт, потом прогоняет еще раз. Любопытно, что у него получилось улучшить результат.
Очень удивился, что Qwen3-30B оказался хуже 8B, а потом клод указал, что это A3B MoE модель, о чем я знал, но почему-то упустил (немного стыдно).
Штука в том, что у нее всего 3B активных параметров. Т.е. она больше знает, но хуже думает, а 8B думает всеми 8 миллиардами и в итоге лучше следует структурному выводу.
Но тут нужно определиться что значит “хуже”, я же не софт пишу и не математику складываю. Хуже это когда модель не указала детали, или не нашла задачи на будущее. Что не делает текст полностью непригодным, особенно когда не видишь в сравнении:
insight_accuracy score: 3/5
The insights are generally accurate but lack precision. For example, insight doesn't specify the actual numbers (92% vs 98% requirement)…
—
action_precision score: 1/5
The candidate identifies no action items at all, showing 'NO' in raw responses. This is a critical failure as the golden output contains 5 specific action items including XXX adding YYY to…
Короче, интересно. Больше не всегда лучше. Сравнимые по характеристикам модели ведут себя совершенно по-разному. Теперь буду двигаться к Qwen3.5.