Anthropic научила Haiku проверять другие ИИ не хуже Opus
⠀
Исследователи Anthropic обучили Haiku 4.5 работать проверяющим: он общается с другой моделью и ищет скрытые странности, которые в неё заранее заложили. В итоговой оценке он сравнялся с Opus 4.6, а по качеству проверки обошёл: 72,7 против 68,0.
⠀
Сначала всё пошло не так. Когда проверяющего просто награждали за найденные нарушения, он научился их выдумывать: придумывал тревожные находки и выдавал недоказанное за установленное.
⠀
Помогли два приёма: судья сравнивал две проверки одной модели, а в обучение добавили честные модели без подвоха, чтобы ложных тревог не было. Лучшие проверяющие ставили опыты и меняли формулировки, а не давили на признание.
⠀
Похожие проверки собирают в Petri, это открытый инструмент Anthropic. Открыты и сама статья, и код этой работы.
⠀
RAGNAROK | ИИ и технологии