Новая статья от Anthropic про evals!

Пока мы тут с вами откисали на праздниках, Anthropic сделали нам новогодний подарок, и выкатили крутой пост про измерение качества работы агентов. Как всегда, годнота с кучей практических советов, следование которым может сэкономить часы, потраченные на отладку и помочь понять, почему все перестало работать, хотя вчера работало нормально.

Многие из них я видел раньше, но настолько лаконичное и одновременно емкое описание evals я вижу впервые. Многое рифмуется с тем, что писал Ринат в @llm_under_hood и в курсе, но есть и новые для меня вещи

Я приведу здесь несколько тезисов, просто чтобы описать, о чем статья:

🟢С самого начала разработки агента формируйте набор тестов в виде 20-50 примеров, которые вы и так проверяете вручную. На этом этапе ваша задача - отладить пайплайн тестирования и научиться запускать его после каждого изменения, в максимально близком к продовому состоянии.

🟢По мере роста проекта пополняйте тестовый набор понятными изолированными примерами, каждый из которых проверяет какой-то простой механизм вашего агента или их комбинацию.

🟢Следите чтобы множество ваших тестов было сбалансировано относительно запросов вашего продукта. Если вашего агента просят выключить свет в 80% случаях, то в датасете должно быть много запросов на тему управления умным домом, но также помимо них обязательно должны быть нерелевантные запросы, а также низкочастотные - в соответствующем вашему продукту количестве.

🟢 Чем лучше настроены ваши инструменты для тестирования, и чем полнее ваш тестсет, тем быстрее вы будете замечать несоответствия в поведении системы, и внедрять исправления. Если тесты настроены правильно, то вы сможете даже приблизительно предсказать, на сколько изменится success rate вашей системы, просто глядя на статистику очередного прогона.

В общем, очень крутой и емкий материал, с примерами, и максимально понятный даже новичку в теме. Читать строго обязательно!

Линк

@korneychukov