Что делать на выходных?
Конечно же, проверять, правда ли свежая LLM-eval статья улучшит мой llm-council-mcp.

Вот увидел статью, что можно улучшить поведение судьи вопросами в стиле Да/Нет.
Ну то есть не говорить судье - поставь оценку качества ответов от 1 до 5, а ответь бинарно на серию вопросов: все ли утверждения подтверждены источниками, нет ли галлюцинаций, правильные ли числа были использованы.
Но получилось так, что в статье это помогало на слабых моделях, а на фронтир моделях вообще не помогает и даже чуток вредит (7х запросов к модели).

Полная статья на медиуме https://medium.com/@azalio_16174/ask-dont-judge-i-tested-bineval-against-a-production-llm-judge-2f37218d6718