Data Engineering Technologies.
SQL, Python, Kafka, Spark, Pandas, Airflow, Clickhouse, Greenplum, Postgres, dbt, LLM, Agentic systems, AI, robots, drones etc.
Boost channel - https://t.me/boost/data_engi
Post #1349
167
Голосование агентов заменили проверкой «от ответа к фактам» 🍴
10 сентября исследователи предложили новый способ разрешать споры между LLM-агентами. Проблема большинства и модели-судьи в том, что они рассуждают тем же путём — от входных данных к ответу — и часто повторяют общую ошибку.
Новый метод строит независимую обратную оценку: насколько вероятны наблюдаемые факты, если каждый из предложенных ответов верен.
Затем система:
🔘 сравнивает вывод каждого агента с обратной оценкой;
🔘 повышает вес наиболее согласованных вариантов;
🔘 объединяет прямое и обратное рассуждение в финальный ответ.
На случаях, где агенты расходились, метод обошёл лучшие варианты голосования на 1,2–4,7 процентного пункта для всех пяти протестированных LLM.
Для тебя здесь важен принцип: полезное разнообразие агентов — это не разные роли и промпты, а независимые способы проверки. Вместо ещё одного судьи можно добавить обратный проверяющий контур, который ищет согласованность ответа с исходными фактами.
Ограничения серьёзные: использовался один синтетический медицинский тест с закрытым набором ответов, одинаковая модель для всех агентов и только один раунд. Для открытых задач метод пока не проверен.
Пруф: исследование When Agents Disagree от 10 сентября 2026 года
#aiagents #multiagent #reasoning #llmevaluation #bayesianinference #agentarchitecture
@data_engi
arXiv.org When Agents Disagree: Bayesian Backward Reasoning as a Label-Free... When multiple LLM agents yield conflicting answers, the decision-making process dictates whether agent diversity improves performance or merely compounds shared errors. Existing collective... 10 сентября исследователи предложили новый способ разрешать споры между LLM-агентами. Проблема большинства и модели-судьи в том, что они рассуждают тем же путём — от входных данных к ответу — и часто повторяют общую ошибку.
Новый метод строит независимую обратную оценку: насколько вероятны наблюдаемые факты, если каждый из предложенных ответов верен.
Затем система:
🔘 сравнивает вывод каждого агента с обратной оценкой;
🔘 повышает вес наиболее согласованных вариантов;
🔘 объединяет прямое и обратное рассуждение в финальный ответ.
На случаях, где агенты расходились, метод обошёл лучшие варианты голосования на 1,2–4,7 процентного пункта для всех пяти протестированных LLM.
Для тебя здесь важен принцип: полезное разнообразие агентов — это не разные роли и промпты, а независимые способы проверки. Вместо ещё одного судьи можно добавить обратный проверяющий контур, который ищет согласованность ответа с исходными фактами.
Ограничения серьёзные: использовался один синтетический медицинский тест с закрытым набором ответов, одинаковая модель для всех агентов и только один раунд. Для открытых задач метод пока не проверен.
Пруф: исследование When Agents Disagree от 10 сентября 2026 года
#aiagents #multiagent #reasoning #llmevaluation #bayesianinference #agentarchitecture
@data_engi
- ❤🔥 1
