✔️ Маленькие LLM вместе могут конкурировать с гигантскими моделями, если заставить их спорить правильно

Вместо одной огромной модели используется группа более простых моделей, которые критикуют друг друга и по кругу улучшают общий ответ.

Идея из исследования *Mixture-of-Models: Unifying Heterogeneous Agents via N-Way Self-Evaluating Deliberation*.

В чём суть

Систему строят не как один “мозг”, а как команду моделей:

1. Несколько разных LLM дают первоначальные ответы
2. Они читают ответы друг друга
3. Критикуют, дорабатывают и предлагают улучшения
4. Лучшие идеи проходят дальше
5. Процесс идёт раундами, пока качество растёт

Это называется N-Way Self-Evaluating Deliberation — многостороннее самооценивание с повторным обсуждением.

Почему это работает

- Плохие ранние ответы можно исправить на следующих раундах
- Ошибки одной модели подхватываются другими
- Идеи не “залипают” в первой версии

Чтобы ни одна модель не доминировала:

- используется анонимная оценка
- применяется квадратичное голосование, чтобы лучшая идея побеждала честно

Роль брокера

Специальный “брокер” выбирает, какие модели лучше подходят под конкретную задачу, а дальше они работают как команда, перепроверяя друг друга.

Главный вывод

Исследователи показывают, что consumer-модели могут конкурировать с сильнейшими LLM, если:

- есть структурированная система раундов
- есть механизм критики
- есть правила отбора лучших ответов

Система меняет вычисления на “память”:

вместо огромной модели используется больше раундов текстовой обратной связи.

Чуть больше времени — но гораздо дешевле железо.

Что это означает на практике

Можно временно собрать “сильную” модель из набора разных LLM:

- без дообучения
- без гигантских GPU
- просто через правильную организацию взаимодействия

Это способ усилить интеллект системы за счёт структуры, а не размера.

Статья: arxiv.org/abs/2601.16863