Это интересно: чувак выполнил реверс-инжиниринг архитектуры маршрутизации, лежащей в основе Skana AI Fugu, и реализовал её аналог для открытых фронтир-моделей.

tinyrouter — это компактный LLM-маршрутизатор примерно на 10 тыс. параметров, который обучается определять, какую модель использовать и какую роль она должна выполнять для каждого запроса.

Цель была простой: превзойти каждую отдельную модель, направляя каждую задачу наиболее подходящему специализированному исполнителю, вместо того чтобы полагаться на одну LLM.

Вот исходники 😏

Несколько интересных наблюдений:
• Маршрутизация приносит пользу только тогда, когда модели обладают взаимодополняющими сильными сторонами. Если все модели показывают схожие результаты на одном бенчмарке, маршрутизатору практически нечего оптимизировать.
• На MMLU маршрутизатор превзошёл каждую отдельную модель. На математических задачах он показал результат на уровне лучшей модели, поскольку набор моделей демонстрировал очень низкое разнообразие в качестве решений.
• Предварительная инициализация маршрутизатора и настройка функции вознаграждения в эволюционном обучении улучшили процесс обучения. Однако авторы пока не заявляют о реальном приросте качества, поскольку разброс результатов при оценке оказался слишком высоким. Для подтверждения эффекта необходимы более строгие эксперименты.