⚪️ Not Diamond Router


Открыт лист ожидания на доступ к умному роутеру моделей, который для каждого запроса выбирает оптимальную модель.

Авторы в блоге показывают как добиваются заметного снижения цены (от. 25 до 60%) при аналогичном качестве или даже росте качества! Есть бенчмарки роутинга между антропиковскими моделями и в миксе с китайским опенсорсом

Выглядит все достаточно интересно. Растет скорость, снижается цена!..

Использование роутера платное - $0.05 за MTok. При этом они еще и учат модели (нету ZDR - пока? или только для enterprise тира?)

Работает как локальное прокси, которое извлекает метаданные сессии и отправляет их роутеру для выбора моделей. далее запрос идет традиционным путом к традиционным энжпоинтам - к NotDiamond ваша кодовая база напрямую не отправляется, только мета.

В общем, выглядит духоподьемно и интересно, будем наблюдать

🔗 Оффсайт : https://www.notdiamond.ai/
🔗 Блог про роутер : https://www.notdiamond.ai/blog/not-diamond-code-intelligent-model-routing-for-coding-agents
🔗 Тред анонса : https://x.com/tomas_hk/status/2084669945150062619

@deksden_notes