proxy:
port: 9999
target:
path: https://.../v1
apiKey:
env: MY_AWESOME_API_KEY
models:
"deepseek/deepseek-v4-flash-0731":
extraBody:
provider:
sort: throughput
max_price: {"prompt": 0.15, "completion": 0.35}
"z-ai/glm-5.2":
extraBody:
provider:
sort: throughput
max_price: {"prompt": 0.8, "completion": 2.5}
(там у них есть это поле, где можно провайдеров сначала отсортировать по price/throughput/latency, потом ограничить по цене, чтобы случайно не попадать на модели с инвалидностью, выдающие три токена в 10 секунд берущие за это в два раза больше чем в среднем по палате)
Прикручу к этой проксе логирование, пусть все сессии постоянно складывает в какой-нибудь sqlite, бахну к этой базе фронт за полчаса, пусть себе копится, потом придумаем что с ними делать.
Иногда, например, интересно почитать системные промпты клода/опенкода/кодекса и прочих 🙂