Делюсь находкой: self-hosted прокси к Anthropic / OpenAI / xAI / OpenRouter с дашбордом для отслеживания затрат и автоматическим выбором более дешёвого провайдера. Т.е. вот на своём сервере разворачиваешь и дёргаешь модели в едином интерфейсе. А сервер сам их маршрутизирует и автоматически переключает при сбоях.

Код на гитхабе: https://github.com/ekailabs/ekai-gateway

Нужно просто клонировать репо, заполнить env с ключами и запустить docker compose up --build -d

Пример использования:

curl -X POST http://localhost:3001/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"gpt-4o","messages":[{"role":"user","content":"Hello"}]}'

# Check usage:
curl http://localhost:3001/usage

Ну и, конечно, можно просто поменять ANTHROPIC_BASE_URL или OPENAI_BASE_URL на localhost:3001 и запустить Claude Code или codex, всё будет работать.

На видео сам автор проекта рассказывает про него, выделяя ключевую проблему как лимиты. На вкус админа @neuro_channel, ключевая проблема скорее в ошибках. Разные API периодически сбоят, автоматическое переключение с приоритетом на самый дешёвый из доступных — топ фишка. Лично ещё не пробовал, но в планы поставил.