поднял все-таки litellm, спасибо братану Клоду.
Буду потихоньку переводить проекты
Из интересного - в env контейнера можно задать PROXY и NO_PROXY, чтобы роутить зарубежные и наши модели
HTTP_PROXY=
HTTPS_PROXY=
AIOHTTP_TRUST_ENV=True # без этого aiohttp игнорирует прокси
NO_PROXY=localhost,127.0.0.1,db
