Open-source API-шлюз із затримкою менше мілісекунди для роботи з 250+ мовними моделями.
Ключові можливості:
• Маршрутизація до 1600+ моделей через провайдерів мовних, візуальних, аудіо- та графічних рішень
• Автоматичні повторні спроби, резервування та балансування навантаження для продакшн-середовища
• Розмір 122 КБ із щоденною обробкою понад 10 млрд токенів
⚡️ Технології: TypeScript
🛠 Розгортання: локально через
npx або на AWS EC2Переглянути репозиторій
Підписатися • GitHub 🇺🇦
#ai #api #nodejs #tools #opensource