🤖 AI Gateway: фоллбеки по уверенности модели

Vercel добавил в AI Gateway возможность эскалировать запрос на решение к запасной модели, если ответ основной модели не проходит заданное вами условие доверия. Условия можно комбинировать, и они действуют поверх уже существующих простых fallbacks по именам моделей.

Настройка делается добавлением условного объекта в providerOptions.gateway.models; если не указывать — поведение сохраняется прежним. Условия применяются к Choice и Score ответам, для булевых вопросов работает диапазон вероятностей. Если триггер срабатывает, выполняется вторая попытка — и она, как и первая, оплачивается отдельно. Фичa сейчас в бета‑статусе.

Новость

#Vercel #AIGateway #AI #ML #DevTools