Как сделать переключалку на другие апи, чтобы защититься от «штормов».

Бывают чистки у гугл, опен аи и тд.

Внутри вашего бота/сервиса делаем функционал:

В случае, если генерация идет с ошибкой через наш сервис, то запрос отправляется уже в другое апи, более дорогое или официальное. Таким образом во время штормов вы будете защищены и спокойны.

Что не стоит делать:
Полную переключалку в случае определенного количества ошибок, например если 30 ошибок подряд, то апи переключается на другой и там остается. Ошибки могут быть связаны с запросами пользователей (нецензурная лексика, порно и тд.) и это может дать много ошибок подряд со стороны апи гугла/опен аи…

Переключалка сработает на другой апи, но вы потеряете много денег, так как на самом деле все может быть стабильно