Мониторинг зеленый, алертов нет, а модель упорно не отвечает пользователям. Кто узнает о проблеме первым? Правильно, поддержка.
Все потому, что обычная HTTP-проверка до модели не доходит: гейтвей отвечает 200 OK, даже когда модель снята с обслуживания или уперлась в лимиты.
Как устроен новый тип проверки AI-моделей, разобрал Миша Шпаков, наш руководитель разработки. Решение простое: вместо пинга эндпоинта — настоящий запрос к модели и проверка ответа.
Ждем еще одну статью от Миши?
🍾 — конечно
⚡️ — безусловно