Три страховки от тихих сбоев LLM-пайплайна

Модель, которая деградировала, отдаёт тот же JSON и те же 200 OK. Мониторинг зелёный, а очередь на модерацию полна мусора.

Автор напоминает: в 2025-м 42% компаний свернули большинство своих AI-инициатив. Обычные сигналы отказа — таймауты, стектрейсы, скачки p99 — тут просто не срабатывают.

Три меры: golden set как обычный тест по расписанию, PSI по входным данным и явный ответ «отдать человеку». Спорный момент — концовка превращается в рекламу библиотеки для лимита трат.

🔗 Подробнее

@nuancesprog #AI #Python