LLM зацикливается: как найти причину, не трогая параметры?

LLM в продакшене может выглядеть стабильной неделями, а затем начать зацикливаться на одном абзаце, упираться в лимит токенов и создавать нагрузку на инфраструктуру — без единой ошибки в логах. В статье разбирают, как диагностировать такие сбои: какие сигналы помогают найти причину, почему изменение параметров генерации часто оказывается неверным первым шагом и как выстроить защиту от повторных петель на уровне системы. Разбирается кейс.

https://habr.com/ru/companies/otus/articles/1067766/

👉 Data Science | Machinelearning [ru]