Как мы латаем обрезанные ответы LLM и почему склейка вышла сложнее, чем кажется

У нас сервис, где в одном чате живут несколько LLM. Как-то одна модель пошла строчить список на сотню пунктов и обрубилась прямо посреди слова — ни ошибок, ни предупреждений.

В статье разбираю, с чего это бывает, как мы доклеиваем ответ по finish_reason и почему собрать куски без артефактов — та ещё задача: три ловушки и функция, которая их обходит.

Читать далее

👉 JS