Вопрос: а вообще, почему структурированный вывод JSON - это так сложно?
LLM, как мы знаем, в основном основаны на архитектуре
transformer, которая использует авторегрессивный генератор. Трансформер рассматривает каждое слово как лексему и генерирует одну лексему за раз. LLM не может вернуться назад и исправить результат после его генерации, что делает последовательный вывод JSON очень сложным.🌟 В то же самое время товарищи из LaminiAI решили эту проблему на корню
Отделение процессов генерации отдельных лексем с помощью машины состояний с поддержкой пакетной обработки, потоковой передачи и KV-кеша — вот что они сделали.
И в результате модель гарантированно выдаёт правильный, валидный JSON
@bigdatai