Прикольная библиотека для получения желаемого формата ответа от LLM в 100% случаях.

Под капотом, они собирают FSM, который пропускает только валидные tokens на каждом новом шаге. Можно описать формат ответа начиная с regex до JSON модели по pydantic схеме.

От галлюцинаций это не спасает, но уменьшает количество проблем и работает быстрее Microsoft Guidance.

https://github.com/normal-computing/outlines