💡 Что если можно гарантировать, что ответ LLM всегда будет строго в нужном формате?

Большинство инструментов идут постфактум-путём.
Например, Instructor или PydanticAI проверяют вывод после генерации. Если валидация не прошла - ошибка отправляется обратно в модель, и она пробует снова.

Каждый такой ретрай - это токены, время и деньги, которые не дали полезного результата.

Подход Guidance принципиально другой.
Он ограничивает пространство возможных токенов во время генерации, поэтому модель просто не может выдать невалидный формат.

Не «сгенерировал криво - починили», а «криво сгенерировать невозможно».

Что это даёт:

Жёстко ограниченные ответы через regex и функции выбора

Python-логика прямо в процессе генерации (if/else, циклы)

Генерация JSON с валидацией по Pydantic-схеме

Это уже не просто «prompt engineering».
Это превращение LLM из болтливого генератора текста в управляемый программируемый компонент.