В первом посте я писал на сколько важно валидировать аутпут LLM. Это позволяет убрать галлюцинирование, контролировать constraints, и самое главное строить сложные композиции из LLM агентов которые смогут общаться между собой, декомпозировать задачи, критиковать и рефайнить. Например у нас есть LLM аналитик, LLM инженер, LLM board member итд

После разговора с одним VC, он говорит что за последнее время видел 50 LLM B2B стартапов которые пытаются делать кооперирующих LLM агентов.

Проблема в том что такие агенты при коммуникации умножают свои ошибки, и error propagation в каскаде агентов растет экспоненционально.

Данная проблема решается валидацией и constraints формальными методами над которыми я щас работаю. Но для этого нам нужны доступ к логитам чтобы строить маски. GPT-4 не дает этот доступ так как люди активно дистиллируют модель имея доступ к логитам и быстро забирают конкурентное преимущество openai почти за очень маленькие деньги. Скорее всего провайдеры больших foundation моделей не будут давать доступ к логитам в принципе.

Но появляется вопрос что делать юзерам апи моделей. В любом случае валидация будет нужна всем, и тогда люди будут просто активнее пользоваться опенсоурс моделями и поднимать их сами.
Прэтому я думаю openai и другие провайдеры позволят отправлять маски к ним без доступа к логитам напрямую. Таким образом они не будут проигрывать конкуренцию опенсорсу и другие не смогут заниматься дистилляцией.