Простыми словами.
Судя по всему, сейчас наблюдается тренд на повышение доверия к агентным системам. Агентов без доверия просто нельзя использовать в решениях, несущих хоть сколько-нибудь значимые риски.
Чтобы доверять агентам, нужны как минимум две вещи:
- Прослеживаемость (понимание, на какие в точности данные опирается агент).
- Верифицируемость (возможность формальных проверок вывода).
Если обратиться к нашей работе по мультиагентному нейросимволическому синтезу, то там агенты имеют общую графовую, даже онтологическую память.
И здесь хочу отметить важный момент. На сегодня большая часть существующих практических реализаций памяти агентов использует Markdown. Да, это может дать прослеживаемость, но это принципиально не даст верифицируемость.
Post #413
1.03K
Intelligent Systems Architecture Приняли обе статьи. Provable — здесь ключ. Думаю, тренд уже на траст. Иначе отдача от вложений в LLM будет ниже ожиданий.