🙃 IBM добавила рассуждение в теорию информации Шеннона

Исследователи IBM и Университета Пердью предложили «логическую семантическую энтропию». Она измеряет не только переданные факты, но и всё, что получатель способен логически из них вывести.

Отсюда получился неожиданный парадокс: самый короткий способ сообщить агенту нужное знание иногда неизбежно раскрывает ему больше, чем планировалось. Общая предпосылка хорошо сжимается и позволяет вывести ответ, но заодно открывает доступ к лишним выводам.

Для тебя это важно при проектировании RAG, сжатия контекста и обмена между агентами. Проверять нужно не только явно переданные данные, но и множество выводов, которые модель может из них построить. Принцип минимальных прав должен применяться и к выводимому знанию.

Пока это математическая теория для систем с формальной логикой, а не готовый алгоритм оптимизации LLM-контекста. Но она даёт язык для описания проблемы, которую обычный подсчёт токенов не видит.

Пруфы:
*️⃣публикация в PNAS
*️⃣разбор IBM Research

#informationtheory #aireasoning #aiagents #contextengineering #agentsecurity #rag

@data_engi