В целом, мир observability/трейсинга бОльший — Langfuse, Phoenix/Arize, AgentOps, плюс eval-фреймворки типа Inspect. Они все показывают, ЧТО делал агент (логи, шаги, стоимость), но не объясняют ПОЧЕМУ. Это ближе к мониторингу, а не интерпретируемости и тут очень сложно разводить границы.

Прикольная карта направления — обзор «Agentic-Transparency» (survey + таксономия).
Но сейчас interp (более менее не экспериментальный) построен на SHAP.

Посмотрим, куда доплывем!
Если вы что-то юзаете на регулярной основе — было бы интересно послушать.