🐙 TruLens - Инструмент для глубокого анализа LLM-приложений. Проект предлагает целую экосистему для отслеживания работы всех компонентов LLM-стека — от промптов до ретриверов.

Недавно в систему добавили концепцию RAG Triad, позволяющая оценивать релевантность, groundedness и полезность ответов. В отличие от поверхностных проверок, TruLens даёт возможность выявлять системные проблемы: например, когда модель генерирует правдоподобные, но оторванные от контекста ответы.

🤖 GitHub

@bigdatai