🔄 В HiveTrace появилась интеграция с LiteLLM Proxy

Теперь можно использовать мониторинг и фильтрацию контента на всех приложениях, работающих с большими языковыми моделями при помощи LiteLLM. LiteLLM proxy – это инструмент для удобного, надежного и централизованного взаимодействия с большим числом языковых моделей, независимо от их поставщика, через единый стандартный интерфейс, что упрощает разработку и эксплуатацию AI-приложений. Пример такой интеграции показан на видео – связка LiteLLM и OpenWebUI, где весь обмен данными между пользователем и моделью теперь покрыт мониторингом HiveTrace.

Все сообщения пользователей и ответы моделей проходят через гардрейл HiveTrace, который автоматически анализирует контент, выявляя нарушения встроенных и пользовательских политик. Результаты мониторинга отображаются в личном кабинете HiveTrace.