📄 MLflow GenAI — автоматическая оценка качества RAG-систем. Проект расширяет возможности платформы MLflow для оценки генеративных AI-моделей. Он автоматически проверяет релевантность ответов и их соответствие исходному контексту, что особенно полезно для RAG-систем. Интеграция с Ollama и LangChain позволяет тестировать локальные модели, включая Llama3.

Инструмент использует GPT-4 в качестве судьи для оценки ответов, генерируя метрики от 1 до 5. Результаты отображаются в дашборде MLflow, где можно сравнивать разные версии модели. Это упрощает процесс улучшения AI-систем без ручной проверки.

🔗 Ссылка - *клик*

@machinelearning_ru