Добро пожаловать!
Меня зовут Мария Жарова, и это мой блог про науку о данных✨
Лайфхаки из будней MLщика, полезности по Data Science и ответы на вопросы, которые волнуют новичков и не только🌝
Автор @NaNCat
Post #370
281








Привет, друзья!
Давайте разберём, как оценивать RAG-пайплайн. Тема довольно острая: например, на оффлайне Recall@10 может быть 0.99, но пользователи всё будут равно жаловаться на выдуманные факты...
Важно помнить, что RAG - это две системы в одной, и сломаться они могут независимо друг от друга:
• нужный чанк может не найтись
• может оказаться на 9-й позиции и утонуть в контексте
• может попасть в топ-1, но генератор всё равно ответит мимо
Каждую поломку ловит своя метрика, поэтому одной цифрой тут не обойтись.
🔗 Ссылки на библиотеки с последней карточки:
• RAGAS, DeepEval, TruLens, Arize Phoenix
Материалом поделились коллеги из Embedika
Листайте в карточках - идеальная шпаргалка для быстрого повторения!
И хороших выходных 🙂
#nlp@data_easy
Давайте разберём, как оценивать RAG-пайплайн. Тема довольно острая: например, на оффлайне Recall@10 может быть 0.99, но пользователи всё будут равно жаловаться на выдуманные факты...
Важно помнить, что RAG - это две системы в одной, и сломаться они могут независимо друг от друга:
• нужный чанк может не найтись
• может оказаться на 9-й позиции и утонуть в контексте
• может попасть в топ-1, но генератор всё равно ответит мимо
Каждую поломку ловит своя метрика, поэтому одной цифрой тут не обойтись.
🔗 Ссылки на библиотеки с последней карточки:
• RAGAS, DeepEval, TruLens, Arize Phoenix
Материалом поделились коллеги из Embedika
Листайте в карточках - идеальная шпаргалка для быстрого повторения!
И хороших выходных 🙂
#nlp@data_easy
- 🔥 12
- ❤ 6
- 👍 4


