Задача проверялась простая найти самый релевантный контекст(страницу) из 13 тысяч для ответа LLM на вопросы финансовых отчетов
Перед запуском использовался простой query expansion с парой few-shot примеров
few-shots генерировались на основе вычитки в документы где точно знаем ответ (подбор релевантности)
Exemple:
1) Original query: Did Downer EDI Limited announce a share buyback plan in the annual report? If there is no mention, return False.
Expansions query: Share buyback plan
2) Original query: According to the annual report, what is the Cash flow from operations (in USD) for Wheeler Real Estate Investment Trust, Inc. (within the last period or at the end of the last period)? If data is not available, return 'N/A'.
Expansions query: Cash flow from operations (in USD) last period or at the end of the last period
3) Original query: For Aurora Innovation, Inc., what was the value of Number of patents at year-end at the end of the period listed in annual report? If data is not available, return 'N/A'.
Expansions query: Total count of patents over company owned
(В E5 и bge-m3 не использовалось более одного примера в логах — переделаю)
Кейс запуска!
E-5 (без реранкера)
bge-m3 (без реранкера)
OpenAI Small (без реранкера)
Скоро запущу прогоны с кросс-энкодером!
Также создам коллекцию с крупными моделями векторизации.
Average Pairwise Match Scores (с лучшим результатом Ильи:
Ope-ily: 66.00%
Ope-E5-: 28.00%
Ope-BGE: 17.00%
ily-E5-: 31.00%
ily-BGE: 20.00%
E5--BGE: 14.00%
Matches with ilyaRice o3 (Base Model):
OpenAI Small (No Reranker): 66.00%
E5-large: 31.00%
BGE-M3: 20.00%