Сделали пост про бенчмарк: https://keenable.ai/blog/needle-the-benchmark-your-search-engine-can-t-memorize
Твит: https://x.com/styskin/status/2092991543368184076
Репо: https://github.com/keenableai/needle

TL;DR
• Не существовало нормальных бенчей для поисковых движков. BrowseComp, DeepSearchQA, SimpleQA статичны и сделаны для измерения агентов, и уже давным давно утекли. MTEB, BEIR - для конкретных моделей и алгоритмов, не для движков в целом.
• Поэтому пришлось делать нормальный онлайн бенчмарк, в котором каждый день новые свежие запросы. Там 5 источников: новости, научные статьи, финансовые документы компаний, американские судебные дела и логи агентов с HuggingFace.
• Внутри компании дофига времени карабкались по этому бенчу, вскарабкались.
• Пока карабкались, обнаружили, что конкуренты тырят результаты друг у друга (на картинке).
• Кроме нас, нормально работает и карабкается только Exa. Серьёзно, моё уважение к ним за последние месяцы выросло стократно.