Недавно завершилось соревнование по памяти в LLM для диалогов – GigaMemory: global memory for LLM (хабр)

Основной метрикой выступала Accuracy.

1-е место (86,6%) Вместо классического RAG для каждого чанка текста модели отдельно задают вопрос: Релевантен ли этот текст заданному вопросу?. Модель должна ответить токеном Да или Нет. По logprobs этих токенов рассчитывается уровень уверенности. В итоге возвращается список чанков, где уверенность выше порога 0.5. На основе этой информации формируется первичный ответ, который затем используется для итогового решения.

2-е место (84,5%) Подход технически сложнее, но концептуально похож на решение победителя.

3-е место (74,5%) Классический RAG с энкодером bge-m3 – этого оказалось достаточно для призового места.

Решения звучат интересно, но кажется в топ 2 решениях, под каждый запрос все прошлые диалоги перечитываются заново, а не берутся из уже готовой краткой выжимки 🤔