🕵️‍♂️ Учитывайте исследование «Lost in the Middle» при написании промптов.

Исследование «Lost in the Middle» показало, что современные LLM плохо справляются с использованием длинного контекста на всём его протяжении.

🧪 Эксперимент: модель должна ответить на вопрос по многостраничному тексту; при этом контролируется положение ключевой информации (ответа) в тексте – в начале, в середине или в конце контекста.

💊 Результат: точность модели имеет U-образную зависимость от позиции релевантного фрагмента . Наивысшая точность достигается, когда нужные сведения находятся в самом начале контекста (эффект первичности) или в самом конце (эффект свежести). Если же ответ спрятан в середине длинного (> 4–8 тыс. токенов) документа, качество ответов модели значительно падает.

Это говорит о том, что хотя архитектурно трансформер может смотреть на весь контекст, модель не уделяет одинакового внимания разным частям длинного ввода. Она склонна «забывать» или игнорировать информацию, находящуюся в середине.

🤓 Более подробно о решении этой проблемы можно прочитать в этом исследовании.

@ai_skillful | Подписывайтесь