🔥 Модель забывает середину! Почему?

Странный факт: если спрятать нужный факт в начале или в конце длинного контекста - модель его найдёт. Спрячьте ровно тот же факт в середине - и она его теряет.

Это называют lost in the middle.

Точность по позиции идёт U-образной кривой (на картинке попробовал изобразить): высокая по краям, проседает в середине на 20-30 пунктов.

Почему так? Внимание модели не размазано ровно по контексту. Механизм внимания системно недовешивает то, что далеко от краёв - начало и конец получают больше веса, середина проваливается.

Дальше самое интересное. Окна выросли до миллиона токенов, и все ждали, что проблема исчезнет.

Она не исчезла - просто переехала:
🟢модели проходят тест «найди иголку в стоге» почти на 100%, но это тест на «процитируй одно предложение». Реальная задача - рассуждать по нескольким разбросанным кускам, и вот там всё сыпется
🟢у большинства фронтир-моделей эффективный контекст - 200-400 тысяч токенов, дальше качество заметно падает. Заявленный миллион и рабочий миллион - разные вещи
🟢деградация есть даже когда факт лежит удобно, просто от длины входа. Это отдельно назвали context rot - «гниение контекста»

Отсюда практический вывод, который меняет привычки:
🟢контекст - не архив, а рабочий стол. Чем меньше на нём лишнего, тем точнее ответ
🟢важное держите ближе к краям - в начале запроса или в конце. Не в середине простыни
🟢набитое окно - это не «ещё есть место», это уже просевшее качество

Так что /clear и /compact - это не про экономию токенов. Это про то, чтобы модель вообще видела то, что вы ей дали.