🧠 Sakana AI выпустили RePo - модуль, который делает LLM устойчивее к шуму и длинным текстам

Проблема обычных LLM:
они читают контекст как “ленту токенов”.
Если важная инфа далеко, а рядом куча мусора - внимание размазывается, и качество падает.

✅ RePo (Context Re-Positioning) решает это так:
модель учится переставлять контекст по смыслу:
- важное “подтягивает” ближе
- шум “отодвигает” дальше

И это даёт сильный рост качества именно там, где LLM обычно ломаются.

📊 Результаты в цифрах (главное)

✅ Noisy Context (контекст с шумом)
Среднее по 8 noisy-бенчмаркам:

- Обычный RoPE: 21.07
- RePo: 28.31

📈 Прирост: +7.24 пункта (очень много)

Отдельно авторы фиксируют:
RePo лучше RoPE на noisy-eval на +11.04 пункта (4K контекст).

🔥 Примеры по задачам:
- TriviaQA: 61.47 → 73.02 (**+11.55**)
- GovReport: 6.23 → 16.80 (**+10.57**)
- 2WikiMultihopQA: 23.32 → 30.86 (**+7.54**)
- MuSiQue: 7.24 → 13.45 (**+6.21**)

✅ Длинные контексты (8K / 16K)
Самое важное:
преимущество RePo не исчезает, а растёт на 8K и 16K,
даже если такие длины не встречались в обучении.

Итог:
RePo - это шаг к LLM, которые не просто “читают” промпт,
а сами наводят порядок в памяти: главное ближе, шум дальше.

Paper: arxiv.org/abs/2512.14391
Видео: https://youtu.be/cqWiBIbMK80