🧠 Новый подход к архитектуре нейросетей: Attention Residuals

Исследователи предложили переосмыслить одну из базовых идей глубоких нейросетей - residual connections.

До сих пор такие соединения работали очень просто:
каждый слой добавляет свой результат к предыдущим слоям через фиксированное накопление.

Но у этого подхода есть проблемы:
• информация постепенно «размывается»
• растёт скрытое состояние
• модели сложнее извлекать важные представления из прошлых слоёв

Теперь предложена новая идея - Attention Residuals.

Вместо обычного сложения слоёв модель использует attention, чтобы выбирать, какие представления из предыдущих слоёв действительно нужны.

Проще говоря:

модель сама решает, к каким слоям прошлого стоит “вернуться”.

Что это даёт:

🔹 сеть может избирательно извлекать нужные представления
🔹 уменьшается эффект «размывания» информации
🔹 контролируется рост скрытых состояний
🔹 глубина сети используется гораздо эффективнее

Чтобы это работало на больших моделях, авторы предложили механизм Block AttnRes.

Он делит сеть на блоки и применяет сжатое attention между ними, делая кросс-слойное внимание масштабируемым.

По результатам экспериментов:

• около 1.25× выигрыша по вычислениям
• <2% увеличение latency на инференсе
• стабильный рост качества на downstream-задачах

Метод протестировали на архитектуре Kimi Linear:

• 48B параметров всего
• 3B активных параметров

Если идея подтвердится на больших LLM, это может стать новым стандартом для глубинных архитектур нейросетей.

https://github.com/MoonshotAI/Attention-Residuals/blob/master/Attention_Residuals.pdf

🎯Полезные Мл-ресурсы 🚀 Max

@data_analysis_ml