NeurIPS 2025: краткий разбор ключевых наград

Оргкомитет опубликовал победителей. Общий тренд — работы про масштабирование моделей, устойчивость обучения и фундаментальные теоретические результаты.

🏆 Special Awards

- Test of Time (2015): Faster R-CNN
- Ввели RPN, отказавшись от Selective Search.
- Сделали детекцию полностью end-to-end и задали стандарт индустрии на десятилетие.

- Sejnowski–Hinton Prize (2016): Feedback Alignment
- Показали, что backprop работает даже при случайных фиксированных обратных весах.
- Это решает «weight transport problem» и делает алгоритм ближе к биологически правдоподобным.

🌟 Best Papers (Main Track)

- Architecture: Gated Softmax Attention
- Решает нестабильность больших трансформеров и проблему attention sinks.
- Добавляет простое sigmoid-gating для отдельных heads.
- Даёт стабильность почти без оверхеда; уже используется в Qwen3-Next.

- RL: Scaling to 1024 Layers
- Self-Supervised RL сделал возможным обучение сети глубиной 1024 слоя.
- На задачах локомоции — до 50× улучшения относительно стандартных моделей.

- Theory: Diffusion Dynamics
- Выделены две фазы обучения диффузионных моделей: быстрая generalization и медленная memorization.
- Формализована implicit regularization, объясняющая поведение моделей.

- LLM: Artificial Hivemind
- Анализ того, как разные LLM начинают давать похожие ответы.
- Новый датасет Infinity-Chat для изучения этого эффекта и потери разнообразия.

- Theory: Online Learning Gap
- Доказан квадратичный разрыв в sample complexity между transductive и обычным online-обучением.
- Закрытие старой теоретической задачи.

🔗 Полный список: https://blog.neurips.cc/2025/11/26/announcing-the-neurips-2025-best-paper-awards/