Zhilin Yang (один из авторов архитектуры Transformer-XL) на GTC представил концепцию Attention Residuals

Главная идея внимания - это не запоминать всё подряд, а выбирать, что действительно важно.

Многие читали работу Attention Is All You Need (2017) - именно она привнесла в модели механизм "человеческого" внимания. С этого момента модели перестали просто механически обрабатывать весь текст. Вместо этого они начали различать, что важнее, а что нет, и сохранять более значимую информацию.

Недавно Китайцы из Kimi пошли дальше и применили внимание к временной оси, а затем "повернули" его в глубину модели.

Теперь внимание работает не только по времени, но и через слои модели - по мере передачи информации.

Это даёт более умный способ обработки:
модель не просто читает и передаёт данные дальше, а осмысленно отслеживает важное на каждом этапе вычислений.

https://x.com/Kimi_Moonshot/status/2037010118957817988

🐍 полезные ресурсы 🚀Max

@machinelearning_interview