Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention
[Статья][Код]
NVIDIA (без Songling Yang 😱) выкатила развитие идеи про Gated DeltaNet, типа повышающее выразительность модели.
Post #716
1.48K
- 👍 7
- Oct 6, 2026Совпадение? Не думаю!
- Oct 5, 2026Теперь уже даже время прочтения блога это ориентир не для человека, а для LLMки. https://r…
- Oct 4, 2026"Горячие" эксперты
- Oct 4, 2026photo post
- Oct 1, 2026🛠 Метод Типичный scaling law имеет вид: L(N, D) = A N^α + B D^β + c 🔄 Скейлинг по рекурс…
- Oct 1, 2026Scaling Laws for Looped Mixture of Experts 📄 Статья Есть MoE, которые как-то скейлятся (п…