محققان گوگل معماری تازه‌ای به نام ATLAS معرفی کردن که به‌جای attention از یه ماژول حافظه‌ی قابل یادگیری استفاده می‌کنه. این مدل می‌تونه ورودی‌هایی تا ۱۰ میلیون توکن رو پردازش کنه! 🧠
نسخه‌ی ۱.۳ میلیارد پارامتری ATLAS روی دیتاست FineWeb آموزش داده شده و جالب اینجاست که فقط ماژول حافظه در زمان inference به‌روز میشه. نتیجه؟ دقت ۸۰٪ روی BABILong و میانگین ۵۷.۶۲٪ روی ۸ بنچمارک QA، بالاتر از Titans و Transformer++.🔗 مطالعه بیشتر
📌 مرجع تخصصی هوش مصنوعی و علم داده
🤖 دیتایاد / datayad@