تا حالا شنیدی بعضی مدل‌ها با نیمی از هزینه همون دقت مدل‌های بزرگ رو می‌گیرن؟ یکی از رازهای ماجرا توی نوع توجه (Attention) لایه‌هاست! 👇
🔄 توجه متناوب یعنی چی؟
در معماری‌های کلاسیک مثل ترانسفورمر، همه‌ی لایه‌ها از توجه سراسری (Full Global Attention) استفاده می‌کنن — یعنی هر توکن به همه‌ی توکن‌های دیگه نگاه می‌کنه.📌 مرجع تخصصی هوش مصنوعی و علم داده
اما در روش Alternating Attention، لایه‌ها یکی‌درمیون بین توجه محلی و توجه سراسری جابه‌جا می‌شن.
نتیجه؟ مصرف حافظه و زمان کمتر، بدون افت چشمگیر دقت!
🤖 دیتایاد / datayad@