دوستان اگر نفهمیدین چرا میگم جالبه،
در مدلهای بزرگ فعلی، برای کانتکستهای خیلی طولانی یا باید دست به دامن فول اتنشن بشن که چالشش اینه هزینه پردازش و رم با افزایش متن دو سه برابر میشه،
یا اینکه کانتکست رو با روشهای دیگری تقریب بزنن کوتاه بشه
Post #4239
13
بازه باز اینش هیچی معماریش خیلی جالبه با 308B پارامتر در حد یک مدل بزرگه. یک ترنسفورمر با معماری اسپارس MoE که برای کانتکست ۱ میلیون توکنی، بهجای فول اتنشن از معماری هیبریدی 48 لایهای که 39 لایه SWA لوکال داره و 9 لایه دیپ سیک اسپارش اتنشن واقعا جالبه! عملا…
- 👍 1