Post #4235
24
بازه باز اینش هیچی معماریش خیلی جالبه با 308B پارامتر در حد یک مدل بزرگه. یک ترنسفورمر با معماری اسپارس MoE که برای کانتکست ۱ میلیون توکنی، بهجای فول اتنشن از معماری هیبریدی 48 لایهای که 39 لایه SWA لوکال داره و 9 لایه دیپ سیک اسپارش اتنشن واقعا جالبه! عملا…
این چینیها واقعا نابغن.