متا از مدل اپن‌سورس Llama 3 رونمایی کرد.

شرکت متا، امشب، از مدل ا‌پن‌سورس Llama3 در دو نسخه ازپیش‌-آموزش‌-داده‌-شده(pre-trained) ۸میلیارد و ۷۰میلیارد پارامتری رونمایی کرده.
متا می‌گه که این مدل زبانی الان پیشرفت قابل توجهی در تولید و ترجمه متن‌ها، نوشتن کد، فرآیندهای چندمرحله‌ای و استدلال کرده و کمتر پاسخ‌های غلط تولید می‌کنه. این مدل روی دو cluster با ۲۴هزار گرافیک Nvidia H100 با بیش از ۲۵تریلیون توکن از دیتاهای مختلف آموزش داده شده. دیتایی که متا برای آموزش این مدل استفاده کرده ۷برابر بزرگ‌تر و بیشتر از دیتای استفاده شده برای آموزش Llama 2 بوده و ۴برابر کد بیشتری هم داشته.
این مدل، در نسخه 8B از مدل‌های معروف Gemma-7B و Mixtral-7B عملکرد خیلی بهتری داره و همچنین در نسخه 70B نسبت به Gemini 1.5 Pro و Cluade 3 Sonset هم تا حدودی عملکرد بهتری داره.
https://meta.ai

〰〰〰〰〰

🔷️ لینک کانال انجمن:
t.me/tooscomunity

🔷️ همراه ما در صفحه اینستاگرام باشید:
📷  Instagram.com/tooscomputer