⚡️ Tencent Hunyuan Large - 389B (Total) X 52B (Active) - превосходит Llama 3.1 405B, Mistral 8x22B, DeepSeek V2!
В настоящее время это самая большая модель MoE на основе транспортеров с открытым исходным кодом, содержащая 389 миллиардов параметров и 52 миллиарда активных параметров.
Многоязычный, 128K контекст, использует GQA + CLA для сжатия KV кэша.
https://huggingface.co/OuteAI/OuteTTS-0.1-350M
@machinelearning_interview
Post #1320
3.77K
- 👍 8
- 🔥 2
- 🥰 2
- ❤ 1