🔥 Вышла новая модель MiniMax-01 456B с открытым исходным кодом с контекстом 4M!

🚀 Функции MiniMax-Text-01 и MiniMax-VL-01 основаны на ультрасовременной архитектуре "Lightning Attention".

→ В MiniMax-Text-01 реализован гибридный подход, при котором в 7 из каждых 8 слоев используется Lightning Attention, а в одном - SoftMax для улучшения баланса модель.

Такая архитектура позволяет эффективно обрабатывать сверхдлинные последовательности.

→ Версия с открытым исходным кодом включает в себя полный набор весов и API. По цене примерно 0,2 доллара за миллион входных токенов и 1,1 доллара за миллион выходных токенов — вполне конкурентоспособные цены.

На тестах модель превосходит платный Deep Seek v3 ! 💥

→ В задачах с длинным контекстом MiniMax-Text-01 достиг 100% точности в тесте поиска "Needle-in-a-Haystack" с использованием 4 миллионов токенов, превосходя топовые модели в реальных задачах с использованием искусственного интеллекта.

🖥 Github: https://github.com/MiniMax-AI/MiniMax-01
📑Paper：https://filecdn.minimax.chat/_Arxiv_MiniMax_01_Report.pdf
📖Read more: https://minimaxi.com/en/news/minimax-01-series-2

@ai_machinelearning_big_data

#llm #MiniMax #ai #agents #ml #opensource