Microsoft завершает предварительную подготовку модели с 2,8 триллионами параметров, превосходя базовую модель GPT-5.6 только с одной четвертью вычислительной мощности.

Beating AI News: Microsoft объявляет о завершении предварительного обучения для своей новой саморазвивающейся модели MAI-Base-2. Модель имеет в общей сложности 2,8 триллиона параметров, использует архитектуру Mixture-of-Experts (MoE) и активирует только 80 миллиардов параметров за прямой проход. В период с августа по сентябрь этого года Microsoft использовала 16 000 графических процессоров NVIDIA GB200 в течение 38 дней обучения, обработав около 50 триллионов токенов. Новая модель также впервые вводит нативное визуальное предварительное обучение с vi

@tonmelonfest