Лаборатория xAI Илона Маска выложила в открытый доступ веса и код LLM Grok-2.5, выпущенной в прошлом году.
Grok-2.5 построен на архитектуре Mixture-of-Experts: во время генерации, в зависимости от запроса пользователя, используется лишь часть параметров. Всего в модели 270 млрд параметров, из которых активны 62 млрд. Для сравнения, у сопоставимой по размеру open-source модели Qwen3 при работе задействуется почти втрое меньше параметров, что сильно сокращает время отклика.
По качеству Grok-2.5 сопоставима с флагманскими моделями прошлого года. Модель доступна для коммерческого использования, однако её нельзя применять для улучшения других языковых моделей — например, нельзя обучать на данных, сгенерированных Grok-2.5.
Почему это важно?
Grok-2.5 не является лидирующей LLM с открытыми весами по соотношению размер/качество, однако сам факт публикации в открытый доступ флагманской (хотя и не самой новой) модели от одной из самых больших ИИ-лабораторий примечателен. Для сравнения: OpenAI так и не выложила веса GPT-3, вышедшей в 2021 году, несмотря на большое количество запросов со стороны сообщества. Маск также пообещал выложить Grok-3 в открытый доступ через 6 месяцев.
2/3
🤖 «Системный Блокъ» @sysblok