Stepfun показала предварительную версию Step-5-Preview — модели типа MoE (смесь экспертов): всего 600 млрд параметров, но на каждый токен активируются только 27 млрд. Это значит, что инференс может быть заметно дешевле, чем у плотной модели сопоставимого размера, при контексте до 1 млн токенов.
Зачем: модели с миллионным окном нужны для обработки крупных кодовых баз, длинных документов и исследовательских датасетов, где раньше контекст приходилось резать или дробить задачу на части.
Выгода: 27 млрд активных параметров дают шанс уложиться в меньшее число GPU, чем 600 млрд плотной архитектуры; 1 млн токенов — это пространство для целой книги или большого репозитория.
Кому: разработчикам API-продуктов, исследователям длинных текстов, командам, которые работают с большими документами и не хотят платить за полный dense-инференс.
Оговорка: это preview, финальные веса и независимые бенчмарки ещё не зафиксированы; заявленный 1M-контекст нужно проверять на реальных длинных входах.
Источник: r/LocalLLaMA.
━━━━━━━━━━━━━
📎 Источники:
• Stepfun Step-5-Preview released! (600B/27B-1M Context)