Microsoft представила BitNet — масштабную однобитную ИИ-модель для CPU

Исследователи Microsoft разработали BitNet b1.58 2B4T — первую однобитную модель с 2 млрд параметров, которая запускается на центральных процессорах, включая Apple M2. Архитектура «битнет» использует квантование весов в три значения: -1, 0 и 1, что существенно снижает требования к памяти и вычислительным ресурсам.

Модель обучена на 4 трлн токенов (примерно 33 млн книг) и в тестах GSM8K и PIQA превзошла аналогичные 1-миллиардные модели Meta Llama 3.2, Google Gemma 3 и Alibaba Qwen 2.5, при этом иногда работает вдвое быстрее и экономит память.

Для оптимальной работы BitNet требует проприетарный фреймворк bitnet.cpp, поддерживающий ограниченное число CPU, без GPU-ускорения, что пока ограничивает широкое применение технологии.

Подробнее и модель в открытом доступе:
https://huggingface.co/microsoft/bitnet-b1.58-2B-4T

@Unlim_AI