bitnet.cpp

Microsoft открыла исходный код высокоэффективного фреймворка для инференса, который позволяет выполнять инференс 1-битных моделей (таких как BitNet b1.58) напрямую на CPU

Фреймворк предоставляет несколько оптимизированных ядер, обеспечивающих быстрый lossless-инференс на CPU. Это ускоряет работу моделей в 1.37–6.17 раза, одновременно снижая энергопотребление до 82.2%, позволяя запускать модели масштабом до 100B параметров на одном CPU.

Официально предоставляется модель с 2B параметрами, готовая к использованию. Поддерживаются различные 1-битные модели, размещённые на Hugging Face.

Также доступны полный пример кода и подробное руководство по использованию — для систем Windows, Linux и macOS.

На видео ниже показана демонстрация работы bitnet.cpp с моделью BitNet b1.58 (3B параметров) на Apple M2.

📁 Language: #Cpp(52.7%), #Python(46.5%)

⭐️ Stars: 15.8k

➡️ Cсылка на GitHub

📱 @git_developer