BitNet.cpp

BitNet — это фреймворк, разработанный Microsoft для эффективной работы с 1-битными LLM, обеспечивающий оптимизированную инференцию на CPU и GPU, с планами по поддержке NPU.

Первая версия демонстрирует значительное ускорение и уменьшение энергопотребления, что позволяет запускать крупные модели с производительностью, сопоставимой с человеческим чтением.

Проект совместим со многими 1-битными LLM, доступными через Hugging Face.

https://github.com/microsoft/BitNet
================
👁 News | 👁 Soft | 👁 Gear | 👁 Links