#новости
👋 Microsoft выпустила bitnet.cpp — сверхбыстрый open-source фреймворк для инференса LLM с 1-битной точностью, который работает напрямую на CPU.

Теперь вы можете запускать модели с 100 миллиардами параметров на локальных x86-процессорах с ускорением до 6 раз и снижением энергопотребления на 82%.

Полностью с открытым исходным кодом

На прошлой неделе они также выпустили BitNet b1.58 2B4T — первую функциональную open-source модель, которая использует всего 1.58 бита на веса, вместо привычных 16 или 32 бит

👉Новости 👉База вопросов