⚡️ Возможно, это самый большой сдвиг в парадигме Lms

В ходе двух независимых исследований удалось предварительно обучить 1,58-разрядные LMS, которые соответствуют производительности моделей FP16.

Нужно посмотреть, как он масштабируется (~ 30B), но мне очень интересны 1,58-битные модели Mamba и MoE.

https://huggingface.co/1bitLLM/bitnet_b1_58-3B

@bigdatai