Кроме того, в свежем pr (отличная работа @galqiwi !) в bitsandbytes добавили классы Embedding4bit, Embedding8bit.

В современных LLMках идет тренд на рост размера токенизатора, и недавняя работа (пост на эйай ньюз), показывает, что это даже положительно влияет на качество вдобавок к уменьшию длин последовательностей. Для экстремально сжатых моделей (в 1 и 2 бита) эмбеды и lm_head занимают значительную долю в суммарном обьеме памяти на хранение модели.

В недавней issue показано, что эмбеды можно сжимать в 4 бита простой bnb квантизацией без просадки, а lm_head в 8 бит (в 4 с небольшой просадкой).

Данное обновление весьма полезно для дальнейшего движения в сторону экстремального сжатия и посадки LLMок на мобилки.