Command-R+ AQLM квантизация 1x16 добежала спустя 2 недели и 50+ перезапусков, сбоев инфраструктуры, и прочих шалостей Полтергейста.

Ценность релиза еще дня 3-4 назад была бы на порядок больше, но надо же было довести до ума давно обещанное.

История, к сожалению, не про локальный инференс на consumer-grade GPU, ибо даже сжатая модель весит 31.9 Gb. Целевая аудитория - обладатели GPU уровня от A40, A6000.

https://huggingface.co/ISTA-DASLab/c4ai-command-r-plus-AQLM-2Bit-1x16