Выложили 1x16 квантованную версию меньшей из Command-R.

Не без просадки в качестве, но зато замерили на чуть более пацанских 😎 бенчмарках.

❓ Почему чекпоинт весит целых 12.7Gb, хотя больший по числу параметров Микстраль 8x7B (45B параметров) занимает 12.6Gb? Все дело в жирной матрице эмбеддингов, она же lm голова.

https://huggingface.co/ISTA-DASLab/c4ai-command-r-v01-AQLM-2Bit-1x16