⚡️Запускаем ruGPT-3.5 в Colab'е

Сообщество не дремлет и накидало в личку квантованных версий вышедшей вчера модели (ребята, вы молодцы 🚀).

Ужимали при помощи AutoGPTQ в 4bit, так же как делает TheBloke. Качество, само собой, при квантизации в 4bit проседает, но поиграться можно.

Еще ребята в комьюнити сделали версию в формате GPTQ.

Colab
Хабр
HF
GPTQ