Думал сделать себе ллм бота для фильтрации спама в телеге, а то всякие копроклюи думают что моих умных читателей можно на 200 баксов в неделю заманить. Накатил ollama, тыкаю в разные модели, что-то получается, думаю «пора выкатывать на сервер».

Выкатил, и вот прямо заметна разница CPU only против графических ядер М1Pro. Гораздо медленнее. На сервере GPU то нет.

Пришлось отказаться от llama3.1, стал смотреть на модели поменьше типа gemma2:2B, а она заметно хуже справляется. Прямо спам сообщение включающее стоп слова пропускает.

Надо дальше разбираться.

Вообще я доволен, что в свое время макбук на 32Gb взял. Даже llama3.1:70B взлетает. Очень тяжело взлетает. Очень медленно работает, но работает. Есть шанс, что ее чуть ужмут и тогда вообще красота будет.