Сверху - Qwen2.5, который собран под более быструю работу на CPU (как у меня)

Снизу - Qwen2.5, базовая версия, от оригинального автора

Эм.. Мне кажется тут что-то не так)

Ну а ещё тесты показывают, что я сильно упираюсь в скорость своего HDD, где находятся модели.. То есть адекватно и 7B модели могут жить, только они много времени тратят на банальную загрузку в ОЗУ