Эксперименты продолжаются. Запуск нейросети hermes-4-70b отличный стресс тест.
Видеопамять загружена на 100% Оперативная память загружена на 80-90% Суммарное потребление памяти 54 гигабайта (видеопамять + оперативная память).
Видеокарта в начале загружена на 100% как только она заканчивает со своими 12 гигабайтами, остальные 42 гигабайта обрабатывает процессор.
Часть нейросети обрабатывает GPU, другую часть нейросети обрабатывает CPU.
Аналог CUDA от AMD ROCm справляется отлично. Скорость 1,13 токенов в секунду, что равно 4-5 символам в секунду. Данная скорость сравнима с печатью на клавиатуре рядового пользователя