https://github.com/lyogavin/airllm - любителям локальных моделей посвящается. Там Kimik3 на 16 GB VRAM разворачивают... Какая скорость не знаю, я этим конечно заниматься не буду. Но звёздочек много, кто хочет может попробовать, отпишитесь потом сколько токенов в секунду... Ну или... сколько секунд на токен :))))