Попробовал самый простой способ запуска локального чата с нейросеткой

https://lmstudio.ai/

1. Качаете .AppImage для Linux
2. Делаете его исполняемым, можно в свойствах или через терминал chmod +x ./путь-до
3. Запустить
4. Найти модель Mistral и скачать, дождаться завершения
5. Далее перейти в чат (слева), выбрать модель сверху
6. Включить GPU Offload если доступно и указать 32 n_gpu_layers, если влезут, не влезут (ошибка) - меньше.

В промпт системный, можно написать, чтобы отвечала на русском, иногда забавно отвечает. Но работает.

На процессоре работает приемлимо.

@toxblh_linux