Тут недавно рассказывал друзьям, у которых на работе запрещено пользоваться ChatGPT, что можно запускать опенсорсные модели прям у себя на ноуте. Никакие данные не уходят в интернет. Самый простой способ - lmstudio.ai

Там выбираем llama3 Instruct 8B q4_k_m gguf

Чтобы быстро отвечало, мне нужно было еще в настройках включить GPU acceleration.

Жрет 4гб оперативки, на макбуке летает.

P.s. Llama3, как и многие опенсорсные модели, плохо работает с русским, зато на английском работает отлично, особенно на простых задачах.