Хорошая новость: вышла лёгкая локальная LLM-модель, которая по тестам почти не уступает GPT-4 — Qwen2.5.1 Coder на 7 миллиардов параметров.

Сама моделька на Hugging Face, запустить её можно почти на любом современном макбуке. Инструкцию бессовестно покрал остюда:

1) Открываем терминал, и делаем «git clone https://github.com/ggerganov/llama.cpp.git» в нужную папку;
2) Заходим в папку и делаем «LLAMA_METAL=1 make -j»;
3) Ждем прогрузки;
4) Запускаем веб сервер этой командой «./llama-server -m «./models/Qwen2.5.1-Coder-7B-Instruct-Q5_K_M.gguf» -t 8 —mlock -v —alias totally-not-an-AGI -fa —temp 0.4 —repeat-penalty 1.10 —repeat-last-n −1 —top-k 40 —top-p 0.90 —min-p 0.10 -c 16000». Что означает каждый параметр можно почитать тут;
5) Открываем в браузере http://127.0.0.1:8080/
6) Пользуемся!