Вышла локальная нейронка для кодеров — разрабы из Китая слили Qwen2.5.1 Coder на 7 миллиардов параметров 💻.

Приготовьтесь — она почти не уступает в тестах любимому GPT-4, а запустить можно почти на любом чайнике.

Сама модель здесь, вот инструкция по запуску для MacBook (увидел тут):

1) Открываем терминал, и делаем «git clone https://github.com/ggerganov/llama.cpp.git» в нужную папку;
2) Заходим в папку и делаем «LLAMA_METAL=1 make -j»;
3) Ждем загрузки;
4) Запускаем веб сервер этой командой «./llama-server -m «./models/Qwen2.5.1-Coder-7B-Instruct-Q5_K_M.gguf» -t 8 —mlock -v —alias totally-not-an-AGI -fa —temp 0.4 —repeat-penalty 1.10 —repeat-last-n −1 —top-k 40 —top-p 0.90 —min-p 0.10 -c 16000». Что означает каждый параметр можно почитать тут;
5) Открываем в браузере http://127.0.0.1:8080/

Shitpost | Приватка | Farcaster | Chat | Website