В этом посте я рассказывал как я с помощью OpenHands сделал бота @DeepSeekR1Bot, который использовал API этой модели для ответов. Но, из-за того, что API DeepSeek второй день лежит, то ли из-за атаки конкурентов, то ли из-за нагрузки, бот по факту не функционирует.
Я решил попробовать поднять локально на M2 Pro с 16Гб RAM - 8B модель. Мне очень нравится Open Source проект - Ollama. Супер удобно, быстро, и в самолете, когда ты оффлайн, можно потыкать в маленькие модельки. Можно даже покодить с автокомплитом оффлайн в VSCode с расширением Continue. Но сейчас я хотел протестить именно DeepSeek R1 локально, тем более в Ollama ее уже подвезли.
Как запустить DeepSeek R1 локально? Скачиваем Ollama с официального сайта. Устанавливаем.
Открываем командную строку, и проверяем установлена ли Ollama командой
ollama --version.Далее переходим на страничку поиска моделей и находим там DeepSeek R1.
А дальше, в зависимости от мощности вашего железа, а именно GPU и RAM ставим себе соответствующие модели.
Например, на мой M2 Pro с 16Гб RAM, подойдет только 8B модель. Если у вас 32Гб RAM и 24Gb GPU то, можно и 32B попробовать.
Вобщем, запускаем командой:
ollama run deepseek-r1:8b, и можем потестить в командной строке.А если хотите удобный пользовательский интерфейс, ставьте огонечки, соберу для вас ТОП Open Source GUI для Ollama, и не только.