Сейчас я вам расскажу, как вы можете установить на свой ПК оффлайн версию дипсика (и других ИИ). Так еще и выпилить с них цензуру (ура, свободные технологии).
Начнем с вводной базы:
- Ставить мы будем урезанные модели, по умолчанию в них меньше функций и выше уровень цензуры. Вес от 6 до 20 GB, при моем беглом осмотре. Хотите полные модели? Готовьте мощный ПК и 400гб+ места.
- Все манипуляции проводились в терминале линукс, что не обязательно. Метод подойдет и для виндовс, и для мака, но на них не тыкал и не изучал.
- Это прикол для тех, кто хочет полностью оффлайн модель, спектр задач опишу ниже, интернета в них нет, а база данных может быть устаревшей на полгода-год.
Требования по железу зависят от модели. Свои железки я разбирал в моем гайде на генерацию картинок на ПК, дальше сами лично разберетесь, что подойдет именно вам.
Теперь поехали к установке
1. Я установил себе Ollama, все работает через терминал, но есть Ollama-gui. Но это не единственная апка для загрузки и запуска AI моделей.
- LM Studio — современный граф интерфейс
- text-generation-webui — запуск в терминале, работа в браузере
2. После установки, нужно скачать/запустить выбранную модель, в Ollama можно посмотреть список на сайте, а после одной командой начать использовать.
В моем случае это
ollama run deepseek-r1:8b, можно поставить и более легкую и более жирную.Как себя ведут компактные модели?
Как было сказано ранее, все компактные модели имеют очень жесткую степень цензуры. Если актуальный дипсик легко обмануть и получить 18+ любой формы и содержания, что мы и УК РФ осуждает!
В компактной модели вы будете посланы нахуй при попытки выбить из нее 18+ из ее же полной версии, но ниже я расскажу, что это не приговор.
Вроде как, некоторые модели сильно лояльнее дипсика, но я их не тестировал. Мне было интересно помучать этого кита за все убытки в рынке. deepseek-r1:8b (актуальный):
- Модель хорошо понимает русский и пишет четко, без смешения англ и китайских слов, что я словил в 7b версии
- Ей можно отдать текст из vtt файла и она криво-косо но сделает выжимку, таймкоды по вашему аудио. Grok4 безусловно справляется сильно лучше
- Можно попросить написать/отредактировать текст, что классика
- Можете узнать о том, почему небо голубое, а Тайвань это не отдельная страна
Все это вмещается в 5.2 GB, если резко пропал интернет или принципиально полное сохранение персональных данных. Ну в общем и целом, может быть полезно и прикольно.
А теперь самое веселое, нейросеть без цензуры.
У меня была небольшая история поиска и тестов, я ее оставлю для вас ниже, развернете там цитату. Смысл в том, что я пытался поломать дипсик, но сломал он меня. Однако, я не пальцем деланный.
Пошел изучать другие модели.
Сначала я решил, что мне нужен thirdeyeai/DeepSeek-R1-Distill-Qwen-7B-uncensored (4 месяца назад обновлялась, весит 15 GB)
Подумалось мне, что я сломаю этот дипсик и он пояснит мне за неудобные вопросы, запустил я радостный, стал накидывать в пост..
Первое, что сразу бросилось в глаза. Модель жрет больно много ресурсов и отвечает прям медленно. Видимо стоило брать ЦП пожирнее. Ибо он упирается в 99%.
Цензуру вырезали, но это не исключает надобности хак промптов.Ловким движением руки обманываем ИИ и получаем то, что мы хотим. Правда, пока модель там думает, мой проц уже просто вешается.
Сверху еще и недостатки 7b, когда нейросеть криво говорит на русском. И это мягко сказано, когда в речи даже арабский проскакивает.
Потом я поставил llama2-uncensored (обновление год назад, 3.8 GB) и получил то, что планировалось для этого поста. У модели вообще тормозов нет.
Работает она быстро, только тупая как пробка.
Но чтобы не тратить ваше время в пустую — удачная нейронка без цензуры. По крайней мере она лучше того, что я успел потыкать.
JOSIEFIED-Qwen3
Работает сверх быстро, вполне себе владеет русским. Иногда забывает, можно попросить перевести на русский. Цензуры уровень и правда предельно низкий.
Прикольно обсудить туземцев и ружья.. или дрейнеры.