Вчера в сообществе заметил вопрос: какой ИИ использовать, чтобы не бояться нарушить NDA и не слить все свои данные в облако сторонней корпорации?
🥹 Совет номер один — спросите в своей компании. Возможно, они уже сами развернули некоторую локальную нейросеть, просто вы об этом не слышали. Или, возможно, у них уже есть безопасный для организации рецепт. Поверьте, любой явным образом легализованный инструмент будет лучше самостоятельных упражнений.
🍾 Если это не помогло — добро пожаловать в мир on premise инсталляций открытых LLM. К чему нужно быть готовым:
— Скорость. Если ваше жилище — не data-центр, то работать ИИ будет неспешно. Я закидываю подробные объёмные текстовые запросы с разными разделами промпта, затем сворачиваю окно. Сетка работает в фоне
— Качество. Полезность выдачи будет зависеть от того, какую версию LLM скачаете — по объёму токенов. Почему бы сразу не скачать самую жирную? См. пункт про скорость
— Английский. Запросы с русского сетка переведёт неплохо, но ответы будет выдавать на английском. Можно заставить её делать перевод на русский, но результат плачевный
— Интерфейс. Только командная строка, только хардкор. Ничего сложного в освоении нет, т.к. это сугубо текстовый обмен сообщениями, но придётся жить без UI-обвязки. Либо запариться и подключить её в готовый UI, но я не заморачивался.
🤯 И здесь я порекомендую то, что использую сам, т.е. проверенный на своей шкуре вариант. Ollama на базе DeepSeek.
1. Скачать для Win | Mac | Linux
2. Открыть консоль и запустить
ollama run deepseek-r1:14b (Или другую модель. Инструкция)3. Отправить нейроболвану сообщение и терпеливо ждать ответа
4. Пользоваться полезными командами. Например:
/clear — сбросить контекст
/bye — выйти
#ИИ | Analyst Boost