🛠 Своя нейросеть дома, доступная из любой точки мира

Личный сервер с языковой моделью на домашнем компьютере перестал быть проектом на выходные: достаточно 8-ядерного процессора, 32 ГБ оперативной памяти и при необходимости видеокарты с 12 ГБ памяти, чтобы llama3.1:8b работала без облачных подписок. По данным Habr, установка сводится к трём командам: устанавливаем Ollama, скачиваем модель, запускаем REST API на 127.0.0.1:11434. Для доступа извне автор использует обратный туннель nozi.io вместо перенаправления портов на роутере — так сервер сам устанавливает исходящее соединение и получает постоянный адрес даже за серым IP.

Ключевой момент, который часто упускают в подобных руководствах, — безопасность публичного API. Автор прямо предупреждает: конечную точку без авторизации сканеры находят за часы и начинают нагружать вашу видеокарту чужими запросами. Поэтому обязательны заголовок с ключом доступа и его проверка при подключении. Второй неочевидный шаг — запуск туннеля через systemd с автоматическим перезапуском, иначе после перезагрузки компьютера или обрыва интернета доступ пропадает, и вы останетесь с локальной моделью, но без удалённого управления.

Ограничения честные: без видеокарты модель медленно работает на процессоре, электричество тоже стоит денег, а ведущих облачных гигантов такая сборка не заменит. Для кода, текстов и быстрых вопросов — хватает, для длинных рассуждений и сложных агентов — нет.

Порог входа в самостоятельное размещение LLM опустился до «скопировать три команды», но реальная цена теперь не железо, а дисциплина безопасности. Открытый Ollama API на публичном туннеле — это бесплатная видеокарта для майнеров, и именно такие статьи, где про авторизацию говорят не в сноске, а жирным, делают самостоятельное размещение осознанным, а не случайным.

#Ollama #selfhosting #LLM #локальный_инференс #безопасность