Недавно я исследовал возможности создания собственного AI-помощника для написания кода. Цель — иметь полноценного помощника, работающего локально, без зависимости от облака и внешних API.
Вот как я это сделал:
🧠 Что такое Ollama?
Ollama — это инструмент для локального запуска LLM (Large Language Models). Он поддерживает модели вроде
codellama, llama2, mistral и другие. Всё работает на вашем компьютере, без необходимости обращаться к внешним сервисам.Пример установки и запуска:
curl -fsSL https://ollama.com/install.sh | sh
ollama run codellama
После запуска вы можете взаимодействовать с моделью через CLI или REST API.
🤖 Интерфейс с JupyterLab
Теперь объединим Ollama с JupyterLab, чтобы создать AI-помощника, с которым можно взаимодействовать прямо в ноутбуке.
Установка расширения:
Устанавливаем
jupyter-ai, который интегрируется с LLM в Jupyter:
pip install jupyter-ai
jupyter labextension install @jupyterlab/ai-extension
jupyter ai init
Настройка Ollama в Jupyter AI
Файл
jupyter_ai_config.toml:
[jupyter_ai]
default_provider = "ollama"
[jupyter_ai.providers.ollama]
url = "http://localhost:11434"
model = "codellama"
Теперь ваш JupyterLab знает, куда отправлять запросы.
🚀 Использование в Jupyter
Теперь можно использовать магические команды:
%%ai
Напиши функцию на Python, которая сортирует список по возрастанию.
Или вызвать помощника в чате справа от ноутбука.
🧩 Альтернатива: Hugging Face + Text Generation Inference
Если вы хотите использовать модели из Hugging Face — можно установить
text-generation-inference, который поддерживает множество моделей, оптимизированных для inference.Команда запуска:
docker run --gpus all -p 8080:80 ghcr.io/huggingface/text-generation-inference \
--model-id bigcode/starcoder2 \
--quantize gptq
В конфиге JupyterAI:
[jupyter_ai.providers.huggingface_tgi]
url = "http://localhost:8080"
model = "bigcode/starcoder2"
💡 Итоги
Теперь у вас есть полностью локальный AI-кодинг помощник, работающий в JupyterLab, без отправки данных в облако. Отличное решение для конфиденциальной работы, кастомизации и обучения.
https://towardsdatascience.com/build-your-own-ai-coding-assistant-in-jupyterlab-with-ollama-and-hugging-face/
👉 @bigdata_1