Чули про таку штуку?
Що я маю вам сказать)
Є прикольний один цікавий тул - Ollama https://ollama.com/
Це такий движок для локального запуску LLM-моделей (це типу Llama3, Gemma, Mistral). Тобто можна юзати ШІ без хмар і без інтернету. Все крутиться прямо на компі, без API-ключів і сторонніх сервісів.
Ставиться дуже просто.
curl -fsSL https://ollama.com/install.sh | sh
Для Windows качаємо інсталятор з сайту, або юзаємо WSL2.
Як стартанути модель. Завантажуємо Llama3.1 (Можно 8B варіант)
ollama pull llama3.1
А запускаэмо
ollama run llama3.1
И тепер можна спілкуватися прямо в CLI.
Умовно:
ollama run llama3.1 "Напиши SQL-запит щоб знайти всі замовлення > 1000$"
З корисного шо можу порадити це
ollama list
- список моделей
ollama show llama3.1
- деталі моделі
ollama ps
- що зараз запущено
ollama stop llama3.1
- зупинка
Ну і якщо дісйно прям так не любите термінал або не вміє нормально працювати через нього, то можно через ЮА
Їх там є купа варіантів
Open WebUI ставиться через Docker, має історію чатів, RAG, навіть підтримку кількох моделей.
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway ghcr.io/open-webui/open-webui:main
Ну або на офіційний Windows-GUI, нативна апка, працює без терміналу.
https://www.windowscentral.com/artificial-intelligence/ollamas-new-app-makes-using-local-ai-llms-on-your-windows-11-pc-a-breeze-no-more-need-to-chat-in-the-terminal
Взагалі цікава ідея)
а і так якщо у вас слабке залізо то беріть llama3.2:3B.
Для CI/CD можна запускати Ollama як мікросервіс у пайплайні. Плюс, моделі можна кастомно донавчати під свої дані (ollama create).
Коротше якщо цікаво, наступним постом можу показати, як підключити Ollama до Postman, щоб генерувати тести автоматично але з вас серденько)))
Всім гарного вечора друзі)
Обняв