Я реализовал простого чат-бота на
llama3.2:3b с помощью langchain_ollama! 🎉 Сделал так, чтобы использовалась история сообщений для сохранения контекста.
LangChain — это открытый фреймворк для разработки приложений на основе крупных языковых моделей (LLM, Large Language Models). Он помогает связать мощь современных ИИ-моделей (например, Llama, GPT, Mistral) с внешними источниками данных, инструментами и логикой, чтобы создавать сложные, контекстно-зависимые приложения.
Все работает локально на ноутбуке)
Использовал модель
llama3.2:3b> ollama show llama3.2:3b
Model
architecture llama
parameters 3.2B
context length 131072
embedding length 3072
quantization Q4_K_M