А вот теперь немного практики! Про облачные модели мы знаем, умеем, практикуем. Умеем не только генерить мемасы (кстати, об этом мы тоже поговорим!), но и осушать реки ради пользы, ведь у всех тут работа полезная?
Настал час для них - локальных ИИ!
Я, через боль, слезы и ненависть собрал стек по работе с локальными ИИ с упором на RAG.
В сборку входит:
1. Ollama - движок для ЛЛМ
2. Open Notebook - аналог NBLM
3. openwebUI - морда для всего.
4. Букет разных моделей.

Оно все работает, ставится одной командой, протестировано. Делалось связкой Клод+Гемини+Квен, которые принимали друг у друга работы и в процессе даже придумали клички. Квен теперь у них двоих "Кен", а Клод - "Клодыч".
Разумеется, доверять тут нечему, могут быть ошибки. Можно спросить про них меня или ИИ. Лучше ИИ. Но все изолированно. Опытные программисты и девопсы, скорее всего, захотят оторвать мне руки. Полное понимание, никакого осуждения, максимальная скорость убегания.
Во вложениях - картинка с котиками для привлечения внимания, лайков и репостов, красивая и толковая нейропреза и пошаговое руководство.