Я тут пропал на долго. Сначала пытался проект выше довести до ума и даже что-то получилось.

API сервис по работе с локальными LLM
Есть возможность загружать модели с HF в хранилище.
Выбирать модель для инициализации.
Выгружать модель из памяти.
Передавать вопросы, как с chat_template, так и просто текстом.

В целом доволен, Я умничка 😎

А для работы сделал:
Бот в корп. месседжере для сотрудников
- html файлы конвертирует в Markdown,
- Из .md через LLM создает базу вопросов и ответов по документации.
- Заполняет 2 JSON базы со связью между вопросами и путями до файлов.
- Проверяет все дубликаты файлов и не обрабатывает их.
- Обновляет файлы если они изменились.
- Пользователь прям из бота может загрузить новый html файл и он попадет в базу.
- И сам RAG , хоть и простенький, но достаточный.
- Пользователь задает вопрос по документациям - бот отвечает исходя из контекста.

Надеюсь этот ад скоро закончится.
С понедельника отпуск и жду его как никогда)