Изучаю решения для создания "корпоративного AI".
Фичи:
1. Есть возможность подключения по API к существующим LLM, а также возможность интеграции с локальными / on-premise LLM.
2. Интерфейс чата, аналогичный ChatGPT.
3. Возможность создания нескольких пользователей с различными ролями (user / admin и т.д.), сохранения кастомных промптов и создания агентов.
4. Инструмент должен поддерживать создание внутренней базы знаний с использованием RAG.
5. Он должен быть open-source, с возможностью деплоя на клауд сервис или на собственный сервер.
6. Можно сделать white label кастомизацию (добавить лого компании и т.д.)
7. В идеале, можно кастомизировать логику через написание собственного кода или с использованием API.
8. Ещё одним преимуществом будет поддержка не только LLM, но и других нейросетей, например, генерации изображений по тексту.
Пока что лучшее, что нашел это - AnythingLLM
Если кто-то уже искал / ставил что-то подобное, то напишите пожалуйста.
Post #52
630
- ❤ 6