Как создать свою умную базу знаний с помощью RAG и LLM (уровень сложности 1)

В последнее время термин RAG (Retrieval-Augmented Generation) стал часто встречаться в обсуждениях технологий искусственного интеллекта. Это слово мелькает повсюду: "RAG это", "RAG умер", "RAG не нужен". Но что же это такое? Зачем он нужен? Как его сделать нормальным? Как добиться высокой точности? Что такое точность для систем, основанных на RAG + LLM? И какой велью для бизнеса или простых людей?

Разберем понятия RAG

R - Retrieval (Извлечение)
Извлечение — это процесс поиска и извлечения релевантной информации из большого набора данных (чаще всего участвуют векторные БД).

A - Augmented (Дополненный)
Дополнение — это процесс улучшения или обогащения информации. Здесь мы подсовываем найденные данные из БД в LLM.

G - Generation (Генерация)
Генерация — это процесс создания нового текста или ответа на основе имеющейся информации с помощью frozen LLM.



Я придумал интенсив курс или открытый вебинар как хотите называйте, который я заложил на 5-8 постов. Дальше ищите по тегу #intensive. Мы рассмотрим, как построить RAG для себя, друзей или для бизнеса. Если вы не умеете и не хотите обучать LLM, но хотите, чтобы LLM знала ваши данные и не была тупым скриптом, тогда вам к нам, к RAG энтузиастам!

Начнем с основ

Мы разберем простой кейс создания своей умной базы знаний. Если вы взяли документ и положили его в векторную БД (например, в OpenAI есть функция retrieval и ассистент), или скачали код с LangChain, то вы получите точность ответов на свои вопросы около 40-50%, максимум 70% если у вас очень простой набор данных.

Но как сделать лучше? Как разметить данные? Как их подготовить? Как исключить галлюцинации? Что такое RAG Guardrails? Что такое автотесты RAGAS? Как сделать свою умную LLM за дешево и с минимальным кодингом? Как показать клиенту высокую точность и продать продукт или сервис?

Решения для разных уровней подготовки

Сразу скажу, будет два типа решения:
1. Для тех, кто умеет программировать: Возьмем API и немного Python (или другой язык программирования). Тут будем кодить минут 20-30.
2. Для тех, кто не умеет кодить: Выдам наш веб-интерфейс, который позволяет создать домен знаний за 3 минуты.

Почему это может быть интересно?
- Это бесплатно
- Можно попробовать что-то новое или разобраться в том что сейчас работает плохо
- Что бы участвовать достаточно быть подписанным на этот канал и просто читать
- Покупать токены или аккаунт не придется — я выдам вам свое прокси и API ключи.
- Векторную модель я выдам также свою, есть API и Swagger.
- API для создания домена знаний мы возьмем из моих наработок.

Заявки кидать либо в комментарии, либо мне в личку @Vakovalskii

Для тех, кто не умеет кодить, у нас в NDT есть веб-интерфейс. По нему я буду консультировать отдельно. Также смогу выдать аккаунт, и вы сможете загрузить свой документ, запромтировать LLM (будет 3 на выбор) и начать наполнять свой домен знаний.

Запущу я интенсив или нет, зависит от количества заявок мне интересно будет его проводить если будет больше 20-30 заявок.
Если вам интересно, как сделать свою умную LLM за дешево и с минимальным кодингом или без, я вам покажу и расскажу.
Запуск намечу на начало сентября!

Даже думаю продлить потом серию до создания Telegram-бота, в которого можно будет загрузить свою курсовую и пообщаться с ней!

#selfrag #LLM #RAG #noneedcoding #intensive #SmartBase

Оставайтесь на связи и следите за обновлениями!

Ваш @neuraldeep