Как работает Retrieval-Augmented Generation (RAG)

Процесс RAG включает в себя следующие этапы:

1. Создание индекса:
На первом этапе данные обрабатываются: текст делится на токены, создаются эмбеддинги для эффективного поиска.

2. Извлечение информации (Retrieval):
Релевантная информация извлекается из базы знаний с помощью таких техник, как поиск по ключевым словам, семантический поиск или поиск на основе графа знаний.

3. Генерация (Generation):
На основе извлеченной информации и входного запроса используется языковая модель для генерации текста.

Библиотека собеса по Data Science