Что ж, я скипнул изучение Python и линейной алгебры (оставим это дата аналитикам) и перешел к ИИ концептам.

Основная информация пока что не является новой для меня, но прочитал про интересный подход к RAG системам, а именно генерацию гипотетического ответа на вопрос для дальнейшего поиска ответа в документах.

Подход называется HyDE (Hypothetical Document Embeddings). Обычно сам вопрос к системе может быть плохим или семантически далеким от ответа, что повлияет на нахождение нужных embeddings. Этот же подход предлагает сначала симулировать ответ на вопрос и использовать ответ для поиска в базе - таким образом поисковой запрос будет более близким к потенциальному ответу.

Из других продвинутых RAG подходов перечисляются поиск по ключевым словам, reranking и фильтрация по метаданным, что мы в целом и так уже знаем. Другие интересные подходы я разбирал ранее в этом посте.