Не повторяйте мои ошибки с RAG

Если вы вдруг подумали, что я тут вам академические тексты строчу про ИИ, то нет – я всё это на своей шкуре проживал и проживаю. У меня пара петов вайбкодится, и на основной работе я по полной ИИ использую. И тут я делюсь выстраданными выводами. На чужих ошибках вы не научитесь, но хоть представление будете иметь.

😇 Я наивно думал, что у меня получится просто дать ИИ методичку, и он будет красиво отвечать, на неё опираясь. Хер. Тут два стула:

🪑либо эта свинья будет тупо цитировать бд (а нахрена мне этот попугай, так вся ценность ИИ теряется. Помните, как бесят такие тупорылые боты в поддержке?)

🪑либо этот кретин будет нещадно перевирать всё, что написано в бд «своими словами». Выглядеть будет порой красиво и складно (но не всегда), но смысл он может вывернуть наизнанку.

❗️И это полбеды. А главная засада в том, что пресловутый семантический поиск по бд (которая на самом деле векторное хранилище, а не бд) часто работает дерьмово. Потому что пользователь криво сформулировал запрос, и по нему в бд вы ничё вообще можете не найти, даже если оно там и есть. Потому что в бд оно в другой формулировке и другими словами.

🙅 Поэтому, если ваша задача не совсем тривиальна, запросы пользователей не вылизаны, а бд не идеальна – то классический naive rag (который я описал выше) вам мало поможет. Тупого запроса в бд «дай 5 подходящих блоков» вам не хватит. И здесь на сцену выходит agentic rag. Но об этом в другой раз.