Одно из популярных практических применений GenAI - анализ базы знаний с помощью Retrieval Augmented Generation. Разработчики давно заметили, что ответы LLM становятся значительно полезнее, если они опираются на реальные данные, например, пользовательские файлы, документацию и так далее.
База может содержать очень много данных, но их польза зависит от того, как пользователь может их анализировать. Традиционные инструменты - SQL, различные алгоритмы поиска, построение графиков и диаграмм. Но AI оказался более мощным инструментом анализа данных, чем ранее известные разработчикам алгоритмы. На любой запрос в Гугле вы уже можете видеть результаты RAG со ссылками на различные документы в сети, которые LLM Гугла использовала в своем ответе.
Чтобы строить собственные RAG системы, нужно развернуть LLM на сервере достаточной вычислительной мощности. У нас в облаке immers.cloud есть GPU под разные нагрузки и виртуальные образы с программным стеком, необходимым для инференса моделей через интерфейс Pytorch или Tensorflow. Также нужно изучить векторные базы данных и фреймворки для создания RAG-процессов, такие как LangChain.
@ruslandevlive — мысли о современных AI/ML технологиях