Поговорка "люди - новая нефть" эволюционирует в "данные - новая нефть". Важно хранить данные поближе к себе.

Собственно, про доступ к моделям:
- первоисточник openai, cohere, mistral, claude, x.ai - (по подписке)
- посредники openrouter, togetherai (оплата по затраченным поинтам) как компромис.
- - Оплата криптой/картой
- - Доступ к сложнодоступным моделям (привет claude через карту)
- - Кажется, что тут бизнес модель не подразумевает наглое использование истории переписки для обучения или обработки.
- локально ollama, lmstudio (условно бесплатно, но хорошие модели требуют основательного железа в бюджете 3000$-15000$ и более)

Векторные бд - это когда text/audio/image конвертируется через embedding модели в массив из 736-1536-3072 циферок, означающих семантическую версию данных. При поиске query тоже так преобразовывается, потом магия и на выходе записи с коэффициентом семантической близости.

Векторные бд:
- supabase - можно self-host
- pgvector (postgres plugin)
- qdrant - можно self-host через docker
- pinecone - не тру, только сайт. Локальная версия урезана и только в оперативной памяти.
- airtable - не тру, только сайт
- firebase - не тру, только сайт

Embedding модели:
для ценителей (еще api ключ заполучить нужно): https://platform.openai.com/docs/guides/embeddings
для простолюдинов есть:
- https://docs.together.ai/docs/embeddings-overview
- https://ollama.com/blog/embedding-models

Основные сущности RAG агента:
- llm
- векторная бд
- расширение system promt релевантным контекстом (из векторной бд на основе user query)
- скрипты для расширения векторной бд (google/youtube/rss/twitter/tg/tradingview/coingecko и другие api)
- место, чтобы чатиться с моделью (web/tg/terminal)