cocoindex

При разработке RAG-приложений или сборке базы знаний самая больная часть обычно не выбор модели, а дата-пайплайн.

Нужно писать кучу Python-скриптов для очистки данных, чанкинга и векторизации. А как только меняется исходный датасет, приходится гонять полный пересчёт — долго и дорого.

Недавно на GitHub попался CocoIndex — опенсорсный высокопроизводительный фреймворк для трансформации данных, заточенный под AI-сценарии.

Примерно в 100 строках Python можно описать весь процесс: чтение файлов, разбиение на чанки и загрузку эмбеддингов в векторное хранилище.

Поддерживаются разные источники и приёмники данных: локальные файлы, Amazon S3, Google Drive, а также векторные БД вроде Postgres, Qdrant и LanceDB.

Кроме этого, внутри уже есть готовые компоненты для текстового чанкинга, генерации эмбеддингов, парсинга PDF, построения графов знаний и других типовых трансформаций.

В проекте много примеров — больше 20 реальных кейсов: семантический поиск, графы знаний, рекомендации товаров, поиск по изображениям и т.д. Можно брать и использовать как есть.

📁 Language: #Rust 77.4%

⭐️ Stars: 4.6k

➡️ Cсылка на GitHub

📱 @git_developer