Late Chunking: Contextual Chunk Embeddings Using Long-Context Embedding Models

Jina AI представили интересную технику, которая улучшает эмбединги текста длинного контекста для задач поиска, кодируя целые документы перед их разбиением.

📝https://arxiv.org/abs/2409.04701
👨🏽‍💻https://github.com/jina-ai/late-chunking

@bigdatai