Вот надо изучать тему. Есть ощущение, что небольшие нейросетки, предназначенные для эмбеддинга в RAG нужно обучать, используя свою специфику - типа графа знаний в предметной области. План примерно такой:
Первый прогон данных, составление базы знаний;
Файн-тьюнинг нейросетки для эмбеддинга с учетом этого графа и базы знаний;
Ембеддинг на дообученной нейросетке

Во-первых, это маленькие сетки, и должно быть недорого. Во-вторых, действительно должны быть логически законченные конструкции в чанках, что должно быть очень полезно