LLM-Wiki-V2: вики для агентов, которая перестаёт дорожать с ростом базы

Известная идея использования LLM-вики вместо классического RAGа известна давно: документы перераспределяются в структуру, читаемую и агентами, и людьми, дерево папок вместо непрозрачного векторного индекса.
Проблема всегда была в масштабировании: каждый новый документ означает новые LLM-вызовы, и каждый перечитывает всё больше вики.
Федерико Чезарини и Марко Сассарини разглядели, что большинство этих вызовов ничего не пишут, они принимают решения: куда положить документ, с какими заметками его связать, какие заметки отвечают на вопрос и выпустили обновленную версию RAG на Wiki.

🧠 CROW (Classifier-Routed Organization of LLM Wikis): слой решений на типизированном классификаторе вроде Jev.
Классификатор берёт маршрутизацию и консолидацию, а LLM вызывается только там, где нужно писать текст: суммаризация источника, имена новых папок, перезапись изменившейся заметки.

Поиск тоже идёт через классификатор: он выбирает релевантные заметки, LLM пишет только финальный ответ со ссылками на источники.

📊 Цифры на бенчмарке в 525 документов: нужная заметка найдена в 89% случаев против 62% у классической вики, обработка документа быстрее в 2,1 раза (18,4 с против 38,6 с), токенов LLM на 68% меньше (5 508 против 17 324).
Стоимость на документ остаётся плоской при росте вики, и именно это снимает потолок масштабирования.

🐧 Пакет: 100% локально, без векторной БД и эмбеддинг-пайплайна, данные не покидают машину. Установка через uv, перетащил PDF и заметки на страницу, и вики организует их сама. Веб-интерфейс с живой картой папок, заметок и связей, заметки лежат обычным Markdown в ~/llm-wiki.
Провайдеры любые на выбор: OpenRouter, OpenAI, Gemini, Ollama.
Авторы гоняли twil-lm3 как LLM и Kev 0.8B как классификатор на MacBook Pro с 24 ГБ RAM.
Бонус: zero-shot кластеризация, куча несортированных документов превращается в категории автоматически.
Лицензия AGPL v3+.

💼 Зачем бизнесу: третья история за неделю вырисовывает общую тенденцию: дешёвый типизированный классификатор принимает решения, дорогая LLM только пишет ответ.
MLflow встроил Jev-судей, Unsloth дал тренировать свои классификаторы, а теперь классификатор маршрутизирует базу знаний целиком.

📎 Статья CROW на Zenodo · GitHub

#LLMWiki #CROW #RAG #Jev #агенты
———
@tsingular