Searcharvester 🌾
Deep Research agent system

Год наза назад сколотил маленький SearXNG-Tavily-адаптер дроп-ин замена платного Tavily для LLM-пайплайнов на базе SearXNG
На днях вернулся и развил его в полноценный self-hosted deep research stack + sandbox agent per task

Что получилось:
3 независимых сервиса за одним API:
- /search — Tavily-совместимый поиск через SearXNG (100+ движков)
- /extract — URL → чистый markdown через trafilatura, с пресетами размера (s/m/l/f) и пагинацией для длинных статей
- /research — deep research агент(Hermes) даёшь вопрос, получаешь markdown-отчёт с цитатами

Агент-ядро — Hermes (Nous Research, 109k ⭐️), эфемерно спавнится на каждый /research запрос, --rm после exit

Видит три наших скилла: search, extract, deep-research (последний чистая методичка без кода, описывает 5 фаз:

plan → gather → gap-check → synthesise → verify

Стек: SearXNG + FastAPI + trafilatura + Hermes + docker-socket-proxy (для безопасного спавна)
Всё в одном docker compose up
LLM-агностик gpt-oss-120b(на ней делал тесты на vLLM, OpenAI, Anthropic, Ollama, что угодно OpenAI-совместимое)


Старый adapter был тактической заплаткой на Tavily
Новый стек полноценная альтернатива Perplexity/Exa/You.com для self-hosted agentic deep research system setup, и при этом каждый из трёх сервисов полезен сам по себе

РЕПО: https://github.com/vakovalskii/searcharvester

Зацените название кстати! Searcharvester