Оставаться на острие

Мы живем в обстановке галопирующей информации во всех сферах.

Каждый выбирает как с этим справляться самостоятельно, этот пост про одно из моих решений, которым я пользуюсь на каждодневной основе. Лежит оно в репозитории, находится в разработке.

Сейчас мой главный интерес - построение AI агента, который будет выполнять рутинные операции по исследованию безопасности максимально автоматизировано. И в момент разработки концепции, выбора подходов, добавления фич, проверки гипотез я люблю опираться на статьи с arXiv.org.

Можно конечно пользоваться поиском через одного из своих агентов Claude, NotebookLM и так далее, они хорошо справляются с поиском и чтением, но

Иногда к какой-то теме надо вернуться в рамках другого проекта, иногда хочется перечитать статью или переслать ее. В таких случаях взаимодействие через агента может быть не супер удобным, сохранение в загрузки на определенном устройстве/облаке - хорошо, но недостаточно, если статей накопилось много.

Поэтому я написал телеграм бота, которому в чат можно отправить интересующую тему, он посмотрит что по этому поводу выходило на arXiv, вернет список из которого можно выбрать интересующие статьи. По кнопке статья отправляется в локальное хранение на сервер, режется на чанки, эмбеддится и все такое прочее. Запускается через докер, настраивается через .env, на первых порах для эмбеддинга можно взять бесплатный API от gemini

По командам:
- /search <тема> — ищет свежие статьи (30 дней) на arXiv и показывает список с кнопками. Можно добавить одну статью или сразу несколько.
- /ask <вопрос> — отвечает по уже проиндексированной библиотеке: ищет релевантные фрагменты, генерирует ответ и прикладывает источники.
- /list <тема> — показывает, какие статьи из локальной базы ближе всего к теме.
- /enrich <arxiv_id> — делает краткое summary на русском и английском плюс теги.
- /reindex <arxiv_id> — перекачивает PDF и переиндексирует статью, если что-то пошло не так.

Проект рабочий, но еще не дописан, по большей части потому, что пишу я его с LLM, но руками, по-староверски практически, такая прихоть.

В перспективе допишу множество небольших полезных фич, вроде скачивания статьи из БД в первозданном виде, изменение дат поиска, а сам проект адаптирую в том числе под использование в качестве tool или mcp для агентов, как источник контролируемой базы знаний. Если считаете, что вам оно нужно, то буду рад звездам на гитхабе, форкам, самостоятельным версиям развития проекта и прочее.

Напоследок хочу сказать вот что: собирать агентов в три клика на базе корпоративных решений - классно, но я бы хотел, чтобы мои агенты не зависели (или зависели в меньшей степени) от подписок. Хостить своего агента/харнесс на своем железе - путь, который дает и больше контроля поведения, и в перспективе будет дешевле по деньгам, по переносу в случае надобности и так далее. Да, это требует трудозатрат на этапе постройки и, возможно, навыков разработки, но это окупится.

А еще боту нужно имя, но я не придумал ничего красивого. Предложения?

https://t.me/web3securityresearch