Самый дешёвый поиск по файлам с ИИ

Недавно наткнулся на идею, что можно использовать консольные утилиты как для тулы для поиска по текстам для ллм агентов.

Например, есть гигабайты текстовых файлов и нужно поискать что-то по ним. Как быть? В старом добром линуксе есть grep который очень быстрый и ищет почти что угодно, особенно если знать регулярные выражения. Аналогичные тулы есть для почти чего угодно: пдф, ворд, эксель, почти любые форматы текстовых файлов. Именно так работает клод код, например.

За выходные набросал код ИИ агента, который и работает с такими тулами. Что там есть:
- openai совместимая либа, я использую опенроутер, но можно быстро переделать под что угодно
- пока поиск только по текстовым файлам и пдф, планирую расширить
- асинхронный код
- из инфраструктуры нужен только жесткий диск, который дешёвый и везде есть
- не нужна векторная база, чанки, реранкинг, переиндексирование и прочие побочные действия
- как интерфейс можно использовать веб, телеграм бот, мобильное приложение

В одном из проектов я уже использовал с телеграм ботом, работает. Стоимость одного ответа 1-2 цента.

Основной недостаток - может долго отрабатывать нейронка. Поиск может занимать минуту. Но похоже это всё равно быстрее чем искать руками.

Код на гитхабе: https://github.com/tjvjk/greprag

В следующий раз напишу какие есть метрики чтобы оценить качество поиска такими тулами. В ИИ разработке всегда нужно начинать со сбора тест кейсов.