LLM-агенты в SQL: проверено на базе терабайтов данных

🖖Всем DevOps! Начинаем понедельник с оптимизации данных. В блоге Mendral Андреа Луцарди разбирает работу LLM-агента в цикле непрерывной интеграции (CI) с доступом ко всей истории логов. Подводные камни — ниже.

Каждую неделю система сохраняет около 1,5 млрд строк в ClickHouse. В «сыром» виде — до 5 TB данных, за счёт метода хранения и сжатия на диске – порядка 154 GB. В работе агент получает прямой доступ к базе через SQL и сам формирует запросы. В процессе он анализирует метаданные джобов и при необходимости «проваливается» в строки. Как именно агент справляется с обработкой миллионов запросов?

Из ключевых архитектурных решений в статье приводят денормализацию. Суть проста – в каждой строке лога хранится весь контекст, который позволяет настроить фильтр без JOIN’ов и снизить вес.

👀Ещё одна задача под звездочкой – работа с лимитами GitHub API. При загрузке логов команда настроила ограничение до 3-х запросов в секунду. Если лимит достигнут, срабатывает механизм durable execution через Inngest.

Подробности кейса – читайте тут.

Ключевой вывод: если хранить логи в правильно спроектированном хранилище и дать LLM доступ к данным, работа с инцидентами в CI сокращается с часов до секунд.

💻Поделитесь опытом внедрения агентов в работу с БД в комментариях!

#девопс #ИИ #БД