LynxDB - schema-on-read база данных и аналитическая система для анализа логов.

Позволяет выполнять гибкий анализ без предварительного парсинга и жесткой схемы структура извлекается во время чтения

Lynx Flow язык запросов LynxDB,
По сути, это упрощённый и более интуитивный слой (синтаксический сахар) над Splunk SPL2, ориентированный на удобную работу с логами.

Возможности:
- режим конвейера - чтение из стандартного ввода или файлов, работает как grep. Нет сервера, нет конфигурации.
- Lynx Flow - group, let, parse, order by, join, CTE, доменные синтаксисы и многое другое. Частичная совместимость с SPL2.
- полнотекстовый поиск - инвертированный индекс FST + roaring bitmaps, фильтры Блума для пропуска сегментов.
- столбцовое хранение - пользовательский формат .lsg, временные метки с дельта-вариантами, кодирование по словарю, Gorilla XOR, LZ4
- материализованные представления - предварительно вычисленные агрегации с автоматической переадресацией запросов, ускорение до ~400 раз.
- кластерный режим - добавьте --cluster.seeds для распределенной работы; общее хранилище на основе S3.
- загрузка данных без предварительной обработки - Elasticsearch_bulk, OpenTelemetry OTLP, Splunk HEC

https://github.com/lynxbase/lynxdb

Поделился автор - @ourlove_e (просьба поддержать звездой в репку ! )


Опубликовано в @gitgate

#moni #logs #splunk