Useful Tools | Linux | GitOps | DevOps

LynxDB - schema-on-read база данных и аналитическая система для анализа логов.

Позволяет выполнять гибкий анализ без предварительного парсинга и жесткой схемы структура извлекается во время чтения

Lynx Flow язык запросов LynxDB,
По сути, это упрощённый и более интуитивный слой (синтаксический сахар) над Splunk SPL2, ориентированный на удобную работу с логами.

Возможности:
- режим конвейера - чтение из стандартного ввода или файлов, работает как grep. Нет сервера, нет конфигурации.
- Lynx Flow - group, let, parse, order by, join, CTE, доменные синтаксисы и многое другое. Частичная совместимость с SPL2.
- полнотекстовый поиск - инвертированный индекс FST + roaring bitmaps, фильтры Блума для пропуска сегментов.
- столбцовое хранение - пользовательский формат .lsg, временные метки с дельта-вариантами, кодирование по словарю, Gorilla XOR, LZ4
- материализованные представления - предварительно вычисленные агрегации с автоматической переадресацией запросов, ускорение до ~400 раз.
- кластерный режим - добавьте --cluster.seeds для распределенной работы; общее хранилище на основе S3.
- загрузка данных без предварительной обработки - Elasticsearch_bulk, OpenTelemetry OTLP, Splunk HEC

https://github.com/lynxbase/lynxdb

Поделился автор - @ourlove_e (просьба поддержать звездой в репку ! )


Опубликовано в @gitgate

#moni #logs #splunk

PgQue - управление очередями в Postgres без лишнего раздувания. Один SQL-файл для установки, pg_cron для отслеживания прогресса.

Большинство очередей PostgreSQL используют операторы SKIP LOCKED плюс DELETE и/или UPDATE. Это работает в простых примерах, но затем приводит к появлению "мертвых" кортежей, перегрузке VACUUM, раздуванию индексов и снижению производительности при длительной нагрузке.

PgQue избегает целого класса проблем. Он использует пакетную обработку на основе снимков и ротацию таблиц с помощью команды TRUNCATE вместо удаления каждой строки. Путь "горячей точки" остается предсказуемым:
- отсутствие избыточности по задумке: никаких ненужных кортежей в основном пути очереди.
- отсутствие снижения производительности: программа не замедляется даже после нескольких месяцев работы.
- создана для систем с высокой нагрузкой: для режима длительной нагрузки, для которого и была разработана оригинальная архитектура PgQ.
- настоящие гарантии PostgreSQL: ACID-транзакции, блокировка/потребление транзакций, WAL, резервное копирование, репликация, прозрачность SQL-запросов.
- работает на управляемых серверах PostgreSQL: без пользовательской сборки, без расширений на C, без отдельного демона.

PgQue обеспечивает семантику очередей внутри PostgreSQL, сохраняя при этом надежность и транзакционное поведение PostgreSQL, без излишнего раздувания, которое в конечном итоге возникает при использовании большинства очередей внутри баз данных.

Для команд, которым нужен надежный поток событий внутри PostgreSQL. Модель ближе к Kafka (логи), чем к ActiveMQ или RabbitMQ (очередь сообщений задач). Общий журнал событий, независимые курсоры для каждого потребителя, отсутствие раздувания под постоянной нагрузкой. Чистый SQL и PL/pgSQL, любая версия PostgreSQL 14+ - управляемая или самодостаточная, без демона-дополнения.

https://github.com/NikolayS/pgque

Опубликовано в @gitgate

#postgres #vacuum

Hermes Agent - самосовершенствующийся ИИ-агент, разработанный Nous Research.

Это единственный агент со встроенным циклом обучения - он создает навыки на основе опыта, улучшает их в процессе использования, подталкивает себя к сохранению знаний, анализирует собственные прошлые разговоры и строит углубленную модель вашей личности на протяжении нескольких сессий.

Запустите его на VPS за 5 долларов, кластере GPU или бессерверной инфраструктуре, которая практически ничего не стоит в режиме ожидания. Он не привязан к вашему ноутбуку - общайтесь с ним из Telegram, пока он работает на облачной виртуальной машине.

Используйте любую модель, какую захотите - Nous Portal, OpenRouter (более 200 моделей), NVIDIA NIM (Nemotron), Xiaomi MiMo, z.ai/GLM, Kimi/Moonshot, MiniMax, Hugging Face, OpenAI или вашу собственную конечную точку. Переключитесь на модель Hermes - никаких изменений в коде, никакой привязки к конкретной модели.

https://github.com/NousResearch/hermes-agent

Подсказал: Eliot Spencer - @tehn0mad

Опубликовано в @gitgate

#ai #agent #tg #telegram #openrouter

Pusk - self-hosted платформа для алертов и командной координации. Webhook из любого мониторинга, ACK одной кнопкой, push на телефон. Один бинарник, без внешних зависимостей.

Возможности:
- алерты из Grafana, Zabbix, Alertmanager, Uptime Kuma - в отдельные каналы
- ACK одной кнопкой - автоматический silence в Alertmanager
- Push-уведомления на телефон даже при закрытом браузере
- командный чат - каналы, @упоминания, файлы
- совместим с Telegram Bot API - существующие боты работают с заменой одной строки

https://github.com/getpusk/pusk

Опубликовано в @gitgate

#moni #alert #webhook #push #tg #telegram #bot

Backhaul - высокопроизводительное решение для обратного туннелирования, оптимизированное для обработки большого количества одновременных подключений через NAT и межсетевые экраны. В этом файле README вы найдете инструкции по настройке серверных и клиентских компонентов, включая подробную информацию о различных транспортных протоколах.

Возможности:
- высокая производительность: оптимизировано для эффективной обработки большого количества одновременных подключений.
- гибкость протокола: Поддерживает протоколы TCP, WebSocket (WS) и Secure WebSocket (WSS).
- UDP поверх TCP: Реализует инкапсуляцию и пересылку UDP-трафика через TCP-соединение для надежной доставки со встроенным управлением перегрузкой.
- мультиплексирование: Обеспечивает возможность установления множественных соединений по одному транспортному протоколу с использованием SMUX.
- обход NAT и брандмауэра: преодолевает ограничения с помощью обратного туннелирования.
- анализ сетевого трафика: Дополнительный мониторинг сетевого трафика с поддержкой ведения журналов.
- настраиваемый механизм поддержания соединения: регулируемые интервалы поддержания соединения и пульсации для обеспечения стабильного соединения.
- шифрование TLS: Защищенные соединения через WSS с поддержкой пользовательских TLS-сертификатов.
- веб-интерфейс: Мониторинг в реальном времени через облегченный веб-интерфейс.
- функция «Горячая перезагрузка»: поддерживает динамическую перезагрузку конфигурации без перезапуска сервера.

https://github.com/Musixal/Backhaul

Опубликовано в @gitgate

#net #security #nat #firewall

Опубликовано в @gitgate

#net #security #nat #firewall

Docker Wake Up - это легковесный инструмент, предназначенный для того, чтобы помочь пользователям использовать обратное проксирование для Docker приложений (таких как Immich, Nextcloud, Portainer и т. д.) для чистых URL-адресов, таких как yourdomain.com/photos.

Помимо проксирования, он обеспечивает интеллектуальное управление контейнерами за счет:
- автоматический запуск служб Docker при обращении к ним.
- отключение после периода бездействия (необязательно).

Это особенно полезно для сред с самостоятельным размещением, где необходимо экономить ресурсы, запуская только необходимые сервисы и обеспечивая при этом их легкий доступ по запросу.

Возможности:
- запуск контейнеров по запросу: автоматически запускает контейнеры Docker при получении HTTP-запросов.
- интеллектуальное управление простоями: отслеживает использование контейнеров и останавливает простаивающие контейнеры по истечении заданного времени ожидания.
- автоматическая настройка NGINX: генерирует конфигурации обратного прокси NGINX с поддержкой SSL.
- без простоев: бесперебойное проксирование с автоматической загрузкой страниц при запуске.
- ресурсоэффективность: контейнеры запускаются только при необходимости, что позволяет экономить ресурсы процессора и памяти.
- простая настройка: конфигурация всех сервисов в одном JSON-файле.
- автоматическая установка: установка одной командой с помощью скрипта установки.

https://github.com/jelliott2021/DockerWakeUp

Опубликовано в @gitgate

#docker #proxy #nginx

1C to Git - простая в настройки утилита для синхронизации хранилища 1С и GIT репозитория.

Для корректной работы web интерфейса необходимо в конфиге подключить Mongo DB. Без Mongo DB работать тоже будет, но в таком случае информация по коммитам накапливается в памяти приложения и следовательно после перезапуска все очистится, так же без Mongo DB не выводится диаграмма.

https://github.com/LazarenkoA/1C2GIT

Опубликовано в @gitgate

#1c #git

1c-language-parser - парсер для языка 1С, написанный на Go. Парсер использует yacc для эффективного синтаксического анализа и создает абстрактное синтаксическое дерево (AST) представления разобранного кода 1С.

https://github.com/LazarenkoA/1c-language-parser

Опубликовано в @gitgate

#1c

NetWatch - диагностика сети в реальном времени прямо в вашем терминале. Одна команда, никакой настройки, мгновенный обзор.

Большинство сетевых инструментов заставляют вас выбирать: наблюдать за происходящим (iftop, bandwhich) или анализировать пакеты (Wireshark, tshark). NetWatch делает и то, и другое в одном терминале - от общего обзора до анализа отдельных байтов пакетов.

https://github.com/matthart1983/netwatch

Подсказал: Eliot Spencer - @tehn0mad

Опубликовано в @gitgate

#moni #network #security

Sudo for Windows - позволяет пользователям windows запускать команды с правами администратора непосредственно из окон терминала без этих прав.

Встроенная версия sudo доступна для сборок Windows 11 26045 и более поздних версий. Если вы используете сборку для участников программы Windows Insider, в которой есть sudo, вы можете включить его в приложении «Параметры Windows» на странице «Возможности для разработчиков».

Все аспекты, касающиеся прав доступа и работы с командной строкой, отличаются в Windows и Linux. Этот проект не является форком проекта sudo для Unix/Linux и не является его портом. Вместо этого Sudo for Windows - это реализация концепции sudo, специфичная для Windows.

Поскольку это совершенно разные приложения, вы обнаружите, что некоторые элементы традиционного интерфейса sudo отсутствуют в Sudo для Windows, и наоборот. Скрипты и документация, написанные для sudo, могут быть недоступны для непосредственного использования с Sudo для Windows без некоторых модификаций.

https://github.com/microsoft/sudo

Опубликовано в @gitgate

#windows #security #sudo

Tenacity - простой в использовании многодорожечный аудиоредактор и программа для записи звука для Windows, macOS, Linux и других операционных систем. Она создана на основе широко популярной программы Audacity и разрабатывается большой и разнообразной группой волонтеров.

Вы перешли с Audacium или Saucedacity? Вы попали по адресу! Мы рады приветствовать всех пользователей Audacium и Saucedacity в Tenacity и нашем сообществе. Мы внедрили новые функции из Audacity 3.1, чтобы упростить редактирование. Кроме того, мы сохранили темы этих двух форков с минимальными изменениями, чтобы они лучше сочетались с нашими новыми функциями редактирования и небольшими изменениями в треках.

Возможности:
- запись с аудиоустройств (реальных или виртуальных)
- экспорт/импорт широкого спектра аудиоформатов (с возможностью расширения с помощью FFmpeg)
- высокое качество, включая поддержку аудио с плавающей запятой до 32 бит.
- плагины, обеспечивающие поддержку плагинов VST, LV2 и AU.
- написание скриптов на встроенном языке сценариев Nyquist, а также на Python, Perl и других языках с использованием именованных каналов.
- редактирование произвольной выборки и многодорожечной временной шкалы
- доступность, включая редактирование с помощью клавиатуры, поддержку программ чтения с экрана и поддержку озвучивания.
Инструменты, полезные для анализа сигналов, в том числе аудио.

https://codeberg.org/tenacityteam/tenacity

Опубликовано в @gitgate

#audio #edit #audacity

MQTT-NP - кроссплатформенный настольный MQTT-клиент, разработанный для разработчиков и энтузиастов Интернета вещей.

Созданный с использованием современных веб-технологий и языка Rust, он предоставляет быстрый, безопасный и удобный интерфейс для мониторинга и управления MQTT-брокерами.

Возможности:
- несколько профилей серверов: сохранение и переключение между различными MQTT-брокерами.
- защищенные соединения: поддержка аутентификации (имя пользователя/пароль)
- статус соединения: мониторинг соединения в режиме реального времени с помощью визуальных индикаторов.
- быстрое переключение: плавное переключение между серверами без потери данных.
- динамическое обнаружение тем: автоматическое обнаружение тем из брокера.
- Infinity Topics Explorer: подпишитесь на все темы, используя символ #wildcard
- фильтрация по темам: выберите темы для мониторинга.
- визуальные индикаторы: анимированные уведомления о поступлении сообщений.
- массовые операции: снять выделение со всех элементов, удалить все элементы или удалить невыбранные элементы.
- сообщения в режиме реального времени: просматривайте входящие сообщения по мере их поступления.
- счетчик сообщений: отслеживание порядка сообщений с обратной нумерацией.
- копировать в буфер обмена: функция быстрого копирования содержимого сообщений.
- подписка на темы: подписывайтесь на новые темы прямо из журналов.
- Clear Logs: начните с чистого листа одним щелчком мыши
- современный дизайн: чистый, интуитивно понятный интерфейс, созданный с помощью Tailwind CSS.
- темный режим: приятная для глаз тема благодаря поддержке темного оформления.
- адаптивный дизайн: оптимизирован для экранов настольных компьютеров и мобильных устройств.
- боковая панель навигации: быстрый доступ ко всем функциям.
- функция Keep-Alive Views: сохраняет состояние при переключении между страницами.
- Infinity Topics Explorer: включение/выключение автоматического поиска тем
- сохранение соединения: запоминает ваше последнее подключение.
-сохранение тем: сохраняет темы для каждого соединения.

https://github.com/leruetkins/mqtt-np-tauri

Подсказал: @parum_amica

Опубликовано в @gitgate

#mqtt #rust

Lufus утилита для создания образов и форматирования физических дисков, написанная на Python, вдохновлённая Rufus для Windows, с целью улучшения пользовательского опыта для пользователей Linux.

Хотя основная функциональность уже реализована, проект всё ещё находится в активной разработке. Пользователям следует ожидать ошибок, незавершённых функций и постоянных структурных изменений.

Возможности:
- упрощает создание загрузочных носителей для пользователей Linux (как новичков, так и опытных).
- предоставляет пользователям чистый, минималистичный и доступный интерфейс.
- универсальный центр для всего, что связано с прошивкой образов дисков под Linux
- предоставляет пользователям свободу и контроль над установкой Windows

https://github.com/Hog185/Lufus
Опубликовано в @gitgate

#disk #rufus

tennis - небольшой интерфейс командной строки для вывода стильных CSV-таблиц в терминале. Строки будут обрезаны по размеру, и программа автоматически выберет приятные цвета, соответствующие вашему терминалу. Написано на языке Zig.

Возможности:
- автоматическое размещение элементов под размер окна терминала
- автоматический выбор тем оформления: светлая или темная в зависимости от фона вашего терминала.
- автоматическое форматирование чисел
автоматическое определение CSV против TSV
- отлично работает с JSON/JSONL или SQLite.
заголовки, номера строк, зебровые полосы, стили границ
- сортировка, фильтрация, начало/конец
- опция --peek, чтобы получить краткое резюме

https://github.com/gurgeous/tennis

Опубликовано в @gitgate

#csv #tui #json #sqlite

PureMac - бесплатная утилита для очистки от мусора macOS с открытым исходным кодом.

Альтернатива CleanMyMac, которая уважает вашу конфиденциальность.
Никаких подписок. Никакой телеметрии. Никакого сбора данных. Просто чистый Mac.
Большинство приложений для очистки Mac стоят 30-50 долларов в год, собирают данные об использовании и показывают всплывающие окна с предложениями дополнительных услуг. PureMac делает то же самое бесплатно, работает полностью в автономном режиме, а исходный код доступен для проверки.

Возможности:
- абсолютно бесплатно: без пробного периода, без платных тарифов, без подписок.
- 100% конфиденциальность: никакой аналитики, никакой телеметрии, никаких сетевых запросов.
- полностью нативная разработка: создано с использованием SwiftUI, без Electron, без веб-представлений.
- полностью открытый исходный код: лицензия MIT, проверьте код самостоятельно.
- подписано и заверено: идентификатор разработчика Apple Developer ID, без предупреждений Gatekeeper.

https://github.com/momenbasel/PureMac

Опубликовано в @gitgate

#mac #apple #tools #cleaner

Granian - быстрый HTTP-сервер на Rust для Python приложений, построенный на основе Hyper и Tokio.

Основные причины, побудившие к созданию этого проекта, следующие:
- необходимо иметь единую, корректную реализацию HTTP, поддерживающую версии 1, 2 (и в конечном итоге 3).
- предоставить единый пакет для нескольких платформ.
- избежать типичной для Unix-систем композиции зависимостей Gunicorn + uvicorn + http-tools.
- обеспечить стабильную работу по сравнению с существующими альтернативами.

Возможности:
- поддержка приложений с интерфейсами ASGI/3, RSGI и WSGI.
- протоколы HTTP/1 и HTTP/2
- HTTPS и mTLS
- веб-сокеты
- прямая передача статических файлов
- расширение ASGI pathsend

https://github.com/emmett-framework/granian

Опубликовано в @gitgate

#http #python #rust

Cloud Torrent - удалённый торрент-клиент с самостоятельным размещением, написанный на Go (golang). Вы запускаете торренты удалённо, они загружаются в виде наборов файлов на локальный диск сервера, после чего их можно получить или просмотреть в потоковом режиме по протоколу HTTP.

Возможности:
- один бинарный файл
- кроссплатформенность
- встроенный поиск торрентов
- обновления в режиме реального времени
- адаптировано для мобильных устройств
- быстрый сервер контента

https://github.com/jpillora/cloud-torrent

Опубликовано в @gitgate

#torrent #cloud

gitty - однофайловый CLI для GitHub, GitlLab и любого другого git с короткими, понятными командами значительно облегчающий работу с репозиториями.

Возможности:
- один бинарник, без лишних зависимостей
- быстрый повседневный workflow для Git
- семантические сокращения (to, from, in)
- работает с GitHub CLI (gh) и поддерживает прокси

Опубликовано под MIT лицензией.

Поделился автор: @unisonqq (просьба поддержать звездой в репку ! )

https://github.com/Omibranch/gitty

Опубликовано в @gitgate

#git #cli

SMB CSI Driver for Kubernetes - драйвер позволяет Kubernetes получать доступ к SMB-серверу как на узлах Linux, так и на узлах Windows.

Для работы драйвера требуется существующий и уже настроенный SMB-сервер. Он поддерживает динамическое выделение постоянных томов с помощью запросов на постоянные тома (Perstant Volume Claims) путем создания нового подкаталога в SMB-сервере.

https://github.com/kubernetes-csi/csi-driver-smb

Опубликовано в @gitgate

#k8s #smb #csi #pvc

Skyvern - автоматизирует рабочие процессы в браузере, используя LLM-ы и компьютерное зрение. Он предоставляет SDK, совместимый с Playwright, который добавляет функциональность ИИ поверх Playwright, а также конструктор рабочих процессов без кода, который помогает как технически подкованным, так и нетехническим пользователям автоматизировать ручные рабочие процессы на любом веб-сайте, заменяя ненадежные или неэффективные решения для автоматизации.

Традиционные подходы к автоматизации браузера требовали написания пользовательских скриптов для веб-сайтов, часто полагаясь на анализ DOM и взаимодействие на основе XPath, что приводило к сбоям при изменении структуры веб-сайта.

Вместо того чтобы полагаться исключительно на взаимодействие с помощью XPath, определяемого кодом, Skyvern использует LLM в области Vision для изучения веб-сайтов и взаимодействия с ними.

DВозможности:
- может работать на веб-сайтах, которые он никогда раньше не видел, поскольку способен сопоставлять визуальные элементы с действиями, необходимыми для завершения рабочего процесса, без какого-либо написания пользовательского кода.
- устойчив к изменениям в структуре сайта, поскольку наша система не использует заранее определенные XPath-метки или другие селекторы при навигации.
- способен взять один рабочий процесс и применить его к большому количеству веб-сайтов, поскольку он умеет анализировать взаимодействия, необходимые для завершения этого процесса.

https://github.com/Skyvern-AI/skyvern

Опубликовано в @gitgate

#ai #vision #automation