sysadmin.su

How To Use Proxy Server To Access Internet at Shell Prompt With http_proxy Variable

Как указывать прокси сервер в командной строке. В коментах к статье есть дополнительные примеры.

https://www.cyberciti.biz/faq/linux-unix-set-proxy-environment-variable/

#linux #shell #proxy #env

​ClickHouse как бэкенд для Prometheus

Вы узнаете про мощные возможности ClickHouse для эффективного долгосрочного хранения метрик Prometheus. В статье также есть рекомендации по использованию инструмента и описание альтернативных решений, таких как Thanos, Grafana Mimir и Victoria Metrics. Читать статью.

Вышел ceph 19.2.0 (squid)

Вышел первый стабильный релиз 19 ветки с кодовым названием squid.

Пользователям iSCSI рекомендуется ознакомиться с трекером перед обновлением т.к. разработчики сталкивались с проблемами при обновлении с 19.1.1 до 19.2.0.

Краткое содержание основных изменений, которые принесла 19 ветка:

-RADOS: BlueStore был оптимизирован для лучше производительности при snapshot-intensive сценариях.
- RADOS: Сжатие LZ4 в BlueStore RocksDB теперь включено по умолчанию для повышения средней производительности и использования пространства на быстрых дисках.
- RADOS: Другие улучшения включают в себя более гибкие конфиги EC, OpTracker для помощи отладки проблем в модулях mgr, и улучшеный планировщик скраба.
- Dashboard: Улучшение в навигационном слое
- CephFS: Поддержка управления снапшотами и клонами CephFS, а также управление расписанием снапшотов.
- CephFS: управление возможностями авторизации для ресурсов CephFS
- CephFS: помощники монтирования cephfs volumes
- RBD: Функция diff-iterate теперь может выполняться локально, что значительно повышает производительность при использовании QEMU для оперативной синхронизации дисков и резервного копирования.
- RBD: Добавлена поддержка клонирования из снапшотов non-user типа.
- RBD: windows драйвер rbd-wnbd получил возможность мультиплексировать мапинг образов.
- RGW: Функция "Учетные записи пользователей" открывает несколько новых AWS совместимых IAM API для самостоятельного управления пользователями, ключами, группами, ролями, политиками и многим другим.
- RADOS: Это первый релиз в котором crimson, в качестве tech preview, доступен для широкого круга пользователей. Пока поддерживается только RBD на реплицируемых пулах. Для получения дополнительной информации про Crimson смотрите https://ceph.io/en/news/crimson

И многое другое.

Как всегда release notes первого стабильного релиза достаточно объемные и там много чего интересного.

Подробнее тут:

https://ceph.com/en/news/blog/2024/v19-2-0-squid-released/

P.S. Как обычно не рекомендую катить в прод с ценными данными первый релиз, даже не смотря на то, что его называли стабильным ;)

#ceph #squid #release #cephexpert

🛠 Внезапное открытие сегодняшнего утра - оказывается, с помощью systemd и опций IPAddressDeny/IPAddressAllow в unit файле, можно контролировать сетевой доступ для приложения. Подробнее об этом...

- IP Accounting and Access Lists with systemd;
- Unintentionally troubleshooting a new way to filter traffic;
- systemd application firewalls by example.

#systemd #network #напочитать

How we use GenAI in SRE (Рубрика #SRE)

Я периодически почитываю статьи Google на тему "Distributed Systems and Parallel Computing" на их сайте research.google. Именно там я нашел статью "How we use GenAI in SRE" с абстрактом вида

Службы Google работают на крупнейшей в мире сети компьютеров. Инженеры по надежности сайтов (SRE) следят за тем, чтобы весь стек был в порядке: центры обработки данных были безопасными, хорошо подготовленными; у нас были резервные механизмы и целостность данных; чтобы убедиться, что мы правильно проектируем наш стек, используя правильные компромиссы в области хранения, репликации и программного обеспечения. Генеративный ИИ — отличный инструмент, который сделает нас сверхэффективными: имея доступ к инструментам для создания наших самых сложных конфигураций, для классификации рисков и событий, для управления большими массивами машин с помощью агентов или для дешевой автоматизации сложных рабочих процессов. В этом докладе будет рассмотрен путь, который SRE начал много лет назад, чтобы стать по-настоящему дисциплиной AI-First, и последние достижения в области инструментов, практик и рабочих процессов.

Эта статья оказалась не статьей, а простенькой презентацией от 20 апреля 2024 года (сама презентация доступна здесь). Из этой презентации можно вытащить не так много нового

1) Тезис про то, как SRE связан с работой AI систем

SRE is crucial component to operate at scale AI systems that are trustworthy, safe and efficient

2) Как SRE помогает AI
- Дизайн распределенных систем - системы, у которых основа завязана на AI, тоже должны хорошо масштабироваться и быть надежными
- Ускорить деплой - новые железные компоненты (GPU, TPU, ...) должны поступать в датацентры и эффективно шедулиться
- Trust & safety - результаты работы систем, основывающихся на AI моделях, должны быть выровнены относительно человеческих стандартов
- Эксплуатация и автоматизация - тренировка моделей и пайлайны для fine-tuning, релизов, откатов и так далее (вообще это можно называть MLOps)

3) Как AI помогает SRE
- Генеративный AI для документации и постмортемов - сохранение документации чистой и актуальной, создание изначальных постмортемов (видимо, рыба с автозаполнением части инфы)
- Автоматизация workflow - агентские процессы служат как workflow runners и выполняют часть функций на проде
- Оценка риска - еще до возникновения инцидента модели могут детектировать проблемы и исправлять часть из них
- Эффективность ресурсов - начиная с температур в датацентрам и до размещения сервисов по доступным машинкам ML модели помогают проду быть более здоровым и эффективным

В итоге, это доклад на хайповую тему, но вот содержание не уходит дальше рассказов о том, что SRE в Google теперь на AI-стероидах и применяется к AI системам:))

#SRE #Management #ML #AI #Processes #SystemDesign #DistributedSystems

Администрирование PostgreSQL 16. Базовый курс

Новый бесплатный курс по админстрированнию PostgreSQL от PostgresPro

Продолжительность: 3 дня
Предварительные знания:
* минимальные представления о базах данных и SQL,
* знакомство с Unix.

Какие навыки будут получены:
* общие сведения об архитектуре PostgreSQL,
* установка, базовая настройка, управление сервером,
* организация данных на логическом и физическом уровнях,
* базовые задачи администрирования,
* основные сведения об управлении доступом,
* представление о резервном копировании и репликации.


https://postgrespro.ru/education/courses/DBA1

#databese #postgresql #напочитать #leran

Вышел ceph 18.2.4 (reef)

Вышел четвёртый бекпорт релиз в ветке reef.

Ранняя сборка этого релиза была случайно упакована и опубликована как 18.2.3 проектом Debian в апреле. Этот релиз 18.2.3 не должен использоваться, поэтому официальный релиз был переименован в v18.2.4, чтобы избежать дальнейшей путаницы.

Образы контейнеров v18.2.4 основанны на CentOS 9 и могут быть несовместимы с более старыми ядрами (например, Ubuntu 18.04) из-за различий в методах создания потоков. Пользователи, обновляющиеся до контейнеров v18.2.4 на более старых версиях ОС, могут столкнуться со сбоями во время выполнения pthread_create. Для обходных путей обратитесь к связанному трекеру https://tracker.ceph.com/issues/66989. Однако разработчики рекомендуют обновить вашу ОС, чтобы избежать этой неподдерживаемой комбинации.

Разработчики отметили следующие изменеия:

* RBD: При сравнении с началом времени (fromsnapname == NULL) в режиме fast-diff (whole_object == true с включенной и допустимой функцией fast-diff образа), diff-iterate теперь гарантированно выполняется локально, если доступна эксклюзивная блокировка. Это приводит к значительному улучшению производительности для синхронизации live дисков QEMU и резервного копирования.
* RADOS: C++ API get_pool_is_selfmanaged_snaps_mode был объявлен устаревшим из-за возможности ложноотрицательных результатов. Его безопасной заменой является pool_is_in_selfmanaged_snaps_mode.
* RBD: Добавлена опция --image-id для командной строки rbd children, чтобы она могла работать с образами в корзине.

Еще больше подробностей тут:

https://ceph.io/en/news/blog/2024/v18-2-4-reef-released/

#ceph #reef #release #cephexpert

🗜 Linux Network Performance Ultimate Guide - очень обстоятельно о работе сети в Linux...

https://ntk148v.github.io/posts/linux-network-performance-ultimate-guide/

#linux #network #performance

😈 Let's Try BSD - неплохая серия статей получается у автора. Берём BSD систему, и разворачиваем на ней Wordpress:

1. Introduction (FreeBSD, OpenBSD, NetBSD, DragonFlyBSD);
2. How I Setup for FreeBSD, OpenBSD, NetBSD, and DragonFlyBSD (тут базово про заказ виртуалки в vultr, можно пропустить);
3. FreeBSD, the Power to Serve;
4. NetBSD, the BSD That Runs on Your Grandfather's Pocket Watch;
5. Setting Up Nginx + WordPress on OpenBSD! Almost!
6. Jump Into the Unknown With Me As I Install DragonFlyBSD!
7. Conclusions About FreeBSD, OpenBSD, NetBSD, and DragonFlyBSD.

#фидбечат #bsd #webserber

📧 Neverest CLI - неплохо выглядящая альтернатива imapsync. Оба инструмента используются для синхронизации, переноса и резервного копирования писем в почтовых ящиках...

https://git.sr.ht/~soywod/neverest-cli

#email #mail #imap

Proxmox vs FreeBSD: Which Virtualization Host Performs Better?

Сравнение производительности виртуализации на базе прокса с bhyve

https://it-notes.dragas.net/2024/06/10/proxmox-vs-freebsd-which-virtualization-host-performs-better/

#virtualization #proxmox #freebsd #performance #bhyve #zfs

​OpenTelemetry Collector Anti-Patterns

OpenTelemetry Collector — гибкий и мощный конвейер данных, который позволяет принимать данные OTel из одного или нескольких источников, преобразовывать их и экспортировать в один или несколько бэкэндов для наблюдения для анализа.

К сожалению, как это случается со многими инструментами, очень легко поддаться плохим привычкам.В этой статье разобраны 5 антипаттернов OpenTelemetry Collector и рассказано как их избежать.

👉 Неправильное использование режимов деплоя коллектора
👉 Отсутствие контроля коллекторов
👉 Использование неправильного дистрибутива коллектора
👉 Нерегулярное обновление коллекторов
👉 Использование OpenTelemetry Collector не там, где это уместно

Читать статью
.

​SLO formulas implementation in PromQL step by step

Определив SLO, владельцу сервиса необходимо предоставить расчет, который отражает реальность. В этой статье пошаговое руководство по внедрению формул SLO доступности и задержки с помощью системы мониторинга Prometheus.

Читать статью
.

​Grafana Loki: Оптимизация показателей на основе журналов

Существует несколько уровней, где производительность Loki может быть улучшена и настроена. От оптимизации запроса и его эффективного выполнения до выделения правильных вычислительных ресурсов. В статье рассмотрены следующие параметры, которые влияют на улучшение производительности:

👉 Фильтр меток
👉 Анализ данных
👉 Разделение запроса
👉 Параллелизм/Параллелизм и Очередь
👉 Индекс
👉 Кэш
👉 Распределение ресурсов

Читать статью
.

We need to talk: Can we standardize NO_PROXY?

https://about.gitlab.com/blog/2021/01/27/we-need-to-talk-no-proxy/

#linux #env #proxy #no_proxy #curl #gitlab

https://habr.com/ru/companies/rvision/articles/825086/

#freeipa

​Alerts Are Fundamentally Messy

Хорошая подход к гигиене алертинга состоит из нескольких компонентов: контроль за условиями срабатывания оповещения, постмортем и ​​размышления о том, что делает алертинг хорошим или плохим. Задача состоит в доведении алертинга до стадии, когда уведомления улетят, когда они должны отправиться, и не будут разосланы, когда это не требуется. Вообще говоря, это недостижимый идеал.

Реальность такова, что достижение идеала это процесс, а сам идеал недостижим. В этой статье разобран подобный итеративный процесс. Читать статью.

"Advanced Linux Detection and Forensics Cheatsheet" - полезный систематизирующий документ по моментам связанным с обнаружением и расследованием инцидентов в Linux. Вы определенно можете отметить как много всего есть и как много куда надо смотреть в Linux (и от этого даже может заболеть голова). В документе упоминается и ряд моментов связанных с контейнерами и K8s. Но если прям специализироваться и затачиваться под последнее, то на их специфике можно сделать много всего интересного и очень полезного. Об этом мы как раз расскажем и покажем на будущем вебинаре «Ловим злоумышленников и собираем улики в контейнерах Kubernetes».