/usr/bin

​Paranoia Mode: подборка инструментов для приватной и безопасной работы в Linux

В этой статье рассказывают о нескольких проверенных методов и технологий для минимизации цифрового следа — без лишней паранойи, но с пониманием, как все устроено.

Docker на каждый день: Ключевые команды в одной статье-шпаргалке

Забудьте о том, что Docker — это некий таинственный инструмент исключительно для DevOps-инженеров. В современном мире разработки Docker стал таким же незаменимым швейцарским ножом, как Git или ваш любимый редактор кода. Он позволяет любому разработчику писать код, который будет одинаково работать на машине коллеги, на тестовом стенде и в продакшене, забыв о кошмаре "а у меня на машине все работает". Если вы еще не погрузились в мир контейнеризации или вам нужен удобный источник команд, эта статья — ваш экспресс-билет.

Подводные камни при работе с файлами в Linux с примерами на Python

Работа с файлами в Python кажется простой — open, read, write. Но на практике, особенно в системах с высокими требованиями к отказоустойчивости, стабильности и логированию, за банальными строками кода может скрываться целый мир проблем.

В этой статье разобрано, как знание внутренностей Linux может помочь избежать потерь данных и облегчить отладку. Все примеры будут на Python, но применимы к любым языкам, работающим через POSIX-интерфейсы.

Работа с длинными строками в PostgreSQL

В полях типов text и bytea могут храниться данные до 1 Гб. Если размер строки в процессе обработки превышает 1 Гб, возникают ошибки нехватки памяти. Обнаруживают такие ошибки обычно при выгрузке данных утилитой pg_dump, которая преобразует бинарные данные в текстовый вид.

Когда строки таблицы выгружаются командой COPY TO (вообще, когда происходит обработка данных любыми командами), выделяется память под строковый буфер, причем выделяется он динамически в процессе обработки каждой строки, а не при запуске серверного процесса. Максимальный размер буфера задан в stringinfo.c константой MaxAllocSize, которая равна 0x3fffffff, что равно 1 Гб – 1 байт (1 073 741 823 байт). Читать дальше.

​Выкрутили автоматизацию на максимум: с чем кроме инвентаризации помог переход на NetBox

В этой статье кровавый крупный энтерпрайз рассказывает о своем опыте использования NetBox. А продукт и правда интересный. Поделитесь в комментариях о своем опыте его использования.

​Шардированный не значит распределённый: что важно знать, когда PostgreSQL становится мало

В основе большинства шардированных решений для PostgreSQL лежит очень простая идея: вместо одного PostgreSQL берут N, где каждый из Postgres'ов отвечает за определённый диапазон ключей таблицы. Знанием об этих диапазонах обладает специальный слой маршрутизации (координатор), который теперь для пользователя становится точкой входа. Слой маршрутизации может как находиться на стороне сервера (Citus-подобные решения), так и быть частью клиентского приложения. Важно понимать, что эти N инстансов PostgreSQL ничего не знают друг о друге и никак не взаимодействуют между собой. Читать дальше на Хабре.

​lsds - List All Linux Block Devices and Settings in One Place

При работе с дисками и устройствами ввода-вывода в Linux администратору регулярно приходится выполнять такие команды, как lsblk, lsscsi, nvme listи т. д. Все они, как правило, выдают разный набор информации, поэтому в итоге приходится выполнять несколько команд и сопоставлять их вывод на основе имени или номера устройства. Утилита lsds показывает сводную информацию. Под капотом выполняется:

grep . /sys/class/block/sd*/device/queue_depth
grep . /sys/class/block/*/queue/nr_requests

Статья с описанием утилиты

Репыч на Гитхабе

​RDP для Linux через X протокол

В этой статье рассказывают, как в Linux реализован пользовательский интерфейс с графическим интерфейсом (GUI). Этот интерфейс, известный как X Window System, позволяет программам работать с оконным управлением.

В отличие от платформы Windows, где графический интерфейс встроен в ядро операционной системы, в UNIX‑подобных системах он является дополнительным компонентом. Его реализация осуществляется с помощью протокола X, который обычно называют X Window System или X11, в зависимости от версии протокола. Этот протокол управляет связью между приложениями и экранами устройств.

История протокола X восходит к 1984 году, когда он был разработан в Массачусетском технологическом институте (MIT). Хотя протокол регулярно обновляется, он остаётся актуальным и важным инструментом для современных пользователей. Читать дальше на Хабре.

​Резервное копирование PostgreSQL по-взрослому

В статье разбираются утилиты резервного копирования и восстановления pg_dump, pg_dumpall, pg_restore, а также кейсы их использования и возможные форматы резервных копий.

How to Use Shutdown, Poweroff, Halt, and Reboot Commands in Linux

В этой статье объясняется разница между командами shutdown, poweroff, halt и reboot.

MySQL репликация: проблемы, решения, практические рекомендации

Вопрос "какая репликация MySQL лучшая?" звучит часто. Ответ, как водится в сложных системах, – "зависит от ситуации". Нет универсального решения. Выбор оптимального метода репликации всегда компромисс. Приходится искать золотую середину между тем, насколько данные должны быть одинаковыми везде, скоростью работы, бесперебойностью и тем, насколько сложно все это настроить. Читать дальше на Хабре.

Настраиваем и управляем брандмауэрами в Linux

В этой статье разберемся с настройками трех различных инструментов для управления брандмауэром: iptables, firewalld и nftables.

Когда хочется странного: шифруем Linux, упаковываем в контейнер, запускаем на реальном железе

В этой статье автор рассказывает о dm-crypt в Linux и о его использовании в немного необычном ключе: запуск полноценной ОС из зашифрованного контейнера, без выделения отдельного дискового раздела. Читать дальше.

В этой статье рассмотрим 10 полезных скриптов для базовой проверки и настройки безопасности Linux-сервера.

cURL для обхода WAF: продвинутые приемы и команды

В этой статье рассмотрено, как cURL можно использовать для тестирования и обхода WAF путем изменения HTTP-запросов, заголовков и пользовательских данных.

Секунды с начала эпохи Unix

Люди обычно говорят, что время POSIX, также известное как время Unix — это количество of секунд, прошедших с эпохи Unix, то есть с 00:00:00 1970-01-01.

Но это не так. Точнее, не так в смысле, подразумеваемом большинством. Например, сейчас на часах 2024-12-25, 18:51:26 UTC. Время POSIX равно 1735152686. Прошло 1735152713 секунд с эпохи POSIX. Число времени POSIX на двадцать семь секунд меньше.

Причина в том, что время POSIX вычисляется в IEEE 1003.1 из Coordinated Universal Time. Стандарт предполагает, что каждый день — это ровно 86400 секунд. Читать дальше.

Системные вызовы Linux, которые должен знать каждый разработчик

Многие разработчики работают в Linux-среде, но не всегда глубоко понимают, как взаимодействие с ОС происходит на низком уровне. На собеседованиях всё чаще спрашивают про системные вызовы Linux. В этой статье рассмотрено, какие вызовы встречаются чаще всего и как они работают. Читать дальше.

​Графика в Linux — как это вообще устроено

В статье рассказано о принципах визуализации Linux-десктоп, X-window, VNC, RDP и Wayland.

Как работает ptrace в Linux и зачем он нужен

С ptrace можно подключаться к чужим процессам, читать и менять их память, перехватывать системные вызовы — и даже вежливо уволить sleep 9999. Читать дальше.

​Чат в терминале Linux: почти «Матрица» в реальной жизни

Начало фильма «Матрица» выглядело со всех сторон шикарно. У главного героя внезапно оживает экран и сообщает: жизнь не будет прежней. Томас Андерсон явно не ждал такого поворота событий и посчитал, что компьютер был взломан. На самом деле такое общение с помощью терминала, без централизованных серверов — повседневная реальность многих хакеров.

Прямое зашифрованное соединение — то, что нужно для передаваемых данных, которые следует держать в секрете. Есть, конечно, SSH, но сам по себе это только способ подключения, без интерфейса для общения. Конечно, можно создавать файлы и писать в них что-либо, но это неудобно. К тому же SSH подходит, если вы доверяете собеседнику. Для прочих случаев можно воспользоваться Cryptcat или его аналогами. Читать дальше.