DeVops Библиотека

🚀 КАК Docker РАБОТАЕТ ПОД КАПОТОМ

Большинство думает, что Docker - это «виртуалка, но легче». На самом деле Docker почти не виртуализирует ничего: он использует механизмы ядра Linux - namespaces, cgroups и overlay-файловые системы — чтобы создать иллюзию отдельной машины.

Контейнер - это просто обычный процесс, но ядро заставляет его видеть *свой собственный мир*: свою сеть, свои процессы, свою файловую систему, свои лимиты.
Docker лишь склеивает эти механизмы в удобный инструмент и автоматизирует запуск изолированных процессов.

# Посмотреть namespaces текущего процесса
lsns

# Создать процесс в новом IPC, PID и UTS namespace
unshare --ipc --pid --uts bash

# Проверить ограничение CPU cgroups
cat /sys/fs/cgroup/cpu.max

# Посмотреть mount-слои overlayfs контейнера
find /var/lib/docker/overlay2 -maxdepth 2 -type d

Nano Banana очень хороша для генерации схем и слайдов, а как насчёт сделать из них видео. 🎬

Google Vids вместе с Gemini позволяет автоматически превратить презентацию Google Slides в полноценный видеоролик: со сценарием, озвучкой и музыкой.

Вы просто загружаете презентацию, выбираете стиль - и система сама собирает видео из ваших слайдов.

https://workspace.google.com/blog/product-announcements/october-workspace-drop-ai-storytelling-research-and-data-protections

@ai_machinelearning_big_data

#Gemini #google #llm

🚨 SQL Никогда НЕ ДЕЛАЙ ТАК #sql

НИКОГДА НЕ ЛОМАЙ ИНДЕКСЫ ФУНКЦИЯМИ: не оборачивай индексируемые поля в функции внутри WHERE.

Как только ты пишешь LOWER(), CAST(), COALESCE() или любые вычисления по колонке — индекс перестаёт работать, и запрос падает в полное сканирование таблицы.

Это одна из самых тихих причин, почему запросы внезапно превращаются в тормоза.

Вместо этого приводи значения заранее или используй функциональные индексы.

 Плохо: индекс по email НЕ используется  
SELECT *  
FROM users  
WHERE LOWER(email) = 'user@example.com';

-- Хорошо: нормализуем значение заранее  
SELECT *  
FROM users  
WHERE email = 'user@example.com';

-- Или создаём функциональный индекс (PostgreSQL)  
CREATE INDEX idx_users_email_lower ON users (LOWER(email));

https://www.youtube.com/shorts/AyiAslOeJFA

🌟 Reader3: легковесная читалка для книг от Andrej Karpathy

Андрей Карпаты опубликовал у себя в Github небольшой проект - утилиту под названием reader3.

На первый взгляд, это просто легковесная читалка для электронных книг в формате EPUB, которую можно запустить у себя на компьютере. Но главная идея в том, чтобы читать книги вместе с LLM.

Reader3 разбивает книгу по главам, и пользователь может легко скопировать текст текущей главы и вставить его в свой любимый LLM, чтобы обсуждать сюжет, анализировать стиль или задавать вопросы по тексту.

Но самое интересное здесь — это философия, которая стоит за проектом. Карпаты пишет, что проект написан "на 90% вайбкодингом", просто для иллюстрации идеи и что он не собирается его поддерживать или улучшать.

Я начинаю привыкать читать все (блоги, статьи, главы книг и т. д.) с помощью LLM. Обычно первый проход — ручной, второй — «объяснение/резюме», третий — вопросы и ответы.

В результате я обычно получаю более глубокое понимание, чем если бы я просто прошел дальше. Этот процесс становится у меня одним из самых популярных вариантов чтения.

А вместо этого предлагает пользователям... просто попросить свою языковую модель изменить код так, как им нравится.

Код теперь эфемерный,

— пишет Андрей, намекая на то, что эпоха статичных библиотек и долгой поддержки уходит в прошлое.

Для тех, кто хочет попробовать, процесс максимально прост. Нужно скачать книгу в формате EPUB и запустить пару команд в терминале, используя uv:

uv run reader3.py yourbook.epub

# Then run the server:

uv run server.py

После этого ваша книжная полка станет доступна в браузере по адресу localhost:8123.


📌Лицензирование: MIT License.


🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Karpathy #Github #Book

🚀 Дорожная карта DevOps: что должен уметь инженер нового поколения

DevOps развивается стремительно: автоматизация, GitOps, облака, безопасность и AI-инструменты стали обязательным набором. Вот структура, по которой можно готовиться в 2025 году.

🔹 1. Основы Linux и сетей
• Командная строка, systemd, процессы
• Управление пакетами, SSH, firewall
• Основы TCP/IP, DNS, прокси, VPN
• Bash-скриптинг и автоматизация

🔹 2. Контейнеризация
• Docker: образы, слои, volumes, networks
• Docker Compose
• Best practices: минимизация образов, multistage build

🔹 3. Kubernetes (обязательно в 2025)
• Pod, Deployment, Service, ConfigMap, Secret
• Ingress, HPA, StatefulSet
• K8s networking и сервис-меши
• Helm, Kustomize
• Monitoring: Prometheus + Grafana
• GitOps: ArgoCD или Flux

🔹 4. Облачные платформы
Минимум один облачный облак на уровне production:
• AWS (EC2, IAM, S3, EKS, Lambda, CloudWatch)
или
• GCP (Compute Engine, GKE, Cloud Run)
или
• Azure (AKS, VNets, Storage)
🔹 5. CI/CD в 2025
• GitHub Actions / GitLab CI / Jenkins
• Pipeline’ы, артефакты, тестирование
• Автоматический деплой в Kubernetes
• Секреты, SBOM, контейнерные сканеры

🔹 6. Terraform и IaC
• Основы HCL
• Управление ресурсами AWS/GCP/Azure
• Модули, Workspace’ы
• Terragrunt
• Policy-as-Code (OPA)

🔹 7. Observability
• Metrics → Prometheus
• Logs → Loki, ELK, CloudWatch
• Traces → Tempo, Jaeger
• Alerting → Alertmanager
• SLO/SLI практики

🔹 8. Безопасность (DevSecOps)
• SAST, DAST, контейнерные сканеры
• Hardened Docker/K8s
• Secrets & Vault
• Zero Trust basics
• Pod Security Standards
• Supply Chain Security (SLSA, Sigstore)

🔹 9. Программирование
• Python или Go для автоматизации
• API, webhooks, CLI-инструменты
• Асинхронность и быстрые утилиты

🔹 10. AI в DevOps (тренд 2025)
• Авто-генерация манифестов и пайплайнов
• LLM-помощники для инфраструктуры
• Лог-анализ через AI
• Автоматический RCA и remediation

DevOps в 2025 — это не просто Kubernetes и CI/CD. Это сочетание облаков, автоматизации, GitOps, безопасности и AI-инструментов. Освой эту карту, и ты станешь инженером нового поколения.



https://www.youtube.com/watch?v=MtFy70hiZiE

🇯🇵 Andy Rubin - создатель Android и экс-топ-менеджер Google - возвращается в робототехнику с новой компанией Genki Robotics, базирующейся в Токио, Япония. Согласно отчёту корейского MK.co.kr и The Information, стартап работает в режиме «стелс» и набирает команду для разработки первых прототипов.

Слово «Genki» по-японски означает «живой», «энергичный» - это говорит о фокусе на динамичных машинах, вероятно, способных передвигаться в человеческом пространстве.

Andy Rubin уже давно интересуется роботами-пешеходами: во время работы в Google он руководил робо-дивизионом и покупал японскую хуманоидную компанию Shaft. На конференции в 2018 году он предсказал эру «nog-everywhere» (ноги повсюду), утверждая, что именно ногами роботы смогут использовать лифты, подниматься по лестницам и работать там, где колёса бессильны.

Выбор Токио как центра Genki Robotics — стратегический: Япония славится мощным инженерным ресурсом в области робототехники и университетскими кадрами, которые трудно переоценить. Rubin явно намерен воспользоваться преимуществом японской экосистемы вне привычного Силиконовой долины.

Но рынок хуманоидов крайне насыщен и затратен. Несмотря на прошлые успехи Rubin-а (в 2013-м он инициировал множество покупок робототехнических компаний), после ухода из Google его компания смартфонов Essential Products закрылась в 2020-м.

Пока Genki Robotics работает в тени — неизвестно, какие задачи она решает и какую технологию использует. Но возвращение Rubin-а в эту область может стать важным событием для индустрии хуманоидов.

⚡️ Дорожная карта DevOps-инженера: от Middle до Advanced

DevOps-инженер объединяет навыки администрирования, разработки и автоматизации для ускорения выпуска качественных продуктов. Ниже представлена структурированная дорожная карта с основными темами (от базовых к продвинутым), пояснениями и ресурсами для каждого этапа.

📘 Читать

📌 20 ключевых навыков для Linux-администратора

Если хочешь уверенно работать с Linux в DevOps/инфраструктуре — вот карта, по которой можно идти:

— Командная строка: cd, ls, ps, top, tmux, ssh
— Права и пользователи: chmod, chown, группы, sudo
— SSH-ключи и безопасность доступа
— Firewall: iptables, ufw
— Резервные копии: rsync, cron
— Bash/Python скриптинг для автоматизации
— Package managers: apt, yum, dnf
— Network troubleshooting: ping, traceroute, netstat, ss, ip
— Процессы: ps, top, systemd
— Диски: df, du, fdisk, LVM
— Git и контроль версий
— Контейнеры: Docker, Podman + основы Kubernetes
— Конфигурационное управление: Ansible, Puppet, Chef
— Облака: AWS/Azure/GCP
— CI/CD: Jenkins, GitLab CI, GitHub Actions
— Мониторинг: Prometheus, Grafana, ELK
— IaC: Terraform, CloudFormation
— Оркестрация: Kubernetes, Docker Swarm
— Сертификации: AWS, RHCE, CKA
— Постоянное обучение и практика

Linux — это фундамент для DevOps, SRE и облачной инфраструктуры.
Освой базу, автоматизируй рутину и прокачивайся каждый день 🚀

#linux #devops #sysadmin #infrastructure #cloud

🚦 Ускоряем GitLab CI/CD

Обычный пайплайн в GitLab идёт «ступеньками»: сначала build, потом test, потом deploy. Даже если задачи никак не связаны, они будут терпеливо ждать друг друга. В итоге лишние минуты и часы простаивания.

Вместо жёстких стадий можно описать зависимости между стадиями. В GitLab CI это называется DAG — Directed Acyclic Graphs.

Например:

— линтер может запуститься сразу, не дожидаясь сборки,
— тесты стартуют сразу после билда,
— деплой уходит в бой, как только готовы нужные джобы.

Выглядит это так:

  stage: test
  needs: [ "build-job" ]
  script: make test

lint:
  stage: test
  script: make lint

deploy:
  stage: deploy
  needs: [ "unit-tests", "lint" ]
  script: make deploy

DAG превращает ваш CI/CD из очереди в автомагистраль. Если у вас много джобов — самое время пересмотреть пайплайн.

⚡️ Хитрый трюк для Linux-админов: моментальное восстановление удалённых файлов без резервных копий

Иногда криворукий админ случайно удаляет важный файл (`rm -rf` - и всё пропало).

Но пока процесс или пользователь ещё держит этот файл открытым, его можно вернуть без бэкапа и магии - прямо из /proc.

💡 Идея:
Linux хранит дескрипторы открытых файлов в /proc/PID/fd/.
Если файл удалён, но процесс всё ещё его использует, то можно просто скопировать данные обратно — даже если файл уже исчез из каталога.

Этот трюк реально спасает, когда кто-то удалил конфиг, лог или бинарник, который ещё держится открытым.

Главное — успеть, пока процесс не завершился.

🔥Свежий курс со Stepik: Linux: полный апгрейд твоих скиллов

Хочешь реально понимать, что происходит под капотом твоей системы, а не просто кликать по GUI?

Без глубокого знания базы ты не инженер - ты просто пользователь.

🔹 В курсе ты:

- Освоишь bash, grep, sed, awk - инструменты, которыми живут админы.
- Разберёшь права, процессы, сеть, файловую систему и научишься чинить всё, что падает.
- Настроишь SSH, firewall, systemd, crontab, демоны и автозапуск.
- Научишься анализировать логи, следить за нагрузкой, и не паниковать при 100% CPU.

💡 Формат: пошаговое объяснение базы и разбор важных практик по работе с Linux.

🎯 После курса ты: будешь чувствовать Linux как родную среду и забудешь, что такое “permission denied”.

🚀 Сейчас действуют скидка целых - 30%, не упусти реальный шанс прокачаться.

👉 Забирай место на курсе со скидкой

⚡️ ContainerSSH

SSH-сервер, который запускает контейнеры в Kubernetes и Docker

https://github.com/ContainerSSH/ContainerSSH

🖥 Сделай свои Linux-команды цветными!

Если ты замечал у кого-то красивый цветной вывод ping, df или ps — скорее всего, это grc (Generic Colourizer).
Он добавляет цветовую подсветку для множества CLI-инструментов прямо “из коробки”: df, lsblk, free, ping, ps и других.

📦 Установи через пакетный менеджер:

sudo dnf install grc

🔧 Для Bash добавь в ~/.bashrc:

GRC_ALIASES=true
[[ -s "/etc/profile.d/grc.sh" ]] && source /etc/profile.d/grc.sh

и перезагрузи оболочку:

source ~/.bashrc

🔮 Для Zsh — добавь в ~/.zshrc:

[[ -s "/etc/grc.zsh" ]] && source /etc/grc.zsh

и обнови сессию:

source ~/.zshrc

Теперь твой терминал будет не просто информативным, а стильным.

😊 Nyarch Linux

Это неофициальный форк Arch’а, сделанный, по словам автора, для «дегенератов и гордых обладателей дакимакуры». Тут всё, как мы любим:

— Catgirl Downloader для случайных кошкожен;
— Nyarch Assistant — локальная вайфу-помощница, которая может и терминал открыть, и «ня» сказать;
— Material UwU — темы и обои, подстраивающиеся под выбранную вайфу;
— Nyarch Customize — кастомизация рабочего стола с «очень крутыми анимациями»;
— И Flathub + AUR из коробки, чтобы доставить себе боль быстрее.

Создатели честно предупреждают: не используйте Nyarch как основную систему, если не готовы к багам и экзистенциальной тоске.

https://nyarchlinux.moe/

💡 Репозиторий, где собрано 100+ проектов с нуля - от веба до ИИ. Всё максимально практично 👇

- 100+ готовых проектов: сайты, игры, нейросети, тулзы

- Современные технологии: ReactJS, NodeJS, VueJS, Flutter, Unity, TensorFlow, OpenCV и другие

- Пошаговые гайды с разными уровнями сложности — подойдёт даже новичку

- У каждого проекта указан технологический стек

Без воды - только практика и понятные объяснения.

🚀 https://github.com/Xtremilicious/projectlearn-project-based-learning

Must-have для девопсов и секьюрщиков: бесплатный сканер уязвимостей и косяков в контейнерах и кластерах

- Проверяет образы, Kubernetes, репозитории кода, VM и даже облако
- Ловит CVE в зависимостях, дырявые конфиги IaC, случайно закоммиченные секреты и проблемы с лицензиями
- Ставится одним бинарником — без БД и лишних сервисов
- Работает в CI/CD, выводит отчёты в JSON / SARIF
- Поддерживает почти все популярные дистрибутивы и языки

https://github.com/aquasecurity/trivy

🔧 Как ускорить работу в Linux с помощью alias

В Linux есть удобный приём - alias. Это сокращённые команды, которые экономят время и избавляют от повторного ввода длинных конструкций.

📌 Проверить текущие alias

alias
Выведет список всех настроенных сокращений, например:
ll='ls -alF'

⚡ Временный alias (работает до закрытия терминала)

alias wr="cd /var/www/html"
Теперь wr перенесёт вас в /var/www/html.

Удалить можно так:

unalias wr

♻️ Постоянный alias (сохраняется после перезагрузки)
Нужно добавить его в конфиг вашей оболочки:

Bash → ~/.bashrc

Zsh → ~/.zshrc

Fish → ~/.config/fish/config.fish

Пример в ~/.bashrc:

alias gs="git status"
alias update="sudo apt update && sudo apt upgrade -y"
alias serve="python3 -m http.server"
alias ..="cd .."
alias ...="cd ../.."

Чтобы применить изменения сразу:

source ~/.bashrc

📂 Отдельный файл ~/.bash_aliases
В Ubuntu/Debian часто alias выносят в ~/.bash_aliases, а в ~/.bashrc есть строка:

if [ -f ~/.bash_aliases ]; then
  . ~/.bash_aliases
fi

Это помогает держать настройки в порядке.

🚀 Полезные примеры alias

alias gs="git status"
alias gp="git pull"
alias update="sudo apt update && sudo apt upgrade -y"
alias serve="python3 -m http.server"
alias ..="cd .."

👉 Итог: alias экономят время и делают работу комфортнее. Главное — придумать такие сокращения, которые легко запомнить.

https://www.tecmint.com/create-alias-in-linux/

👣 Rust становится обязательным для Git 3.0: что это значит?

19 сентября 2025 — Команда Git объявила: начиная с версии Git 3.0, Rust станет обязательной зависимостью.

Без него система контроля версий просто не запустится.

Ключевое: Почему Rust?

- До сих пор Git писали в основном на C, но Rust добавляет больше безопасности и защиты от ошибок, таких как утечки памяти. Это шаг к более надежному коду.

Брайан Карлсон, один из ключевых разработчиков Git, заявил: «В Git 3.0 без Rust ничего не будет работать — он станет обязательной частью».

Что это значит для пользователей?

Для обычных пользователей Git ничего особо не изменится — достаточно установить Rust при сборке или обновлении Git.
Разработчикам плагинов и расширений стоит проверить совместимость.
Когда ждать? Релиз Git 3.0 пока не датирован, но обсуждение уже идет в списках рассылки Git lore.kernel.org/git.

Rust уже доказал свою полезность в проектах вроде Linux kernel, а теперь укрепляет позиции в Git, обещая меньше багов и выше стабильность.

🟠 Подробнее

@rust_code

🛠️ DevToys: Удобный набор инструментов для разработчиков

DevToys предлагает множество маленьких утилит для упрощения повседневных задач разработчиков. С помощью интуитивного выбора инструментов, вы можете быстро декодировать текст, сжимать изображения и многое другое, не прибегая к ненадежным веб-сайтам. В версии 2.0 доступно 30 инструментов, включая конвертеры, кодировщики, генераторы и графические утилиты.

🚀Основные моменты:
- 30 встроенных инструментов для различных задач
- Удобный интерфейс с умным выбором инструментов
- Поддержка расширений для добавления новых функций
- Возможность разработки собственных инструментов
- Открытый исходный код и активное сообщество

📌 GitHub: https://github.com/DevToys-app/DevToys

#csharp

🐧 Часто новички в Linux путаются в терминах: Terminal, Shell, Prompt, Command line.
Разберёмся по порядку 👇

- Terminal — это программа, которая запускает shell. Примеры: Terminator, Konsole.
- Shell — сам интерпретатор команд (bash, zsh, fish и др.).
- Prompt — строка перед тем, как вы начинаете вводить команду (обычно с именем пользователя, директории и т.д.).
- Command line — общее понятие: интерфейс, где можно вводить команды (есть в любой ОС).

🔑 Обычно вы открываете Terminal, видите Prompt, пишете команду — её обрабатывает Shell. Всё просто 😉