Avito SREда

🧑‍💻 Звучит как фантастика, но именно к этому ведёт идея Digital Immune System — цифрового иммунитета, который замечает сбой и восстанавливается до того, как его увидит пользователь.

Мы пригласили Михаила Савина, руководителя отдела SRE в H3LLO CLOUD (вы тоже почувствовали ностальгию по первым выпускам?) и разобрались, как это устроено:

🔸 что такое Digital Immune System и из чего она состоит;
🔸 как связаны SRE, observability и auto-healing;
🔸 может ли система чинить себя сама и где предел автоматизации;
🔸 можно ли доверить инфраструктуру AI;
🔸 когда цифровой иммунитет компании действительно нужен, а когда это оверинжиниринг.

Смотрим и слушаем по ссылкам:
📱 YouTube
📱 VK
📱 Rutube
🔥 Mave

#sre

Может ли инфраструктура почувствовать себя плохо и вылечиться сама, без единого пинга от дежурного? 👀

Говорить или не говорить... 🤔

А вы что выберете? Сообщать внешним пользователям об инцидентах или не информировать? Пишите в коментах ⬇️

#sre

🎨🎨🎨🎨🎨🎨🎨 С чего всё начиналось?

С Нео из «Матрицы»? С пиксельного раннера на Денди? С разобранной микросхемы и паяльника? А может с журнала «Хакер»? Или школьного урока информатики?

Каждый из нас помнит этот момент, когда технологии зацепили. И вот ты уже разработчик, архитектор, тестировщик — инженер, который делает крутые продукты для тысяч пользователей. И отмечает свой праздник каждый 256 день года.

В честь наступающего Дня разработчика вместе со студией FU2RE и 3D-художником Dmitriev Video создали большой портал в прошлое — эмулятор 2006 года будущего разработчика. Внутри — олдскульные игры и викторины, за которые можно лутать баллы и подниматься в рейтинге.

🔸Топ-3 игрокам подарим суперпак настоящих разрабов, внутри которого салфетка на монитор из нашей коллаборации с Elnik, плед, сумка и плюшевый кот Б/У.

С наступающим всех 🚀

P.S. Эмулятор реально олдскульный. Поэтому для старта тапните по экрану и не забывайте кликать на иконки игр два раза на десктопной версии. Если вдруг найдёте баги, тоже пишите. Катим в прод в пятницу, как никак 👀



#tl #backend #frontend #devops

⌨️ Инцидент можно потушить и забыть, а можно вынести из него что-то полезное. Разница — в трёх вопросах, которые команда задаёт себе после аварии. Затрагивали их в последнем выпуске подкаста — давайте копнём поглубже!

1️⃣ Как починить прямо сейчас? Первое и самое очевидное — как вернуть систему в рабочее состояние. Здесь важна скорость: костыль, патч, откат — сработает всё, что быстро остановит инцидент, а аккуратно оформить всё можно и позже.

2️⃣ Как так вышло? Это более взрослая часть разбора, и вопрос здесь не в том, кто виноват (да-да, blameless-разбор!), а в том, что именно в системе, процессе или коде позволило инциденту случиться. Без честного ответа следующая авария становится, к сожалению, лишь вопросом времени.

3️⃣ Как сделать, чтобы это не повторилось? Самый ценный вопрос и одновременно тот, который почему-то чаще всего остаётся без ответа. Хотя хорошая мера защиты закроет не только конкретный баг, но и вообще весь класс подобных проблем.

Кстати, именно на третьем вопросе большинство разборов и останавливаются: пожар потушили, причину нашли, а до защиты руки уже не дошли. Как итог — через месяц команда наступает на те же грабли. Не надо так 💧

🔍 Пишите в коменты, по каким ещё вопросам можно пройтись после аварии!

#sre

Привет, на связи Андрей Колесников!

Я сразу с задачкой: представьте, что у вашей команды случился инцидент. Какой вопрос вы зададите себе и коллегам первым после аварии? 😊

Разница между зрелой командой и всеми остальными — не в том, что у первых нет аварий, а в том, что они умеют ими управлять 🤔

В новом выпуске «В SREду на кухне» вместе с Максимом Бурцевым, руководителем отдела мониторинга в e-commerce, разобрали, как перестать тушить пожары и начать управлять инцидентами:

🔸 можно ли вообще предсказывать инциденты;
🔸 blameless-разборы — как не наступать на одни грабли дважды;
🔸 кто должен управлять инцидентом и какие три главных вопроса задать себе после аварии;
🔸 человеческий фактор — ошибка ли или безответственность;
🔸 сколько на самом деле стоит инцидент — и как ИИ уже используют для инцидентов в Авито.

Смотрим и слушаем по ссылкам:
📱 YouTube
📱 VK
📱 Rutube
🌟 Mave

#sre

Говорят, что половину инцидентов создаём мы сами своими же релизами. Согласны или готовы поспорить? 👀

Одна из самых недооценённых суперсил FinOps — это не экономия, а археология. Когда начинаете считать ресурсы, вылезают такие вещи, о которых команда давно забыла.

Что находится при первой же серьёзной инвентаризации:
🔸 ресурсы-потеряшки — сервера, которые никому не принадлежат. Владельца нет, документации нет, а трогать страшно;
🔸 зомби-ресурсы — работают, едят ресурсы, а зачем они были нужны, уже никто не помнит;
🔸 и классика — тот самый ничей ресурс, который якобы можно удалять, а на деле на нём держится половина системы.

Но лучший жанр — это когда выясняется, что продакшн спокойно лежит на тестовой среде. И никто в этом не виноват, просто так вышло.

В общем, мораль: FinOps ловит не только лишние траты, но и мины, которые рано или поздно рванули бы сами, причём в самый неудобный момент.

А какие у вас были самые неожиданные потеряшки? Делитесь раскопками находками с инвентаризаций 😄

Привет, это Андрей!

Помните наш выпуск про soft skills для SRE? Мы решили пойти по его следам и провести целое исследование про софты для инженеров и тимлидов в эпоху AI 🤓

Оставляйте свои ответы в опросе по ссылке! И для досмотревших кружочек до конца — делитесь в коментах, во сколько сегодня проснулись вы 😁

#sre #ai

Идём в Кибердом на Авито CTF лаб 💛

💛 19 августа в 19:00 собираемся в Кибердоме, чтобы поговорить про безопасность на практике.

Вместе разберём интересные задания HoneyBadger CTF AvitoTech: посмотрим разборы от профи, обменяемся подходами и поделимся опытом. А после программы играем в DartsATT&CK и продолжаем общаться в неформальной обстановке: с закусками, напитками и разговорами про решения тасок 💛

Ждём всех, кому интересна прикладная безопасность. Опыт не важен — важно желание разобраться.

⚡️Осталось совсем мало мест, поэтому скорее регистрируйтесь!

#infosec

И не говорите, что у вас такого не было 😁

И с вас ❤️, чтобы выходные были чилловые!

#sre

FinOps, P&L, LTM, SRE… Как вообще последнее затесалось между всеми этими финансовыми показателями и отчётами?

Не спрашивайте 😊
Лучше слушайте наш новый выпуск, в котором мы обсудили с Павлом Зеленовым, руководителем Tech platform billing в Авито, и
Валентиной Калещатовой, руководителем продукта Лемана Про:
❓ кто реально отвечает за инфраструктурный счёт;
❓ нужен ли финансовым метрикам отдельный контур;
❓ связаны ли FinOps и error budget;
❓ как обучать инженеров финансовой грамотности без попытки превратить каждого разработчика в бухгалтера;
❓ когда SRE действительно нужно понимать P&L и LTM, а когда достаточно cost per request и бюджета команды.

Слушаем по ссылкам:
📱 YouTube
📱 VK
📱 Rutube
⚡️ Mave

#sre

💸💸💸💸

Эмодзи для привлечения внимания! А вопрос сегодня такой: должен ли SRE понимать маржинальность, бюджет, прогноз и другие финансовые показатели?

Обсуждаем в комментариях 👇

P.S.: А если выбор Puppet для вас всё ещё остаётся загадкой, можно посмотреть мой доклад по теме 📖

Puppet в 2026 — это скучно? А мы держим на нём 10 000 серверов 👀

Всем привет, это Андрей Колесников! За 10 лет работы с высоконагруженными системами накопилось много мыслей про то, как мы управляем инфраструктурой, и мне кажется, нам надо поговорить про Puppet.

1️⃣ Границы инструмента решают всё.

Puppet у нас отвечает ровно за одно: держать конфигурацию серверов в актуальном состоянии в рамках IaC. Для одноразовых операций и быстрой раскатки есть Ansible. Когда каждая тулза знает своё место, жить становится сильно проще.

2️⃣ Pull-модель — это удобно и опасно одновременно.

Не нужно открывать 22-й порт, безопасники довольны. Но изменения расходятся по нодам асинхронно, раз в 30 минут. И когда что-то ломается, оно ломается не сразу везде, а расползается — отследить причину в моменте тяжело.

3️⃣ Про «что-то ломается» есть история из жизни.

Мы удаляли уже не используемый модуль dnsmasq, а dnsmasq-base оказался зависимостью LXC, на котором крутились ключевые инфраструктурные сервисы. В итоге снесли пакет — контейнеры остановились — несколько часов деградации. Один безобидный на вид коммит. После этого мы убрали автораскатку модулей на сервера, дополнили acceptance-тесты на все 100+ ролей и сделали канареечную выкатку: сначала ограниченный пул хостов, потом всё остальное.

4️⃣ И самое недооценённое — контрибьютят в Puppet-код не только DevOps.

Бэкендер, которому надо ускорить выкатку своего сервиса, может сам залезть в манифест. Для этого мы и пишем обёртки вроде iack — чтобы снизить порог входа, а не охранять экспертизу от всех подряд.

❓ А вы на чём держите конфиг? Обсудим в комментариях 👀