Dodo Engineering

С момента появления SRE в Dodo мы серьёзно прокачались в плане инцидент-менеджмента и рады, когда есть возможность поделиться своим опытом.

Завтра стартует интенсив Слёрма по SRE, на котором Сергей Бухаров расскажет, какие инструменты можно использовать, чтобы реализовать SRE-подход в своей компании.

Речь пойдёт об алертах, а точнее о возможных способах их получения, какую информацию они должны содержать, как с ними работать и оценивать импакт.

Если вам тоже интересна эта тема, оставляйте свои вопросы в комментариях — сделаем на них отдельный пост с ответами.

Продолжаем разбираться с логами в iOS

Во второй статье Алексей Берёзка рассказывает, как с помощью os_signpost залогировать долгие операции и посмотреть их в Time Profiler.

Кстати, именно таким образом мы и нашли проблему с долгим отображением списка пиццерий в Москве.

Немного хороших новостей не помешает этому миру. И у нас их есть целых две.

Первая — 8 октября Дима Павлов будет выступать с докладом на Kolesa Conf’22. Посмотреть бесплатно можно онлайн — нужно только зарегистрироваться.

Вторая — у Димы есть свой телеграм-канал про продуктовую разработку «на вижене»!

Жгуче рекомендуем на него подписаться, там отменный контент про фейлы и не фейлы, сдобренный щепоткой искромётного юмора. Всё как мы любим.

Как iOS-разработчику разобраться с бесконечным потоком логов и в сердцах не поудалять нужные вместе с ненужными? Есть один способ — использовать os_log и Console.app.

Алексей Берёзка рассказывает в статье на Хабре, как можно логировать всё, что происходит в любых слоях вашего приложения в любой момент времени, замерить, как долго выполнялась та или иная функция, вывести это текстом в логи и не потерять важное.

🚨 У нас сегодня развалилась к херам Dodo IS!

Прием заказа превратился в тыкву, мы не смогли обслужить пуши, мы не смогли обслужить акции и в итоге клиенты часа испытывали проблемы в самый пиковый день.

У нас за вечер:
* DDoS на 2.8млн запросов в минуту.
* Пуши, которые свалили мобильное приложение, а затем и сайт.
* Наш плохой релиз, который непонятно как сломал центр системы.
* Сломался мониторинг раза 3-4 за вечер.
* Дикая нагрузка на базу.

Все эти ошибки умножали эффект друг на друга.

Этим падением мы фактически уронили наш уровень сервиса, который должны держать. Когда мы роняем SL, мы останавливаем релизы и переключаемся на технические работы! Такие падения означают что мы сделали перекос в сторону фичей и недостаточно внимания уделяли нагрузке и качеству решений.

Что мы обычно делаем в такой ситуации? По сути наш конвеер не работает и нам надо остановить релизы. Когда ты нарушаешь SL, это означает что ты делаешь слишком большой перекос в сторону фичей.

С понедельника будет 2 важных изменения в работе команд Dodo IS.
* Мы останавливаем продуктовые релизы, касающиеся приема заказа до восстановления к уровню SLO. В релиз пойдут только фиксы и технические улучшения системы
* Команды Ordering и CVM Евразии останавливают свою работу и переключаются в обязательном порядке на технические работы по восстановлению уровня сервиса.

Помимо них другие команды так же будут вовлечены – инженеры инфраструктуры, команда нагрузки, по мере необходимости мы будем переключать и другие команды в помощь.

Адский феил с нашей стороны.

Будем рассказывать о нем и пост-мортем сделаем публичным.

«В сентябре 2019 года, на выходных, мы культурно выпивали всем Dodo Engineering на турбазе под Владимиром. В это время облачный провайдер обновил минорную версию MySQL».

23 сентября на Saint HighLoad++ Олег Блохин расскажет историю о последствиях и инженерных решениях, сдобренную анекдотами из жизни в облаке.

Если вы мечтаете об облаках, но никогда в них не жили — приходите послушать, как бывает. В рамках одной продолжительной истории переезда базы на managed-решение разберём, какие подводные камни, детские болезни и неприятные проблемы случаются. Смотреть будем на примере MySQL, но большая часть ситуаций не связана с конкретной базой данных и с базами данных вообще.

18:00, зал 06, Зелёный. До встречи!

Просто хотим показать немножко красоты от участников конкурса Додо Пицца в Майнкрафте.

За 5 недель построили больше 3 тысяч пиццерий. Вот бы уже такие по-настоящему появились в этом мире!

Посмотреть все можно в конкурсном треде в ВК.

Друзья, с 6 по 8 октября в Красной Поляне пройдёт South Hub — кэмп для СТО и тех, кто хочет ими стать.

Событие топовое как минимум потому, что частично проводится на высоте 2200 метров над уровнем моря. А главное — там соберутся руководители, СТО и СЕО из IT и продуктовой разработки многих известных вам компаний. Они поделятся своим опытом и идеями о развитии отрасли в формате кейсов и fulltime-нетворкинга.

Программа насыщенная, за 3 дня планируют обсудить:

▪️ кого в IT берут в C-level, а кого — нет;
▪️ как руководителям из IT говорить с бизнесом на одном языке;
▪️ что мотивирует инвесторов из БРИКС вкладываться в российскую разработку;
▪️ как привлекать и удерживать таланты, если ты стартап или корпорация;
▪️ как быть эффективным в условиях ограниченных ресурсов;
▪️ как адаптироваться в условиях турбулентности и постоянных изменений в индустрии.

🎙Среди спикеров — наш CEO Саша Андронов. У него одна из самых ожидаемых тем кэмпа – про переход из роли CTO в CEO! Саша расскажет, в чём разница между этими ролями, как перестать принимать технические решения и начать принимать бизнесовые.

Расписание, стоимость билетов и другие подробности — здесь.

🤝А ещё на конференции будут наши СТО Паша Притчин, PO Антон Оникийчук и техлид Аня Морозова. Ребята будут рады познакомиться, пообщаться и обменяться опытом.

С 256-м днём в году, друзья-программисты!

Вы помните момент, когда впервые услышали, что Додо Пицца — это про IT? Как появились первые статьи на Хабре, стенд на DotNext, чат с нашими разработчиками?

А когда-нибудь задумывались, что стоит за рождением IT-бренда? Точнее, не что, а кто? Ну, помимо самих разработчиков?

Внимательный читатель уже догадался, к чему мы ведём: 17 сентября Вероника Ильина выступает на конференции GeekRel. Она расскажет, как у нас появился DevRel, чем занимался, сколько трансформаций пережил и как выглядит сейчас (мы считаем, что выглядит красиво). Кстати, в зале будет почти вся наша DevRel-команда — будем рады познакомиться и пообщаться лично.

И вторая крутая новость: 21 сентября на онлайн-конференции «Психология в IT» будет ещё один доклад Вероники. Но уже о том, как заметить близящийся факап своего лида и спасти от него себя и того парня самого лида. Всё по-честному, без обмана и основано на реальных событиях.

Ждём встречи на конференциях!

Поздравляем всех причастных с днём тестировщика! Пусть багов будет поменьше, а качества и настроенных процессов — побольше!

И делимся подборкой статей и докладов, как у нас самих идут дела с тестами и процессами. Enjoy!

— Про культуру, процессы и межкомандное взаимодействие

— Тест-ревью: как прошли два года написания unit-тестов

— TDD в мобильной разработке

— Как мы тестируем сервисы, чтобы релизить их не глядя