Про ошибки

Таня завела классную тему у себя в канале: мы любим рассказывать о победах, но не делимся ошибками. Ошибки ценны и только на них учатся. Расскажу, что я считаю своей самой большой ошибкой за время работы в CберМаркете.

История такая:
В 2018 году я пришел вторым аналитиком в Инстамарт. Делал «стартап» аналитику: считал все от Contact Rate в колл-центре до клиентского ретеншна.

В инстамарте у нас была монолитная архитектура. Один MySQL сервер справлялся со всем: каталог, информация о заказах и доставках, и даже хранил в себе маркетинговую атрибуцию. С точки зрения аналитики было очень удобно: у нас была реплика этой MySQL базы данных, к которой можно было писать любые запросы и считать все метрики. Просто, удобно, работает.

Событийную аналитику мы делали через Amplitude и нам хватало для ответов на имеющиеся вопросы.

Осенью 2019 года мы подняли раунд инвестиций и появился СберМаркет. У меня появилась своя небольшая команда: 2 аналитика. Всю работу мы делали с помощью питона и той самой MySQL реплики.

В марте 2020 года случился ковид: всем резко стала нужна доставка продуктов. Наши сервера «плавились» от нагрузки, сайт лежал. Копия базы данных начала отставать, сервера не справлялись. Однажды отставание превысило 12 часов: утром мы не знали, сколько заказов сделали вчера и сколько денег заработали. Мне влетело :) Все процессы, которые были построены аналитиками, начали ломаться.

И тогда в 2020 году один девопс предложил развернуть Clickhouse (КХ). За один день я написал код на питоне, который сгружал данные из MySQL в КХ раз в день ночью и мы перетащили все запросы на этот КХ, который назывался sandbox (песочница) и вообще был предназначен для тестов.

На этом КХ мы прожили больше года. Работал он очень нестабильно, потому что фактически был песочницей, а не продакшн решением. Эта нестабильность приводила к тому, что очень часто с утра не было цифр на дашбордах и все постоянно падало. Мне постоянно прилетало 🥲

Я много думал обо всей этой истории и понял, что моя ошибка была в том, что вместо того, чтобы заниматься данными и хранилищем, я делал все остальное: вел проекты, отвечал за ретеншн, придумывал и создавал автоматизации процессов.

Я знал про хорошие хранилища данных, команды дата инженеров, но с этим раньше не работал и мне было страшно. А когда «приспичило», сделал все сам по-простому, вместо того, чтобы довериться людям, которые в этом разбираются. Весной 2020 я нанял много аналитиков в команду и вообще не думал о дата инженерах. А когда они в итоге появились (не по моей инициативе), мы спорили и ругались, вместо того, чтобы вместе решать проблемы. И это все моя большая ошибка

С другой стороны, все, что я делал вместо того, чтобы строить хранилище, принесло огромную пользу компании. В следующий раз я бы смотрел вперед и больше думал стратегически: сразу бы задумался о дата инженерии и хранилище данных. Думаю, что первый дата инженер должен появляться с 5-10 человек в команде аналитики. Плюс, теперь я знаю гораздо больше технологий и инструментов, с помощью которых можно легко и просто собрать удобный и надежный стек для работы с данными! и это радует

P.S. на прошлой неделе провел две своих первых платных консультации/менторских сессии. Очень нервничал, потому что раньше не брал деньги за свое время (самозванец!). Спасибо Mindshare и Ярику за пинок и удобный инструмент. Я продолжаю, записаться можно тут