😈 Два типа инженеров данных. Gentle и Hardcore.

ℹ️ Пишу заметки с докладов конфы Smart Data
На этот раз спорный доклад (как сам автор заявляет) от Дмитрия Аношина. Позабавил слайд с сильной и независимой Марусей и Иннокентием, который удачно женился на богатой даме.

Маруся и Иннокентий являются владельцами разных бизнесов и под свои нужды они ищут DE (рис.1).
В итоге Маруся нашла хардкорную Аню, у которой стек - это docker, clickhouse, git, hadoop, airflow, python.
А Иннокентий нашел Валеру, у которого стек - Snowflake, Fivetran, dbt, AWS и стаканчик латте на кокосовом молоке из Старбакса ☕️.
И вот каждый из них построил свое end-to-end решение для аналитики (рис. 2)

💬Поинты доклада:
1) 80% вакансий DE в Америке и Канаде - это gentle DE, то есть это позиции, где не требуется человек с высокими компетенциями в проге. Но для РФ рынка совершенно другие требования, так как юзается опенсорсные решения, которые будут требовать доработок.
2) Очень сложно посчитать ROI от аналитики, но аналитика как гигиена: есть - хорошо, нет - плохо.
3) Наиболее эффективный способ управления аналитиками - через продакт менеджера, то есть он менеджерит дата-продукты (дашборды, DWH, ML-модели, отчеты и тд). Классический подход через head of BI не работает, так как не хватает экспертизы, нет возможности генерить много гипотез.
4) Валеру с его решением легко заменить. Обучение нового сотрудника нюансам работы с такой архитектурой аналитики не сильно затратное дело, а вот Аню с ее архитектурой заменить сложно, и бизнесу это по факту невыгодно. В идеале сотрудника нужно ценить не за то, что на нем все завязано, а за то, что он делает качественно свою работу.
5) В сравнении подходов нет колонки со стоимостью (рис. 3). Если этот момент учесть, то на первый взгляд выйдет, что стоимость решения Анны - очень дешевая, а вот Валера тот еще транжира бюджета. Но все не так однозначно, потому что нужно учитывать стоимость железа. То есть на одной стороне весов у вас лежит стоимость лицензий, а на другой стоимость железа.

#трудовыебудни