Бегущий по лезвию данных

BI без биайщика

Пост навеян общением с коллегами из разных компаний, активным использованием клода в рабочих задачах, некоторыми очень жизненными мемами и вот этим видео на канале сообщества аналитиков Яндекса – Зачем BI в эпоху AI? Причастным к нашему дашбордному делу рекомендую к просмотру.

Собственно, после всего вышеперечисленного мне стало окончательно ясно, что дело имеет общий характер. Если уже разработчики DataLens планируют создавать функционал для шеринга html'ек, которые заказчик наклодил, пока его таска на дашборд зависла в бэклоге у аналитиков, то явление действительно набирает обороты. К чему мы тогда идём?

Конечно, html'ки этап промежуточный - уже сейчас к BI-системам быстро прикручиваются mcp - и вот для самостоятельного создания дашбордов заказчику нужны только приличные витрины. Рай селф-сервиса, а от него – инфляция всего BI-скиллсета. Он и так не шибко торговался, а тут ещё размытие по разным менеджерским ролям. За ключевую отчётность, которой обычно не очень много, а также за инфраструктуру этой отчётности будет отвечать Analytics Engineer или BI Engineer, а роль BI-аналитика в том смысле, в котором она живёт сегодня, мы, скорее всего, не увидим в будущем. Текущие BI-аналитики не пропадут – пересоберут опыт и просто (или не очень просто) прыгнут в соседний вагон, а вот тем, кто планирует выбрать это направление как основное для развития своей карьеры на ближайшие годы, я бы рекомендовал ещё раз подумать – а стоит ли игра свеч?

А вот кстати и видео с того выступления. Небольшое, но достаточно содержательное. Особенно про ассоциирование себя с работой и агентность. Часто, когда думаем про рост, фокусируемся прежде всего на хард скиллах, но рост это не только или даже не столько об этом.

Видео

>>> заканчивается долгая, тянущаяся как жевательная резинка рабочая неделя

>>> выходишь в пятницу вечером на детскую площадку с сыном, чтобы наконец-то забыть про пухтоны, скули и клоды

>>> у соседней песочницы две молодые мамы обсуждают CI/CD

Ребята заморочились. И права на трансляцию приобрели, и добавили в приложение статистику, и поставили защиту от скриншотов/захвата экрана – и все для того, чтобы вы не отменяли подписку. Не хватает только возможности сделать ставку баллами Плюса.

Аффирмация для работы с БД

1. Данные зависят от ключа [1НФ], всего ключа [2НФ] и ничего, кроме ключа [3НФ].

P.S. Пусть и неполная, но пока что самая ёмкая формулировка НФ из тех, что мне встречались.

Посмотрел фильм Плата за токсичность риск.

Те, кто смотрел, вероятно обратили внимание, как в фильме пытаются продать идею, что переработки это круто и драйвово. Думаю, на кого-то это действительно сработает. Особенно, если ты молодой и романтичный выпускник. Но не переработками едиными.

Сцена с набросом на пару из Яндекса самая показательная в фильме. Наверное, если бы Олег задал этот вопрос не подчинённым, которые уехали на другой край света, чтобы присоединиться к его компании, а каким-то другим россиянам, то мог бы в ответ услышать какую-нибудь сочную цитату из своего первого интервью Дудю. Но, видимо, не в этом фильме.

Интересно, как долго эта пара из Яндекса проработает в Плата после этого?

Опять за парту!

Не опять, а снова. Нашему брату в дате покоя нет — хочешь или нет, а учиться нужно. Тем более время сейчас такое, что все больше компаний ищут не человека-роль, а человека-оркестра — он же швейцарский нож по совместительству. Давно уж я подумывал взять какой-то курс для прокачки своих навыков в DE, но то руки не доходили, то ноги. Брать снова Яндекс Практикум мне не хотелось, уж больно привычен и знаком формат — я и сам у них проходил DA и жена проходит, и на работе у меня есть доступ к их курсам в системе Грейд (отдельные короткие программы). Хотелось чего-то новенького и интересного. Было у меня несколько кандидатов, весь список оглашать не буду, тем более в будущем, предполагаю, к кому-то из них еще вернусь.

В итоге выбор пал на karpov courses. На то было несколько причин:
🔵Ранее ничего у них не проходил, даже из бесплатных программ, но Таня прошла легендарный курс по SQL, и я видел, что он хорошо сделан
🔵Сейчас у них отличная скидка 20% на все курсы, действует до 30.06
🔵Вместе с курсом DE бонусом идет доступ к курсу по ClickHouse, акция тоже до 30.06
🔵Мне был нужен курс Инженера данных не с нуля — я взял как раз такой, программа показалась интересной (закину в комментарии пдфку)
🔵Я посмотрел несколько видео с Евгением Ермаковым на ютубе и мне зашло, круто, когда материал сделан такими спикерами
🔵Программа не растянута и длится всего 5 месяцев

В общем, коллеги, я в 58 потоке, он стартует завтра. Если вы давно думали прокачать навыки в DE, но все откладывали — то советую не пропускать акцию со скидкой и ClickHouse. Если выберите тот же курс, что и я, то пингуйте в лс — вместе учиться интереснее.

По ходу обучения расскажу вам подробнее про курс, так что продолжение следует...

Есть ли среди нас коллекционеры пушей?

Выбираем правильный отдых на длинные выходные 🤝

Отгадайте банк по названию вакансии, но только с первой попытки)

Данные это коровы

Привет, ковбои! Читал как-то статью про data wrangling на Хабре. На русском это понятие, как мне кажется, все ещё не имеет устоявшегося перевода. В книгах, статьях и прочих материалах можно встретить разные варианты – первичная обработка данных, сбор, очистка и преобразование данных, подготовка данных и тд.
Встречаются и более дословные варианты – выпас данных или укрощение данных. Почему на английском этот процесс называют так вы можете прочесть в цитате ниже – по-моему, прекрасный и исчерпывающий комментарий одного из обитателей Хабра.

'Wrangling' переводится как выпас, но на русском такая аналогия не совсем отражает смысл процесса в силу контента. Выпас в прериях это кочевое 'мясное' скотоводство - процесс когда ковбои не дают стаду разбредаться в разные стороны и заставляют его медленно двигаться по маршруту где траву ещё не съели, а так же ближе к местам забоя в конце сезона.Так же в процессе такого перегона стад идёт отбраковка слабых животных, помощь при отеле и т.д.

В старом свете коров пасут обычно наоборот (оседлое 'молочное' скотоводство) т.е. днём дают им разбрестись по лугу, а вечером собирают и гонят домой.

(Понятно что современное скотоводство от всего этого отличается)

По отношению к данным 'wrangling' это как раз больше похоже на процесс 'формирования и управления стадом', чем выпас коров на лугу.

Велик и могуч американский язык! Слов в нем мало, а смыслов много.

Хабровчанин Indicator

Но я бы хотел несколько развить тему.

Я думаю, вы заметили, что в английском данные часто метафорически представляются как природные ресурсы или дикие сущности. Отсюда обилие «материальных» терминов:

🛘 Data Mining — как уголь или руды в шахтах
💧 Data Lake — данные как водоём
📦 Data Warehouse — как материалы на полках склада
🛢 Data Pipeline — опять же как вода или, скажем, нефть. Big Data тоже трансформация термина из нефтянки
🐮 Data Wrangling — данные как скот
🥩 Raw Data — данные как нечто сырое и необработанное, например пища

В итоге: Данные в английском — это поток, который течёт по трубам, залежи, которые нужно добывать, и скот, который нужно укротить, чтоб он принес пользу.

А что в русском? У нас как будто больше коннотаций, связанных с бюрократической и канцелярской темой – паспортные данные, личные дела, записи в книгах учёта, документы, протоколы, «дано» в школьных задачах. И вообще данные это не то, что мы взяли, а то, что нам дали. Данные получают, подают, приобщают к делу. Все официально, «согласно имеющимся данным».

При этом в последнее время ситуация, конечно, меняется. Слово «данные» обретает новый контекст и вне дата среды, становятся устойчивыми фразы «залить данные», «утечка данных».

Но общий вайб все ещё таков.
В английском данные - это flow (поток, который нужно обрабатывать).
В русском данные — это record (запись, которую нужно хранить).

А с чем у вас ассоциируются данные? Задумывались об этом? Расскажите в комментариях 💚

Привет! Меня зовут Таня. Я супруга автора канала и — с недавних пор, используя местную терминологию — могу назваться «догоняющим по лезвию данных».

Вот уже 8 месяцев я прохожу курс «Аналитик данных» от Яндекс Практикума — и вот уже год как являюсь мамой.

Что заставило меня начать учиться в такой непростой период? А может быть, кто?.. Ну, обо всём по порядку.

К моменту появления малыша я успела попробовать себя во многих профессиях — все они в той или иной степени относились к гуманитарной сфере и оставили после себя чёткое ощущение разочарования в работе, завязанной на обильном социальном взаимодействии. Меня не назвать нетрудолюбивым человеком: я не против «коня на скаку остановить или в горящую избу войти». Но продавать (а я работала в b2c и b2b), преподавать (работала учителем) и вообще зарабатывать в разговорном жанре — оказалось очень изматывающим и чудовищно неблагодарным делом.

Я бы подумала, что работать — это вообще не моё, но с рождением ребёнка вдруг осознаёшь, как приятно было раньше пораскинуть мозгами вместо бесконечного «гули-гули, га-га-га», да и в целом появилось стремление иметь больше уверенности в этом непредсказуемом мире.

На фоне успехов мужа эти мысли стали всё больше укрепляться: а почему бы, сидя в декрете, не получить новую профессию? Но какую?

Я думала о разных вариантах — от моушн-дизайна до бэкенда. Уход в разработку пугал резкостью перехода из тотальной «гуманитарщины» в тотальную «технарщину», а дизайн отталкивал необходимостью из раза в раз в словесном бою с заказчиком защищать свою работу от «поиграй шрифтами». В итоге, запутавшись в дебрях IT-направлений, я не нашла ничего лучше, чем пойти по стопам «бегущего по лезвию данных». В конце концов, если у этого бородача получилось, то ведь и я смогу? (Муж на такого рода вопросы всегда уверенно кивал). Так я вышла на аналитику данных.

Поначалу, когда малыш был ещё совсем крохой, теории было больше, чем практики, а погода благоволила – у меня получалось заниматься во время прогулок (одной рукой направляя коляску, а другой — держа телефон); примотав ребёнка слингом и сидя на фитболе, я писала код на ноутбуке. Однако чем сложнее становились спринты и чем старше малыш — тем больше я понимала: я не успеваю.

Самым сложным в материнстве оказалось держать в голове множество мелких, как бисер, задач. Из-за них мозг постоянно перегружен и наотрез отказывается вставлять документацию pandas между списком покупок и списком бытовых дел. Зато этот опыт, можно сказать, дарит бесконечные тренировки по построению алгоритмов и тайм-менеджменту.

В какой-то момент очень выручил дедушка, поскольку смог чаще приезжать и больше времени проводить с внуком. Эта помощь (а ещё муж и нейросети) позволила мне успевать доделывать проекты к дедлайнам. Пока что я не использовала ни одного перехода в другую когорту. Справилась бы я так же без этого участия? Сложно сказать. Открыть компьютер без последствий при моём ребёнке — почти невозможный квест, потому что он, как и его родители, стремится скорее начать бить пальцами по клавишам. Так что заниматься, находясь дома с ним, пока что остаётся недостижимой мечтой.

Сейчас я стою на пороге выбора специализации – между BI и продуктовой аналитикой я решила выбрать последнюю. Пока что детективный, расследовательский дух A/B-тестов для меня наиболее вдохновляющая часть аналитики, а статистика успела вызвать интерес, еще не успев отпугнуть своей сложностью. Сохранится ли этот интерес в дальнейшем или я не вывезу — вопрос. Будем следить за развитием событий.

А как было у вас? Есть тут supermamas или вкатившиеся продуктовые аналитики? Делитесь вашим опытом, коллеги!

«Это технически невозможно»

Data Fest

Много видел анонсов разных мероприятий про data в мае, наверное традиция проводить ночь музеев постепенно перешла и в it-сферу. Но все-таки нужно куда-то выбраться, поэтому в эту субботу планирую посетить Data Fest. Если кто-то из вас тоже регистрировался, то пишите в лс — рад буду повидаться, вместе всегда интересней. Если еще не регистрировались, то рекомендую прочекать расписание — там будет кого послушать, а открывает фест выступление настоящей легенды, иначе и не скажешь.

Где знакомиться с людьми?

На прошлой неделе побывал на ивенте "Сила слабых связей" для выпускников разных программ Яндекс Практикума. Впервые был на такой встрече и остался очень доволен. Встреча, как понятно из названия, была посвящена нетворкингу. Понравилось выступление спикера - Жени Давыдова, который рассказал о том, как подходить к этому делу системно. Потом были различные нетворкинг-активности — бодрые и не кринжовые.

Помимо прочего, немного прошелся по офису Яндекс Go, встретил пару подписчиков, конечно же проверил работу кофемашин на кухне, познакомился с коллегой из нашей компании, что отдельно порадовало, записался в клуб "Алгоритмы для котиков". В общем, было круто. Как я уже говорил раньше, комьюнити — одно из самых больших преимуществ ЯП, и здорово, что ребята его развивают.

В будущем планирую сходить на похожую встречу для аналитиков. Кто учился в ЯП и обитает в Москве - пишите в комментарии или в лс, можем скооперироваться и сгонять вместе.

А вы были на похожих встречах? Делитесь опытом в комментариях и кидайте ссылки на ивенты.

Такая жиза, что просто невозможно было пройти мимо 🥲