Аналитика данных / Data Study

😉 Дорогие друзья, коллеги, поздравляю вас с наступающим Новым Годом!

Желаю вам в будущем году крепкого здоровья, любви, творческих и профессиональных успехов, достижения новых вершин и огромного человеческого счастья. Пусть будет множество маленьких и больших счастливых и позитивных моментов в вашей жизни. А если будут огорчения, то пусть они будут лишь частью опыта на жизненном пути, которые не останавливают вас 🎄

С Новым Годом!!! 🎆

Как я про*бал не достиг годовые цели

В начале года в канале зафиксировал часть своих целей в посте, чтобы свериться с ними через год. Подведу итоги.

1️⃣ Здоровье
Это была цель первого приоритета. В конце февраля пошел в зал и ходил до начала ноября с перерывами на поездки. По цифрам:
- в сумме 6 месяцев регулярных занятий с тренером и без
- скинул 10кг
- набрал 3 кг мышечной массы взамен (по результатам исследования - кстати делал его в одном из МФЦ бесплатно)
По самочувствию скажу что год был похож на график функции y = -0,5*x^2, когда к лету был пик по заряду энергии, а вот к зиме как бы ни старался все равно чувствуется усталость и упадок сил.

2️⃣ Обучающие материалы и курсы
Здесь случилось самое большое расхождение план-факт.
🔵 Материалы Analytics Engineer - готовность 50% (есть детальный план уроков, конспекты, часть презентаций, практики с домашними заданиями). большая работа еще предстоит по предзаписи видеоматериалов, вычитывания материалов и их оформление в удобный для обучения формат.
🔵 Материалы для онлайн-платформ курсов - готовность 10% (слишком поздно сел за это направление, есть структура и пара вводных уроков)

3️⃣ 10к подписчиков в канале
Как можете видеть желаемой цифры пока не случилось. В телеге довольно сложно прокачивать канал без вложений в рекламный бюджет, но брать только рекламу и расти за счет этого мне не хочется. Есть альтернатива - делать контент для других площадок и привлекать внимание к каналу, этим и хочу заняться в будущем.

Это лишь малая часть того, что я фиксировал для себя в этом году. Я придерживаюсь правила завышения цели, о котором писал здесь, так повышается шанс добежать дальше в погоне за амбициозными результатами.

Подводя итоги, хочу сказать что этот год был как "выдох" после прошедших пары лет усердной работы 24/7 по всем направлениям. Фокус стал на работу в Сравни (наша команда и проектные задачи расширялись 😃) и на выделение личного времени по вечерам на свои интересы, саморазвитие и релакс. Всем желаю хорошо отдохнуть чтобы в новый год ворваться с новыми силами для достижения новых вершин 💪

Пока перебирал папки и файлы на ноутбуке для удаления всего лишнего, наткнулся на такую схему, которую рисовал на одной из консультаций для ученика.

Хотел изобразить что и в какой области стоит изучать, чтобы иметь представление как работать с DWH и ETL.

Кажется такой вид информации упрощает пониманием, 🔥 если считаете также

Увидел ультра полезную статью про создание динамических таблиц в Apache Superset

Честно, до этого момента во многих проектах где сталкивался с Superset этого дико не хватало и такой функционал оставался только влажной фантазией 💦. Обходились созданием таблиц или других чартов по всем интересующим измерениям.
Оказывается если вооружиться датасетом на динамическом запросе, то фантазия становится реальностью 🔥

Статья

Еще не рассказывал вам здесь что являюсь контрибьютером в проекте Димы по созданию и наполнению полезной информацией сайта dataengineer.ru

Цель - собрать по разным направлениям максимально полезные ресурсы для изучения в виде статей, книг, видео, курсов и т.д. и объединить их в общих дорожных картах по направлениям аналитики, инженерии, BI.
Со свой стороны уже заполнил раздел про Хранилища данных и Моделирование данных, также ресурсы по Python, про Поиск работы и Отечественные облака

В целом уже многие другие разделы заполнены. Изучайте, уверен найдете много полезного и интересного 😉

Дэн Роэм / Визуальное мышление

"Визуализация — это простой и остроумный способ объяснить трудные проблемы и решить запутанные вопросы. Прочитав эту книгу, вы поймете, что один рисунок подчас стоит тысячи слов. Автор книги демонстрирует, как можно ясно представить идею путем ее визуализации и убедительно донести суть до других людей, зрительно разделив ее на отдельные компоненты и применив инструменты визуального мышления. Используя простые графические образы при обдумывании ситуации, вы научитесь находить и развивать новые идеи, решать проблемы неожиданным оригинальным способом."

Скачать книгу

А быстрей можно выучить SQL?)

Что такое постановка цели по SMART

SMART - одна из техник поставки целей в бизнес-анализе и менеджменте.
Правильно софрмулированные цели помогают эффективнее достичь результата. И что самое главное - позволяют измерить его

Статьи на эту тему:
🔗 Один
🔗 Два
🔗 Три

Ждёте подарков на Новый Год? 😄

Как Open Source меняет мир

Вчера побывал на классном мероприятии Ночь open source библиотек, которое организовал Яндекс. Фишкой организации на мой взгляд стало место - все проходило в настоящей библиотеке 📚

Было множество активностей, в которых все принимали активное участие и зарабатывали очки, чтобы была возможность обменять их на понравившуюся книгу 🎁

Рабочие зоны open source проектов
Здесь можно было познакомиться с новой технологией и сделать pull request в продукт с мейнтейнерами проекта, либо оставить обратную связь для них что нравится и что еще можно развивать для конечных пользователей.
В проектах большая часть задач конечно для разработчиков, но мне как аналитику было очень интересно послушать про 3 продукта:
1️⃣ Datalens
строили дашборд с нуля, разворачивая Datalens у себя локально через docker буквально за пару минут
2️⃣ YDB
распределенная база данных, которая совмещает внутри себя функционал сразу OLTP и OLAP систем
3️⃣ Diplodoc
Честно для меня проект стал открытием на этом вечере 🔥. Это решение для создания документации формата Docs as code и еще больше я удивился когда узнал, что вся документация сервисов Яндекс Облака написана с помощью Diplodoc. Меня это лично сильно заинтересовало и захотелось найти ему применение в своих задачах. Прочитал сразу статью, где более подробно расписано про сам продукт

Квесты
Мне лично зашел квест с перфокартами, где нужно было решать задачи и по ответам на эти задачи искать полку, книги, ее номер на полке, номер страницы и по приложенной перфокарте на странице узнавать зашифрованные фразы (напомню, что все это происходило в настоящей библиотеке, где сразу же чувствуешь себя немного Шерлоком). Еще можно было посоревноваться в скорости печати на настоящих печатных машинках

Silent party и экскурсии
Ближе к концу мероприятия можно было испытать опыт "тихой" тусовки, где каждый танцует в наушниках 🕺 Ну и вишенка вечера - закрытые экскурсии в книгохранилище библиотеки, куда обычному посетителю нет возможности попасть

Давайте в следующий раз соберем здесь тусовку единомышленников и вместе сходим на такое мероприятие! Что скажете? 🔥

CDC (change data capture) — это процесс отслеживания изменений в базе данных и поставка этих изменений к потребителям в режиме почти реального времени.

Одним из самых широко применимых CDC решений является Debezium. Таким образом берешь Apache Kafka + поддерживаемый в ней Debezium Connector и получается стриминг решение с учетом всех изменений данных в базе.

Зачем это нужно ❓

Чтобы было понятно на примере зачем нужен CDC. В таблице над строками реализуются операции
- вставки (insert)
- обновления (update)
- удаления (delete)

С помощью CDC можно не просто забирать актуальные данные записанную в строку в данный момент, но отслеживать всю историю изменения данных в строке с учетом всех операций вставки, обновлений и удалений в реальном времени.


Полезные ссылки 😉
🔗 What is CDC
🔗 CDC в Yandex Data Transfer
🔗 Знакомство с Debezium CDC для Apache Kafka

👨‍💻 Управление ресурсами внутри команды

Интересная статья про управление ресурсами с учетом soft навыков каждого сотрудника

А вы с кем себя ассоциируете из статьи?) Чак Норрис, Шерлок Холмс, Ван Дам или Пятачок? 😃

🧐 Какие методы и приемы помогают вам эффективно восстанавливать силы и энергию для продуктивной работы?

#datalk

Кто-нибудь пользуется (пользовался/собирается) столом с регулировкой высоты? Накидайте мысли насколько это удобно или как обычно - есть функционал, но поигрались пару раз и забыли?

Пора перестать в любой непонятной ситуации строить DWH для аналитики

Основной тезис ⤵️

Когда DWH не нужен:

- Проект находится на начальной стадии, методики расчетов не определены, данные плохо структурированы.
- Все данные находятся в одном источнике и их объем невелик.
- Нет потребности в регулярных расчетах.
- Нет бюджета на создание и поддержку DWH.
- Нет достаточного количества аналитиков для использования DWH

Читать статью

Считаю что вебинар прошел успешно, видел 165 людей на старте презентации и 164 человека в момент скрина через час 👍