DataEng

Анимация stream processing для более наглядного понимания: https://www.confluent.io/blog/how-real-time-stream-processing-works-with-ksqldb/

Если вы вдруг планируете работать в Германии дата инженером, то вот наглядный гайд с ссылками на результаты опросов по средним зарплатам: https://www.dataengineering.academy/pipeline-data-engineering-academy-blog/data-engineer-salary-germany-2020

Кратко:
- Junior Data Engineer: ~€45k
- Mid-level Data Engineer: ~€65k — €70k
- Senior Data Engineer: ~€90k

Нашел прикольную базу TinyDB на Python, она документоориентированная (типа MongoDB). Написана без внешних зависимостей и интересна мне в первую очередь как предмет изучения основ проектирования БД: https://github.com/msiemens/tinydb

А вот дока к ней: https://tinydb.readthedocs.io/en/latest/

Great thread on Python 3 cool features.
https://twitter.com/svpino/status/1308632185113579522?s=19

Дневник дата инженера: https://lakefs.io/2020/09/14/diary-of-a-data-engineer/

Коллеги, приветствую!

Мы рады анонсировать очередной митап: DE or DIE #4.
Дата и время: 01.10.2020, начало в 18:00 MSK
Формат: online.

На этот раз нас ждут две контрастные темы, так что вне зависимости от того, занимаетесь ли вы прокладкой ETL-пайплайнов или менеджментом в области данных, вы найдете для себя что-то интересное.

Что в программе:
1. «Своя песочница – как сделать кластер для инженера данных», Артем Селезнев, Senior Data Engineer, Сбербанк
2. «Data governance – что это, зачем, и с чего начать», Андрей Вихров, Главный системный аналитик, Связной

Зарегистрироваться можно здесь:
https://deordie.timepad.ru/event/1435939/

По аналогии с DataCamp ребята из DataQuest решили открыть доступ ко всем курсам своей платформы бесплатно на 1 неделю.

Ссылка — https://bit.ly/33IqIny

P.S. на платформе есть целый трек, посвященный дата инжинирингу

Apache Arrow это новый колоночный in-memory формат хранения данных от создателя pandas: https://youtu.be/SBy1WtA3b6o

Нашел тут давеча data engineering вебинар-митап про утилиту dbt: https://www.youtube.com/watch?v=7ClMYCWOekk

База данных о базах данных: https://dbdb.io/

Бесплатный курс по Scala: https://datastacktv.teachable.com/p/scala-now

В Amazon Redshift стал доступен функционал работы с БД поверх HTTPS: https://aws.amazon.com/ru/about-aws/whats-new/2020/09/announcing-data-api-for-amazon-redshift/

Сервис онлайн-образования Яндекс.Практикум в поиске Наставников на факультеты Аналитики и Data Science. Необходимо знание Python.

Наш девиз: «Каждый может». Каждый может менять свою жизнь, каждый может научиться новому, каждый может начать сегодня. Даже если раньше не получалось. Если вы считаете так же — вы уже часть нашей команды.

✔️Что делает наставник?
Наставник помогает студентам учиться: отвечает на вопросы и помогает с трудностями. Каждый наставник курирует группу студентов: общается с ними в Slack, проводит групповые и индивидуальные звонки. Все наставники перед работой проходят Школу наставников от Яндекс.Практикума.

✔️Чтобы стать наставником на факультете Аналитики потребуется владение библиотеками Pandas, NumPy, Matplotlib, Seaborn и, желательно, Plotly. Откликнуться на вакансию можно здесь: https://clck.ru/QkkjQ

✔️Если вдобавок к вышеперечисленному вы работали с проектами из сферы машинного обучения, то рассмотрите для себя наставничество на факультете Data Science: https://clck.ru/QkkmN

Кстати, наставничество возможно совмещать с основной работой, это частичная удалённая занятость.

Диалог @a_nikushin и @data_karpov о доступном образовании для аналитиков на Youtube вдохновил меня рассказать одну свою историю и поделиться ссылками.

Так сложилось, что в Университете мне очень повезло с преподавателями (от линейной алгебры до баз данных и языков программирования). Один из них, В. Л. Аббакумов, разжег настоящую страсть к методам анализа данных своими лекциями и лабораторными заданиями. В. Л. — практик и был моим научным руководителем по дипломной работе (мы делали кластеризацию данных Ленты), а затем и по кандидатской диссертации (строили нейронную сеть специальной архитектуры, тогда еще в Matlab).

Уже несколько лет назад в рамках ШАД и Computer Science Яндекса у него был записан курс Анализ данных на Python в примерах и задачах в двух частях. Настало время поделиться ссылками на первый и второй плейлисты на Youtube.

Первая часть посвящена описательным статистикам, проверке статистических гипотез, иерархическому кластерному анализу и кластерному анализу методом к-средних, классификационным моделям (деревья, Random Forest, GBM). В целом, весь плейлист достоин внимания без отрыва 🤓
Во второй части более глубокое погружение в нейронные сети, keras, deep learning, xgboost и снова все лекции крайне рекомендованы.🎖
Смотреть можно смело на 1.5x.

Материалы к видео:
— Часть 1. Занятия и материалы
— Часть 2. Занятия и материалы

Карта навыков современного дата инженера: https://github.com/datastacktv/data-engineer-roadmap

Неплохо дополняет мою статью: https://khashtamov.com/ru/data-engineer/

DataCamp в очередной раз устраивают бесплатную неделю: https://www.datacamp.com/freeweek