Аналитика данных / Data Study

Привет!

Вчера провел последний урок на текущем потоке курса "Основы анализа данных"

Ученики все замотивированы на получение новых знаний. У многих помимо учебы есть основная работа, дети, семья. Но они все равно находят время заниматься, получать новые знания, слушать уроки и выполнять практику.

Впереди у нас с ними еще будет защита проектов, уверен там будет много чего интересного и познавательного. Проекты будут частью портфолио учеников.

А я решил поделиться немного отзывами, все таки это важный показатель для развития обучения дальше 😉

Вигерс Карл, Битти Джой / Разработка требований к программному обеспечению

"Эта книга — подробное руководство по разработке качественных требований к
программному обеспечению. Здесь описаны десятки проверенных на практике
приемов выявления, формулирования, разработки, проверки, утверждения и тестирования требований, которые помогут разработчикам, менеджерам и маркетологам создать эффективное ПО. Настоящее издание дополнено новыми приемами,
посвященными разработке требований в проектах гибкой разработки (agile)."

Скачать книгу

Must have для аналитиков и специалистов, кто работает с требованиями к ПО

11 soft-skills для аналитика

"Помимо профильных профессиональных навыков существуют и так называемые мягкие навыки или soft-skills. Это неспециализированные навыки, необходимые для продуктивной работы, но не связанные с конкретной предметной областью. Сегодня мы поговорим о том, какие soft-skills необходимы аналитику вне зависимости от профиля работы."

Читать статью

Привет!

Всю текущую неделю я болею, видимо какой-то вирус. Температура 4 дня держалась 38 пока не начал пить антибиотики, сейчас стало полегче.

Состояние конечно же нерабочее, еле как в течение рабочих дней соображал что нужно сделать по проектным задачам. Занятия с учениками на курсе и занятия в рамках менторства с консультациями пришлось переносить.

Зато за эти дни посмотрел много новых фильмов, хочу вам их порекомендовать:

1. Предложение
Легкая комедия с отличным юмором и сюжетом про брак по расчету, который может перейти во что-то большее
Ссылка на фильм

2. Отпуск по обмену
Кто ищет новогоднее настроение - обязательно обратите внимание на фильм, ведь он есть почти в каждой подборке новогодних фильмов
Ссылка на фильм

3. Дворецкий
Фильм может показаться с самого начала очень жестоким, не прерывайте просмотр, если действительно хотите посмотреть картину после описания или трейлера. Фильм описывает историю борьбы за рассовое равноправие и гражданские права чернокожих в США, и как на это влияли разные президенты. Мне очень понравился фильм, пробивает на эмоции
Ссылка на фильм

4. По соображениям совести
Я думаю, что многие смотрели его про подвиг военного медика на фронте. Я лично его пересматривал уже в который раз
Ссылка на фильм

5. Лулу и Бриггс
Фильм про взаимоотношения между служебной собакой и бывшим солдатом. Есть нотки комедии вместе с сильной драмой
Ссылка на фильм

6. Военный наряльщик
В фильме показывают опять же проблему рассового различия в США. Также эта история основана на реальных событиях одного военного ныряльщика, который благодаря своей силе воли и упорству смог достичь больших результатов и заслуг
Ссылка на фильм

Все фильмы на Кинопоиск имеют высокий рейтинг, что точно отражает их ценность.

P.S. Сейчас у вас есть подборка фильмов на чудесный вечер воскресенья 😉

Лучшие вопросы средней сложности по SQL на собеседовании аналитика данных

Хорошая статья для повторения тем по SQL перед собеседованием

Статья

Метаданные

🔎 Метаданные – это данные и документация, которые описывают способ, формат, структуру хранения всех данных на уровне таблицы, базы данных, системы или даже целой организации.

Для понимания давайте посмотрим пример из жизни о библиотеке 📚📚📚.

В библиотеке есть множество книг, где каждая книга - данные. Если книги будут разбросаны по библиотеке, то читателю будет сложно найти нужную ему книгу, будет беспорядок.

А вот если все книги расставить по полкам, разделить полки по жанрам, еще и упорядочит все по алфавиту, в таком случае гораздо проще будет искать нужные книги.
Полочки и подписи жанров на полках - это метаданные, они помогают все структурировать.

Другой пример про фотографии 📷📸
Если зайдете в галерею фото своего телефона, на каждом фото в дополнительной информации есть метаданные - формат фото, его разрешение, дата создания, локация и т.д.

Само фото - данные
Информация о фото - метаданные

Метаданные делят на несколько видов:

📍Бизнес-метаданные
Описание содержания и состояния данных, необходимо для корректного использования данных в будущем.
➡️ бизнес-правила и расчетные формулы
➡️ классы конфиденциальности
➡️ происхождение данных из источников

📍Технические метаданные
Описание технических характеристик хранения и перемещения данных
➡️ описание процесса ETL
➡️ права доступа
➡️ описание физической модели данных

📍Операционные метаданные
Описание процессов обработки данных и ролевой модели доступа, а также получение системной информации из журналов ошибок и логирования
➡️ журналы логов и ошибок
➡️ расписание обработки данных
➡️ результаты аудита

В одном из следующих постов посмотрим примеры разных метаданных на практике

Привет!

Работа по моему учебному проекту идёт полным ходом, а значит пора выложить вторую часть поста про прогресс по задачам.

Учебный проект - Аналитическая Платформа Данных (Часть 2)

Как составить индивидуальный план развития

В статье хорошо описаны моменты, которые помогут составить эффективный план индивидуального развития.
Это можно применять в любой сфере, главное не пренебрегать составлением плана и относится к нему как к инструменту, который поможет структурировать ваше развитие, определить сильные и слабые стороны.

Статья

Привет!

В вышке есть центр развития карьеры, где можно найти полезные материалы по поиску вакансий, стажировок, оформлению резюме и подготовке к собеседованиям.

Рекомендую посмотреть в раздел «Полезные материалы», там можно найти даже рекомендации по оформлению CV для разных стран.

📍Правила оформления резюме
📍Рекомендации по написанию сопроводительного письма
📍Инструкция по подготовке к интервью
📍Поиск работы за рубежом

Оставлю ссылку здесь

Exploratory Data Analysis (EDA)

Разведочный анализ данных (EDA) - это набор техник, которые позволяют исследовать датасет (таблицу) перед решением аналитической задачи, чтобы
📍оценить главные характеристики данных
📍определить качество данных
📍выявить взаимосвязи и корреляции между признаками в данных
📍определиться с дальнейшим способом анализа данных для решения поставленной задачи

Во время EDA производится следующая работа над данными:
- проверка на дубликаты
- проверка на пустые значения (заполнение пустых значений)
- поиск корреляций между признаками
- поиск аномалий и выбросов в данных (и их очистка, если необходимо)
- сбор статистики по датасету (максимальные, минимальные, средние и медианные значения, распределение данных)
- стандартизация и нормализация

Есть 2 части хорошей статьи с примерами проведения EDA, также доступны python ноутбуки для скачивания и тренировки

Статья часть 1
Статья часть 2

🤣🤣🤣
всем хороших выходных, чтобы не тормозить)

Data Contracts или контракты данных

Довольно новый подход в работе с данными создавать data контракты, которые позволяют фиксировать условия и требования к данным (в том числе и к их качеству), которые забираются из множества источников.

Подробнее можно почитать в статье "В чем преимущества контрактов о передаче данных"
Также интересно почитать статью "Data Contracts — ensure robustness in your data mesh architecture"

Учебный проект - Аналитическая Платформа Данных

Привет!
Я обещал вам рассказывать про проект, который буду делать в ближайшее время. Написал первый пост, переходите и смотрите что уже было сделано и что планируется сделать ⤵️

Учебный проект - Аналитическая Платформа Данных

😂

Привет!

Последнее время очень мало времени остается на отдых и написание постов.

📍активная фаза проекта на работе (анализ и разработка идут полным ходом🔥)
📍ведение учеников на курсе по основам анализа данных (закончилась практика по моделям данных, сегодня начали изучать SQL - дальше еще много практики 👨‍💻)
📍собственная учеба в магистратуре (кстати, вроде бы согласовал тему проекта с преподавателем, чуть позже поделюсь с вами 😉)
📍разработка плана и уроков для онлайн-курсов

В ближайшее время есть в планах создать курс по Apache Superset и визуализацию данных (недавно рассказывал про этот инструмент здесь). Сегодня написал план курса, получилось около 10 объемных блоков. Сейчас буду расписывать материал и записывать уроки.
Так что в скором будущем для всех желающих будет доступен курс по Apache Superset

1. Настройка и установка Apache Superset
2. Подготовка данных, создание витрин
3. Подключения к источникам, настройка источников
4. Датасеты внутри Superset
5. Визуализации (кастомизации, настройки)
6. Создание дашбордов
7. Настройки фильтров
8. Настройки ролевой модели
9. Ограничения Superset
10. Аналитика и дополнительные возможности Superset