Я у мамы аналитик

С помощью статьи «Analytics Maturity Model: Levels, Technologies, and Applications» можно глубже погрузиться в тему data literacy и уровни развития аналитики в организациях.

По сути, описаны отличия пяти уровней зрелости:
🔹Отсутствие аналитики;
🔹Описательная;
🔹Диагностическая;
🔹Предикативная;
🔹Предписательная.

Очень круто, что сформулированы необходимые изменения для перехода с этапа на этап и общие рекомендации в конце статьи.

Немного другая интерпретация, чуть менее подробно, но зато на русском - тут.

🔗Ссылка

#компетенции

Занятный кейс использования матриц в Excel в качестве альтернативы протягиванию формул.

Вроде как таблицы с большим количеством вычислений становятся более «антивандальными» и простыми в поддержке.

С другой стороны, использование такой функциональности для совсем уж базовых сценариев вроде «вычел-поделил» похоже на выстрел из пушки по воробьям.

Надо будет попробовать на досуге (вроде как работает и в Google Sheets).

И да, поделитесь опытом подобных извращений, если имели удовольствие его получить.

🔗Ссылка

#excelное

Краткая история появления роли дата-инженера на фоне развития инструментов для работы с данными и команд, которые их используют.

Упрощенно, это путешествие от мира, где данными владеют суровые «айтишники» к светлому будущему, где независимые команды управляют каждая своим доменом данных и эффективно обмениваются информацией.

🔗Ссылка

#data_engineering

«12 SQL and NoSQL Datastores for Your Application» - еще одна
статья-введение в современные СУБД.

Есть слайды, на которых нормально пояснены:
🔹разница между OLTP / OLAP;
🔹SQL / NoSQL;
🔹разные варианты хранения неструктурированных или частично структурированных данных.

Гвоздь программы: сводная табличка с классическими и облачными решениями (AWS, Azure, GCP) для хранения всех возможных типов данных.

🔗Ссылка

#базы_данных

Небольшой текст, описывающий внедрение процесса обязательного документирования в команде аналитиков.

Как часто бывает, это компиляция нескольких подходов и методов вроде Culture Map, 5W1H, командного целеполагания и измерения промежуточных результатов.

🔗Ссылка

#компетенции

Спонсор сегодняшнего поста - статья с vc «Тренды ИИ: что происходит в сфере искусственного интеллекта в 2021 году».

По-моему отличная идея: ближе к середине года смотреть, какие из прошлых прогнозов начали сбываться, а какие еще нет.

Главный тренд 2021 года: демократизация ИИ.

Сам стэк технологий становится доступнее простым смертным. В результате появляются новые продукты, сервисы, open-source инструменты. Соответственно, растет количество новостей и публикаций реальных (и не очень) кейсов в СМИ.

По итогам 2020 года:

Что и где, как и прогнозировалось, развивается и получает практическое применение:
🔹NLP примерно везде;
🔹компьютерное зрение;
🔹беспилотники;
🔹исследования лекарств в медтехе;
🔹дипфейки;
🔹рассуждения об этике и морали применительно к AI.

Что пока не полетело:
🔻цифровые двойники предприятий;
🔻чипирование и нейроинтерфейсы;
🔻повальное внедрение чат-ботов (но это не точно);
🔻готовые платформы для создания продуктов на базе ИИ.

🔗Ссылка

#анализ_рынка

В статье с Хабра «Все что вы (не) хотели знать о Data Science» обнаружил интересный взгляд на содержание профессии Data Scientist.

Стоит посмотреть хотя бы ради описания того, как разные функциональные роли вроде data engineer, analyst, MLOps накладываются на 3 ключевых области компетенций:
🔹математика и статистика;
🔹разработка и администрирование;
🔹знание предметной области.

Еще есть верхнеуровнево про грейды дата саентистов, подготовку к собеседованиям и специфику Ситимобила.

🔗Ссылка

P.S. Утаскиваю из комментариев замечательное дополнение: «Как стать дата-шрушером aka вкатиться в DS». Более практичный и подробный взгляд изнутри с нецензурщиной и мемами.

#компетенции

Google запустил публичную бета-версию своей платформы «Know Your Data» для работы с датасетами в графическом веб-интерфейсе.

Если упрощать, то это аттракцион под названием «почувствуй себя дата саентистом, зная примерно 0 языков программирования».

В качестве примера можно поковыряться в любом из стандартных наборов данных TensorFlow.
Можно быстро и по-всякому пофильтровать изображения, посмотреть, как все размечено, протегировано, как параметры соотносятся друг с другом (поделать exploratory data analysis).

🔗Ссылка

#инструменты

В исследованиях рынков есть такой классный тип артефактов - Landscape. В идеале, он должен помогать понять 2 вещи:
🔹какие типы процессов или операций есть в отрасли;
🔹какие существуют инструменты для их реализации или автоматизации.

У такого формата есть существенный минус: сходу ничерта не ясно, да и понять что-то без дополнительной аналитики и пояснений непросто (особенно в новой для себя сфере).

Поэтому особое внимание к себе привлекают материалы вроде сегодняшнего The 2020 Data & AI Landscape, где есть и ландшафт рынка и понятные выводы.

Помимо картинок есть описание основных трендов в развитии инфраструктур для обработки данных, самой аналитики и AI (их довольно много, рекомендую самостоятельно ознакомиться).

Вот ссылка на картинку в хорошем разрешении.

🔗Ссылка на статью

#инструменты #анализ_рынка

Роль очистки данных нередко недооценивают, а мне вот близка позиция автора статьи «Data Cleaning IS Analysis, Not Grunt Work», что это и есть аналитическая работа в чистом виде.

Аргументация выглядит так: «We’re doing cleaning because we want to extract the useful signal from the noise, and we decide certain bits of noise “correctable” at the data point level for that purpose».

В целом, в статье предлагается уйти от общепринятого подхода, когда для решения задачи данные сначала единовременно очищаются, а после анализируются.

Альтернатива такова: ничего безвозвратно не перетирать, создавая алгоритмы трансформации данных с возможностью отката и переиспользования (в статье есть визуализация для наглядности).

Ничего не напоминает? Мне вот кажется, что это попытка приземлить инфраструктурные практики продвинутых компаний на "простых" аналитиков (пропаганда перехода от ETL к ELT, если угодно).

🔗Ссылка

#инструменты

Глоссарий, в котором сгруппированы и описаны 26 базовых англоязычных термина из мира аналитики, Big Data и AI.

Не сказал бы, что эти определения сложно найти в другом месте (там даже ссылки на первоисточники), но то как все систематизировано вызывает уважение.

Плюс, есть наглядная градация по уровням зрелости организаций.

🔗Ссылка

#учебное

На хабре любезно перевели крутую статью Andreessen Horowitz «The Emerging Architectures for Modern Data Infrastructure» про то, как модно и со вкусом обрабатывать данные в современном мире.

Самое полезное - это, конечно, архитектурные схемы с распределенными по ним решениями и инструментами.
Это неплохая отправная точка, чтобы начать собираться со стеком технологий, который лежит в основе современных аналитических систем.

Еще можно заценить тренды развития этих архитектур, которые когда-нибудь и до нас дойдут.

🔗Ссылка

#data_engineering

Принес кое-что про большие данные почитать: «Big Data: перспективы развития, тренды и объемы рынка больших данных».

В статье собраны обзоры состояния мирового рынка аналитики и Big Data в разных разрезах. Прогнозируемый объем в 274,3 млрд долларов к 2022 году - это сильно.
Что интересно, присутствует и обзор рынка РФ, причем с какой-никакой оценкой в деньгах (правда от 10 до 30 млрд рублей - такая себе точность).

И дополнение к статье: крутой отчет Mordor Intelligence о мировом рынке Big Data as a service. На всякий случай: это когда клиент получает инфраструктуру для обработки больших данных как готовую услугу у своего сервис-провайдера (по факту, не занимается ее самостоятельной поддержкой).

Такой формат потребления составляет около 5-7% от всего объема мирового рынка и можно предположить, что на территории СНГ эта доля будет еще ниже из-за меньшей степени зрелости рынка.

🔗Ссылка

#анализ_рынка

На этой неделе попробую вернуться в более серьезное русло (не все же про музыку с алокоголем писать).

Начнем со свежайшей статьи на русском языке про тренды развития BI-систем.

Что внутри:
🔹небольшой обзор рынка и проблематики;
🔹интереснейшая часть про Augmented Business Intelligence (в свое время можно было прочесть у Gartner, но если пропустили - вам сюда);
🔹эволюция визуализаций (3D, storytelling, BIM);
🔹собранные из разных источников тенденции развития BI-инструментов.

Если смотреть на получившийся список трендов достаточно долго, в голову действительно приходит вывод про их общую направленность на демократизацию данных (вот тут хорошая статья на эту тему).

🔗Ссылка

#business_intelligence

На прошлой неделе в пятницу увидел классный пост канала «Дашбордец» про аналитику, моделирование и винишко. Он вдохновил меня расчехлить несколько релевантных статей на эту же тематику.

The Data Scientist’s Guide To Buying Wine
Вот что происходит когда состав вина начинает рассматривать дата-саентист (спойлер: коэффициенты корреляции, хитмапы, примеры кода на питоне).
🔗Ссылка

Single Malt Scotch Whiskey
Можно сказать, что это практическое пособие по выбору Шотландского односолодового виски на основании анализа данных. Собрана классная статистика о зависимости вкуса и качеств от региона происхождения (за Islay и двор стреляю в упор).
🔗Ссылка

19 Beer Infographics To Make You See Double
Набор визуализаций на любой вкус про мир пива: от серьезных статистических и социальных до топов страннейшего пива и пивных коктейлей (за что?).
Мне лично очень понравился граф видов и сортов пива.
🔗Ссылка

#оффтоп #визуализации

Сегодня предлагаю посмотреть как безобидная попытка двух друзей составить топ песен The Beatles вышла из-под контроля и превратилась в дашборд в Tableau Public.

Очень понравилась идея сделать рейтинг альбомов по оценкам входящих в них песен и визуализировать боксплотами.
Топ песен тоже есть, наравне с изрядной долей иронии авторов.

А еще вот тут живенько описана история реализация проекта.

🔗Ссылка

#проекты

«Ключевые инструменты бизнес-аналитики. 67 инструментов, которые должен знать каждый менеджер», Бернард Марр.

Несмотря на кликбейт в названии (всегда задевает за живое), могу рекомендовать к прочтению, хоть и с ограничениями. Кстати, в оригинале там "60+ tools every manager needs to turn data into insights", что в разы лучше отражает суть книги.

Все инструменты и методы описаны в одной структуре: общее описание (включая вопросы, на которые дает ответ инструмент), рекомендации к применению, возможные источники данных, практический пример использования.

Что хорошо:
🔹возможность сравнения инструментов (как раз из-за единой структуры глав);
🔹связывание инструментов с целями бизнеса;
🔹фокусировка на практическом использовании в реальных кейсах;
🔹внятное описание ценности и границ применимости;
🔹те части, которые меня наиболее интересовали - анализ рынка, целевой аудитории, клиентов и финансов проработаны лучше всего (сразу видно, что автор бизнес-консультант).

Что не так хорошо:
🔻Важно! Техническая реализация не описана от слова «совсем». Если важно освоить любой из описанных в книге методов - она для этого не подойдет.
🔻слабые, на мой взгляд, 2 последние части - про анализ сотрудников и операционной деятельности. Кажется, что они тут просто для количества.
🔻только для бумажных версий книг: есть много ссылок на дополнительные материалы, но невозможность перейти по ним сильно напрягает. Даже если какая-то статья сильно заинтересовала добраться до ее чтения проблематично (вбивать ее URL в браузер - это то еще удовольствие).

В конечном итоге: важно понимать, что книга нацелена на «бизнесовую» аудиторию (там так и написано «сможете понять, что можно делегировать вашему аналитику»), так что технических и процессных подробностей по инструментам там минимальное количество. Тем не менее, это прекрасная возможность заглянуть в смежную область аналитики, подсмотреть практики из разных сфер и попробовать нанести непоправимую пользу своей компании.

🔗 Ссылка на бумажную версию

#книжное

Набрел на интересную попытку систематизировать процесс выбора визуализации в виде вот такой схемы (надо признать, качество изображения хромает).

В зависимости от различных входных параметров (что хотим отобразить, каково количество элементов, меняются ли данные во времени, etc.) предлагается та или иная визуализация.

Внутри есть примеры всех рекомендуемых графиков, правда не всегда удачные (несортированный пай-чарт должен войти в антитоп всех визуализаций ever).

🔗Ссылка

P.S. Спасибо Роману Бунину за разоблачение коварных индусов с медиума, которые не оставляют ссылок на оригиналы (цитирую):
"Эту шутку, кажется, придумал Andrew Abela в книге Advanced Presentations by Design. Вот его сайт — https://extremepresentation.com/design/7-charts/".

#визуализации

Как говорится, не дашбордами едиными живём. Я реально считаю, что создание понятных презентаций по итогам проведенного анализа - отдельный вид искусства.

В статье предлагается набор практик по созданию общего styleguide для презентаций, чтобы единообразно представлять данные внутри одной организации.

Ключевые идеи (что приятно, с созданием хороших дашбордов это тоже коррелирует):
🔹 пишем выводы в самом начале, что актуально для той части целевой аудитории, которой важна самая суть (топы);
🔹 промежуточные выводы выносим в названия слайдов;
🔹 используем одинаковые шаблоны отображения информации, чтобы пользователи привыкали к логике повествования и легче воспринимали последующие итерации;
🔹используем контрастные цвета для сравнения разных параметров в одной визуализации;
🔹системно используем один выбранный цвет для отображения каждой конкретной переменной, одинаковые форматы дат, единый глоссарий (классика);
🔹помним про правило "чем проще, тем лучше».

🔗 Ссылка

#инструменты