Я у мамы аналитик

Это очень крутая идея и топовая реализация!

Жаль, что для исследования доступен только Нью-Йорк.

Из похожего, но ближе к нашим реалиям (хоть и с существенно меньшей функциональностью) приходит в голову проект по визуализации возраста зданий. С того момента, как я о нем писал, к Санкт-Петербургу успели добавить Москву, Казань и Владимир (круто, что ребята развиваются).

#проекты

На этой неделе опубликовали новый Gartner Magic Quadrant по аналитическим и BI-системам.

Как вы понимаете, Microsoft опять в лидерах и уже хвастается в блоге и рассылках. Немного подробнее, почему так - в сегодняшней заглавной статье.

Рядом с Power BI, по традиции, расположились Tableau и Qlik, а вот ThoughtSpot окончательно свалился в визионеры.

Общее количество участников сократилось с 22 до 20 (результат покупок ряда инструментов другими игроками). Подробнее посмотреть кто куда переехал можно тут.

А вот что было в предыдущей серии (2020 vs 2019).

🔗 Ссылка

#business_intelligence

Sankey-диаграммы периодически мелькают в различных топах визуализаций (чего стоит только легендарная карта вторжения Наполеона в Россию в 1812), но массовыми их назвать сложно.

Чаще всего их используют для отображения потоков или маршрутов, но есть и другие, более интересные кейсы:
🔹отображение того, как эволюционирует покупательский опыт с течением времени (в примере у автора эволюция классов арендуемых автомобилей);
🔹анализ иерархически организованных данных;
🔹поиск паттернов в данных в качестве альтернативы ML (пример очень специфичный, но что-то в этом есть).

Про подготовку данных и реализацию (на примере Power BI) можно почитать тут.

P.S. А еще кто-то в интернете неправ ведет блог, посвященный исключительно санкеям (некоторые выглядят максимально ужасающе, но найти что-то интересное можно).

🔗Ссылка

#визуализации

Качественные обзоры рынка СУБД на русском - большая редкость (популярность прошлой заметки на тему это только подтверждает).

Вот еще пример неплохого обзора от SH Capital:
🔹динамические визуализации - огонь;
🔹данные сегментированы по типам СУБД (актуально, чтобы мокрое с солёным не сравнивать);
🔹сделали свой «квадрант Гартнера» с популярностью и потенциалом развития;
🔹занятный обзор ключевых инвестиционных сделок (не припомню, чтобы где-то еще такое можно было систематизированно посмотреть).

🔗 Ссылка

#базы_данных #анализ_рынка

Наверное каждый аналитик имел удовольствие распространять свои отчеты в формате «экселька на почту» (если не занимались подобным - обязательно попробуйте на досуге, особенно доставляет вносить в них правки и повторно отправлять).

Автор сегодняшней статьи решил заняться оптимизацией рассылки отчетов клиентам (с обязательным контролем доступа, что важно) и вместо выбора общеизвестных инструментов пускается во все тяжкие:
🔹защита файлов через VBA;
🔹сторонние платные сервисы по лицензированию экселек (что?);
🔹Excel Online с костылями;
🔹сборка web-приложения на базе Google Sheets;
🔹BI-инструменты (ура!);
🔹накодить на Python.

Все перечисленное сопровождено видео-примерами и анализом сильных и слабых сторон. В целом, масштабы проработки вопроса вызывают восхищение (хоть и граничат, по моему мнению, со стрельбой из пушки по воробьям).

🔗Ссылка

#excelное

Product Sense второй год подряд опрашивает свою аудиторию на тему развития навыков в продуктовом сообществе и выкладывает в своем блоге результаты.

Тех, кто идентифицирует себя как аналитик там традиционно около 9%, а вот развивается в аналитике уже более 21%.

По самим направлениям развития нет почти никаких отличий от предыдущего года - помимо аналитики все учатся маркетингу и проектному управлению.

Кроме этого в статье есть графики к которым у меня много вопросов (за что такие пай-чарты и сортировка?) и выводы, к которым уже не придраться.

Также, в конце - гора ссылок на книги, курсы, каналы и материалы, в которых пытливый ум исследователя может (в теории) найти что-то полезное для себя.

🔗Ссылка

#компетенции

Нарыли на днях список ресурсов (40+ и продолжает расти) для поиска статистики, аналитики и "просто данных" по разным сферам общественной жизни.

Выглядит как жизнеспособный источник информации для исследований, тестовых проектов, сбора дата-сетов и вот этого всего.

Что интересно, есть тут не только всем известные (не Яндексом единым), но еще и вполне себе неожиданные ресурсы (например, около-государственные).

Поймал себя на мысли, что это какой-то вышедший за пределы программного обеспечения open source: кто-то оторвал от сердца список любимых ресурсов, а люди в приложенной гугл-табличке активно дополняют. Красота!

🔗Ссылка

#данные

Портал ITC Moscow вместе с Департаментом информационных технологий Москвы (интересно, много ли в принципе таких коллабораций) сделали свой хайпометр для отслеживания упоминаний передовых технологий в СМИ.

Выглядит это, надо сказать, довольно современно (должно быть заметно по превью):
- есть несколько «крутилок» для переключения периодов;
- доступны сырые данные в гугл-шитах;
- есть комментарии и выводы (почему-то они зажаты между двумя графиками, но не будем придираться);
- стильно же, ну.

Из неожиданного:
- упоминаний беспилотников почти в 2 раза больше big data, а также почти в 2,5 раза больше IoT или облаков (чиииво?).

🔗 Ссылка

#проекты

Изучение новых видов графиков - наше всё.

Несколько раз натыкался на Mekko/Marimekko в разных каталогах визуализаций, но особого восторга не ощущал (ну бар-чарт на максималках, что с ним делать-то).

В сегодняшней статье есть несколько жизнеспособных примеров использования, а главное (наконец-то) - описана цель их применения.
Спойлер: все ради снижения количества столбцов на диаграммах.

Получается, если нужно сравнить несколько групп по двум измерениям, то берём Мекко. А если нужно каждую группу дополнительно детализировать по подгруппам, то Маримекко.

Запилить можно на питоне, в Power BI/Qlik/Tableau, не говоря уже об извращениях в Excel (моё любимое).

Главное, чтобы целевая аудитория себе голову не сломала с непривычки.

🔗 Ссылка

#визуализации

«Есть только миг между прошлым и будущим»

1. Обычные дашборды сравнивают текущие метрики с прошлым — процент изменений по сравнению со вчера, с прошлой неделей, месяцем или годом.

2. Хорошие дашборды должны сравнивать текущие метрики с будущим — как мы двигаемся по сравнению с тем планом, который мы себе поставили на неделю, на месяц или на год.

3. Во-первых, если мы не знаем, куда идем — зачем нам нам знать, с какой скоростью мы идем никуда?

4. Во-вторых, в наши головы встроено когнитивное искажение, называемое «loss aversion» (боязнь потерь) — мы гораздо более остро реагируем на потери, чем на приобретения. Если мы видим, что мы хоть немного, но растем — мы неизбежно (хоть и подсознательно) расслабляемся. Даже если этих темпов роста нам не хватит для выполнения отдаленного плана.

5. Мы будем шевелиться, только если дашборды будут показывать нам возможные потери — чего и сколько нам не хватает, чтобы добежать до поставленной цели. А если всего хватает — это хорошая причина повысить уровень цели. Чтобы мы опять пытались избежать потерь.

6. А у вас есть дашборд? А он сравнивает сегодняшнюю ситуацию с прошлым или с будущим?

---
Новые идеи, достойные копирования: fastfounder.ru

Как человек, пиливший оба упомянутых вида дашбордов, я не могу на 100% согласиться с тем, что "перспективные" настолько лучше "ретроспективных". Всё-таки сильно зависит от решаемой задачи и целевой аудитории.

С другой стороны, сложно не согласиться с большей убедительностью данных о потерях, так что сама мысль весьма интересная.

Люблю периодически поглядывать на небольшие авторские проекты (в том числе имеющие к аналитике косвенное отношение), они круто иллюстрируют насколько разные идеи приходят людям в голову.

Как вам, например, такое: кто-то взял с ProductHunt (возможно даже руками) топовый продукт за каждый день прошлого года.
Получилась табличка в Notion, в которой можно сделать сортировку по количеству голосов.

Интересно, но не хватает минимум двух вещей: типизации (так бы получился какой-никакой, но датасет для маленького исследования) и понятных выводов.

Пока же можно довольствоваться топ-10:
1. Интерактивные развлечения для удаленных команд поверх видеоконференции.
2. Почтовик от создателей basecamp.
3. Текстовый редактор со встроенным переводом, словарем и всяким таким, чтобы нормально общаться на любом языке мира.
4. Мобильное приложение для медитаций.
5. Библиотека вручную нарисованных иллюстраций.
6. Мобильное приложение для удаленной диагностики зубов по фотографии.
7. Софт для поиска цифрового отпечатка человека в сети.
8. Еще одна библиотека вручную нарисованных иллюстраций.
9. Приложение для создания дипфейков (актуальненько).
10. Тик-ток для образовательных видео.

Тут без комментариев, какой год, такой и топ.

🔗 Ссылка на проект

Собрала для блога “Больше, чем данные” свой личный топ датавиза за 2020. Там разное, но конечно же любимые The Pudding, Nadieh Bremer и Nathan Yau ❤️

https://b4d.media/15-daraviz/

Видимо у меня вошло в привычку знакомить всех с блогами, на которые я подписан.

Вот этот топ-15 визуализаций за 2020 понравился мне больше, чем топ-10 от towards data science. Видимо, для меня музыка + цветные карты куда привлекательнее баскетбола и гос. долга США (и действительно).

P.S. СOVID, без сомнений, присутствует в обеих подборках, куда без него.

Какой он - современный облачный data-стек?

Николай Валиотти ( @leftjoin) объясняет подход к проектированию аналитической инфраструктуры, обосновывает использование Clickhouse при построении облачной аналитики и рассказывает о его же нюансах и говорит про Redash с точки зрения инструмента для визуализации.

Смотреть видео - YouTube, ~20 минут

@internetanalytics

Пропустил этот доклад на Матемаркетинге, а зря, отличный пример того, как можно простым языком рассказывать про инфраструктуру для аналитики (тем более облачную).

В последнее время все больше стимулов попробовать Redash (ну и на @leftjoin подписаться, если еще не).

Многие уже привыкли к тому, что грани профессий data analyst и data scientist все больше размываются (ну или как минимум к холиварам по этому поводу).

Мне, к примеру, импонирует следующая позиция: аналитик скорее ищет ответы на вопросы (или решение проблемы), а саентист находит тренды и сами вопросы, которые стоит задавать. Естественно, это упрощение, подробнее можно посмотреть тут.

Теперь в эту компанию врывается еще и data manager, который начинает отвечать за извлечение, обработку, хранение, качество данных. То есть становится своеобразным поставщиком информации для исследований scientist'а.

Идея, безусловно, не нова, специализация часто помогает решать все более сложные задачи. Другой вопрос - как бизнесу дальше разбираться в зоопарке ролей вокруг анализа данных (есть же ещё data engineer, BI developer, DBA, etc.). В веселое время живём!

Также в статье есть руководство как быть data manager консультантом в неизвестной предметной области. Выглядит как идея для стартапа, если эта мода доберется до наших краёв (пока, правда, не очень похоже, что это так). К примеру, на том же hh сейчас мизерное количество релевантных вакансий.

🔗 Ссылка на статью

Закончить этот уникальный год иначе, чем мемом у меня рука не поднимается (не будем о грустном).

Пусть в новом году у вас будет как можно больше понятных (без шуток) выводов!

Уже неделю всей редакцией (сам с собой, ага) кайфую с энциклопедической статьи про базы данных. Если бы сейчас кто-то попросил скинуть материалы для погружения в тему - поставил бы на первое место без колебаний.

Тут и схемы, и графики, и топы, и написано по делу (и даже нет привычного срача в комментах).

Немного про статистику и тренды:
- реляционные БД все еще сила, занимают почти 75% рынка;
- open source и тут растет и, кажется, скоро начнет побеждать;
- облачные БД тоже растут, но до победы еще ой как далеко;
- подробнее про популярность различных БД тут.

🔗 Ссылка на статью

#базы_данных #анализ_рынка

Конец года - это всегда золотое время для любителей почитать прогнозы развития технологий и рыночные тренды. Вот и Tadviser обновил свою статью про тенденции рынка BI.

Нельзя сказать, что в ней есть какие-то откровения (ну естественно, там все утыкано Big Data, ML, AI, облаками), но несколько интересных мыслей я для себя отметил:
- кажется, я впервые встречаю формулировку "BI-плато" под которой скрывается недостаток компетенций у сотрудников, не позволяющий использовать все функциональные возможности BI-инструментов и извлекать пользу из данных;
- и это, как раз одна из причин, почему self-service не так уж и активно взлетает (только если регулярно и сильно пинать);
- DWH и ETL скорее open source, а сами BI решения чаще вендорские (наверное, это очевидно, но я в таком ключе не думал);
- а еще вот тут говорят, что импортозамещение работает.

🔗 Ссылка на саму статью

#анализ_рынка