LEFT JOIN

В трудные времена нужно помогать друг другу 🤝☺️

Сейчас мы живем в реальности, где ежедневно сервисы анонсируют новые ограничения или повышают цены. В связи с этим, небольшой update для пользователей MProve: сервис Mprove Cloud будет бесплатным как минимум до 2023 года. На странице расценок сервисов показаны отличия между версиями Open Source, Cloud и Enterprise. Как видите, пока что мы оставляем открытым и бесплатным почти весь функционал Mprove.

Небольшой список обновлений функционала:
1. ⚡️FINALLY! Появилась поддержка Clickhouse ⚡️
2. Появились дашборды
Дашборды и визуализации можно полностью создавать и редактировать через UI. Эти изменения автоматически отражаются в соответствующих файлах. Благодаря файлам можно легко обновлять SQL модели данных и поддерживать все в актуальном состоянии.
3. Создание фильтров и привязка фильтра к конкретному отчету дашборда при помощи кнопки “Edit Listeners”
4. Проработано разграничение по ролям
Обновлен механизм контроля доступа к моделям, визуализациям и дашбордам (все подробности – в документации).
5. Теперь в демо-проекте показаны примеры моделей для BigQuery PostgreSQL и ClickHouse на основе одного датасета.

Мелкие улучшения:
🪄Добавлены подсказки
🪄 Улучшено отображение фильтров
🪄 Улучшено отображение меню
🪄 Улучшено отображение ошибок при валидации файлов
🪄 Обновлена документация

Регистрируйтесь, пробуйте, изучайте!

Состояние веб-парсинга в 2022
К 2022 году парсинг веб-сайтов стал чуть ли необходимостью, как для обычного человека (с небольшим знанием программирования), так и для бизнеса. Найти и просмотреть вручную все сайты с нужной информацией - крайне затратный по времени процесс и все, кто хочет его оптимизировать так или иначе нуждаются в методах парсинга.
Сейчас мы вам расскажем все, что нужно знать о парсинге веб-данных и современных тенденциях.

Если навыки программирования и желание есть:
▫️Language Agnostic Tools (Playwright, Selenium)
▫️Python и его библиотеки (Scrapy, Beautiful Soup, MechanicalSoup, Pyppeteer)
▫️JS (Cheerio, Puppeteer, Apify SDK)
▫️Java (Jaunt, jsoup)
▫️Ruby (Kimurai, Mechanize and Nokogiri Gems)
▫️PHP (Goutte)

Если вы не умеете программировать или вам не хочется тратить на это время:
▫️Scraper API (для тех, кому нужно самое простое и бюджетное решение задачи)
▫️Apify (для тех, кому хочется найти лучшее соотношение цены и качества)
▫️Parsehub (для тех, кто готов потратиться, но совершенно не хочет использовать код)
▫️Diffbot (для тех, кто ищет самый дорогой сервис с полным доступом к найденным данным)
▫️Octoparse (похож на Parsehub, тоже минимально используется код)
▫️ScrapingBee (для тех, кто хочет пользоваться поддержкой от разработчиков)

Не забывайте, что за окном 2022 (как тут забыть, конечно), а это значит, что все действия по парсингу веб сайтов должны соответствовать законам и этическим нормам:
❕Парсить сайты лучше в непопулярное для посещения время, чтобы не перегружать сайт, который вы изучаете
❕Используйте только одно IP-соединение
❕Соблюдайте правила сайта/социальной сети, которую вы парсите
❕На некоторых веб-сайтах есть файл robots.txt, в котором перечислены правила и ограничения, которым должны следовать парсеры при автоматическом парсинге и взаимодействии с веб-сайтами.
❕Не нарушайте правила GDPR или CCPA

Какие тренды в веб-парсинге в 2022 году?
🌎Такие платформы как LinkedIn, Facebook и Instagram стараются сделать все возможное, чтобы их сайты парсить стало труднее. Скорее всего в 2022 их политика будет ужесточаться и будут вводиться самые изощренные анти-бот системы.
🌎К счастью, данные, которые находятся в открытом доступе, запретить парсить практически невозможно. Единственное, что может быть не вполне легитимно - парсинг сайта при входе в систему. Будьте осторожны, если занимаетесь этим!

Конечно, в 2022 году веб-скрапинг столкнется с некоторыми усложнениями и юридическими проблемами, однако в течение последних нескольких лет он сталкивался с этими проблемами ежегодно и благодаря этому стал сильнее. Пока что методы парсинга веб-сайтов стабильно на пару шагов опережают способы борьбы с ними. So far so good!

BI-аналитика в условиях ограничений

Сейчас в России люди многих профессий вынуждены отказываться от удобных рабочих решений ввиду новых ограничений, которые появляются ежедневно. Как известно, ограничения эти вводятся почти молниеносно, а когда они будут отменены – не известно. Но мы не собираемся еще сильнее вводить вас в панику или тревогу. Наоборот, мы считаем важным помогать вам своими знаниями и опытом настолько, насколько это возможно. Например, многие сейчас ищут качественную замену таким сервисам как Tableau и Power BI. В нашем гайде вы можете посмотреть на часть BI-инструментов (платные и бесплатные) и реализованные в них дашборды, отдельное внимание стоит уделить open-source инструментам.
У нас также готов дашборд по Superset, но пока не успели записать видео.

Stay tuned! ⚡️

Хочу выходить из затишья и постепенно публиковать контент, относящийся к делу.
Я знаю, что сейчас многие талантливые как начинающие, так и более опытные ребята начинают искать работу. Мы продолжаем делать свои проекты в рамках Valiotti Analytics по всем направлениям.

Ищем и джунов и миддлов с крепким знанием SQL / Python.
Поэтому если вам интересно, откликайтесь на вакансию, а если вы миддл присылайте свое резюме мне в ЛС, а в ответ получите тестовое задание.

В связи с законом о военной цензуре этот пост выпилен, но вы его видели, а я его заскринил.

Автор опубликовал cheatsheet для Google big query и Google Analytics.

Выглядит полезно 🙂

Если визуализация – это инструмент анализа, который обеспечивает наиболее эффективную работу по изучению данных, то инфографика – это уже готовые выводы, оформленные и структурированные показатели и закономерности.

Собрали небольшую подборку хороших работ с канала Инфографика и факты:

- Индекс айфона 2021
- Чем богаты депутаты ГосДумы 2021
- Почему растут цены на бензин
- Почему вакцинацию стали искать чаще футбола и порно

Нужен ли нам Airflow или куча отдельных инструментов?
Несколько дней назад в сети появился пост, который активно обсуждают до сих пор. Давайте разберемся, в чем дело и из-за чего сыр-бор.

⚡️ Итак, автор поста обращает внимание на эволюцию любых больших платформ: старт, развитие и неизбежную фрагментацию на более удобные и узкоспециализированные инструменты. Автор приводит пример, что много лет назад такое случилось с платформой Craigslist, а теперь, вероятно, это случится (или уже случилось) с Airflow.
Airflow сейчас позволяет выполнять множество задач, связанных с данными; от операций по выгрузке и загрузке данных до создания отчетов, обработки с помощью Python и SQL-скриптов и синхронизации данных с BI-инструментами. Однако, уже существуют отличные самостоятельные инструменты, которые выполняют все эти задачи гораздо лучше, чем Airflow. Например, Fivetran и Airbyte можно использовать для загрузки и выгрузки данных, dbt — для преобразования данных, Census и Hightouch — для обратного ETL, Transform, Metriql, Supergrain — для метрик, Eppo — для экспериментов, MLOps — для машинного обучения. Все эти инструменты “отбирают” часть задач у Airflow и значительно трансформируют современный стек, который раньше часто строился внутри одного инструмента (платформы).
⚡️ Некоторые компании пытаются создать улучшенную версию Airflow, упрощая развертывание задач, делая их более масштабируемыми и т.д. Самой важной и обсуждаемой частью этого рассуждения стало то, что автор сомневается, что вообще есть необходимость в улучшении Airflow. Как он сам говорит: “Это похоже на попытку оптимизировать написание кода, который вообще не должен был быть написан“.

Тристан из dbt комментирует:
⚡️ Кейсы Craigslist и Airflow серьезно отличаются, как минимум потому, что пользователь первой платформы мог нуждаться лишь в одной из функций, а вот специалисты в сфере работы с данными нуждаются во всех инструментах платформы, поскольку они тесно взаимосвязаны.
⚡️ Затем, он предлагает свое видение развития Airflow: поскольку одному специалисту или даже команде не бывают нужны сразу все инструменты, удобнее было бы иметь 3 платформы с инструментами для задач инженеров данных, аналитиков и ML-разработчиков.

Тристан, как и прежде форсирует свою тему аналитических инженеров и отделяет их от всех остальных, что, конечно, dbt-юзерам очень нравится.


❓А вы что думаете про Airflow? Используете ли, пробовали ли Airflow как сервис в managed-исполнении?

Любопытный пост на Observable и симпатичный график-гантелька о том, какие слова лучше знают мужчины, чем женщины (и наоборот). Признаться, большинства слов из списка не знаю, ну разве что кроме checksum, разумеется. 🙃
Такой же чарт есть про сравнение знания слов в UK и US.

Влюблены в аналитику? VK подготовил для вас что-то крутое :)

26 и 27 февраля компания проведёт Weekend Offer по двум направлениям: экосистемной и продуктовой аналитике. А теперь коротко, но подробно, чем занимаются ребята в Data Office:

• Экосистемная аналитика. Вы можете погрузиться в мир growth hacking, исследований и формирований гипотез для роста, разбор в кросс-девайсном и кросс-продуктовом матчинге при работе с сервисами VK.
• Продуктовая аналитика. Это про формулирование гипотез, проведение исследований и A/Б-экспериментов, настройку аналитических мониторингов и отчётов. Ну и, конечно, вместе с командой вы будете запускать фичи внешних и внутренних сервисов экосистемы. Звучит круто!

Аналитики, интересно? Тогда, не пропустите — у вас появилась возможность поменять работу всего за два дня. Успейте отправить заявку на участие до 25 февраля. Удачи!
#реклама

☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞

🪄 Секреты мультипликации: как визуализировать сказку
Как человеку, незнакомому с киноиндустрией, а, тем более, индустрией анимации, мне всегда было интересно узнать, как много нужно времени, чтобы идея превратилась в яркую сказочную историю, как персонажи обретают мимику, движения и привычки, а самое главное, кто за этим всем стоит. И сколько вообще человек работают над созданием одного мультфильма? Всемирно известная компания Disney рассказывает о том из чего состоит мультфильм на общих данных и на конкретном примере – новом мультике Энканто. Например, в среднем, создание одного полнометражного мультфильма занимает от 3 до 5 лет!

👨‍💼 Как прийти на собеседование во всеоружии?
Как вы обычно готовитесь к собеседованию? Наверняка, как и многие, вы правите резюме, вспоминаете самые важные достижения и проекты, освежаете какие-то полезные знания, придумываете ответы на классические вопросы о планах и развитии в компании. Однако, потенциальный кандидат может также задавать вопросы и это скорее повысит его шансы получить должность, чем наоборот, ведь вы проявите интерес к компании и сможете понять, подходят ли вам существующие в ней условия работы. Напимер, следует уточнить есть ли в компании дресс-код, возможности для повышения квалификации на курсах, как выстроена внерабочая коммуникация, есть ли бюджет на посещение конференций и многое другое.

⚙️ Настройки и зачем они нужны
Иногда в приложениях пользователю нужно настроить слишком много всего для удобного использования, потому что дизайнеры поленились и не смогли выяснить, какие именно расположение элементов, цвета и функции должны быть в финальной верстке. И отправили все эти функции в настройки, мол, сами решайте. Дизайнер из Linear рассуждает на тему того, нужны ли на самом деле пользователю настройки и, если коротко, то да, нужны. Дело в том, что часть настроек продукта, действительно должна быть продумана по умолчанию, однако, другая их часть отвечает за соответствие личным предпочтениям. Именно благодаря этим настройкам мы можем установить светлую или темную тему и поставить любимую картинку на заставку, подстроив приложение “под себя“.

👨‍🎨 Мона Лиза и разработчики
Разработчики программного обеспечения, всегда стремятся к улучшению всех используемых инструментов, но вот шрифт… Он всегда остается “за кадром“. Тем не менее, разработчики проводят большую часть наших дней, глядя на экран, читая и создавая код (который, разумеется, написан определенным шрифтом). Использование обычного Times New Roman может негативно сказаться на производительности программиста и даже привести к ошибкам, поэтому и был придуман идеальный шрифт MonoLisa. Все её особенности и преимущества описаны на сайте создателей, на сам шрифт и его модификации (например, курсивную версию) можно посмотреть там же.

📺 Убыточный формат рекламы (или нет?)
Трое ученых из разных университетов объединились, чтобы провести большое исследование рекламы на телевидении. Они выяснили, что почти треть телерекламы вещает о преимуществах нового пылесоса или удивительного Nespresso в совершенно пустых комнатах, а зрители в четыре раза вероятнее уйдут из комнаты (за вафелькой), чем переключают канал. К огромному сожалению для рекламодателей, ценообразование на рекламу зависит от того, на скольких телевизорах включен определенный канал, а не от того, смотрят ли люди в эти телевизоры на самом деле. В исследовании, конечно, в разы больше полезных выводов о поведении человека во время рекламной паузы, что лучше его удерживает у экрана телевизора, а что хуже (спойлер: реклама лекарства от изжоги).

#weekly #дайджесто

В коммьюнити часто обсуждается тема как интересно переквалифироваться и стать аналитиком / дата саентистом, но, например, есть и другая сторона медали.

Недавно мне попался интересный пост на реддите, где чел рассуждает о том, что карьера дата саентиста крайне сложна и требует постоянного развития и улучшения навыков, просто чтобы оставаться "в игре". Автор пишет, что такая работа для него постоянный стресс и противопоставляет карьеру дата саентиста с водителем поезда / электрика, которые всего лишь каждый день выполняют свою работу. А дата саентист как будто всегда остается джуниором, если не улучшает свои навыки, потому что они регулярно устаревают.

Что думаете? Согласны ли с этим утверждением?

Старенький, но прикольный тематический пост о том, как сделать диаграмму в виде сердца в Tableau. Актуально, чтобы порадовать свою вторую половину симпатичным датавизом ❤️ 🙂

Ремарка об исследовании онлайн-школ по аналитике данных

Дискуссия по поводу исследования онлайн-школ оказалась оживленной — это объяснимо: мы громко заявили о себе, и с нас соответствующим образом спросили в комментариях.

Ключевое:
— я не делал это исследование по чьему-то заказу
— нет органа, который меня контролирует в этом опросе и говорит мне как правильно, а как нет
— я не планирую публиковать исследование в научном журнале и считать статистическую значимость различий в процентах на малой выборке.
Если вам это интересно — возьмите данные и ответьте на свои вопросы с учетом статистической значимости, вся информация доступна. Если вы не верите в результаты или не видите ценности в этой работе — окей, это ваше право. Я хотел и получил реальный срез рынка от студентов основных школ индустрии, поделился результатами с коммьюнити.

Почему я верю в результаты?
Я абсолютно убежден в адекватности результатов, поскольку мы (я и моя команда) выборочно лично общались с респондентами, вручную проверяли и отсеивали ряд анкет на этапе подготовки данных перед созданием дашборда.
Тем не менее, никаких гарантий. Может быть как на выборах: вбросы, карусельщики. Достоверных способов это определить у нас нет.
В софтверной разработке это называется as-is. Ответственность за использование результатов на вашей стороне. Для меня все выводы имеют большую ценность, и я еще раз убедился в ряде своих гипотез относительно школ и их выпускников.

Зачем я делал исследование?
Я нанимаю людей к себе в компанию и вижу проблемы с компетенциями ряда школ, скоро расскажу об этом голосом в подкасте. Я хотел узнать, что думают сами студенты о качестве образования.
Мне полезно понять как оценивают студенты эффективность трудоустройства, добились ли они своих целей, чем различаются школы в оценках между собой, насколько в них сложно учиться.

На все вопросы я получил исчерпывающие ответы и интересные истории учащихся, о которых скоро расскажем в подкасте.

P.S.
Спасибо энтузиастам и профессионалам за ценные замечания: аргументированные комментарии по делу принимаются с благодарностью!

P.P.S.
Каждый раз удивляет токсичность рунета, в этом полностью согласен с Димой Аношиным. Все так и есть: делаешь что-то полезное, полностью за свой счет, получаешь в комментариях хейт, переход на личности, хейт пораждает следующий хейт в виде частных мнений людей, тотально не вникающих в материал (на военной кафедре у нас это называлось ОБС — «одна бабка сказала»).

💣💥⚡️Мы узнали абсолютно все про рынок онлайн-образования в России (и спешим вам рассказать) 🚀
Как вы помните (а если не помните, то кликайте сюда), несколько месяцев назад мы проводили большой опрос по российскому рынку онлайн-образования. Сегодня мы наконец-то можем поделиться с вами результатами, выводами и инсайтами, которые, на наш скромный взгляд, получились весьма крутыми! Но, обо всем по порядку.
В нашем телеграм-канале мы собрали данные с помощью подробного анкетирования. После этого, не без помощи Романа Бунина, наша коллега Олеся структурировала информацию в дашборде Табло. В итоге, для тех, кто хочет быстро посмотреть на результаты на одной странице есть дашборд, а для тех, кому интересно увидеть все подробности, то ниже мы прикрепляем pdf-файл – презентацию результатов исследования, которой призываем делиться.

Короткий How-To к дашборду для самостоятельного изучения:
Дашборд разделен на две части: слева – панель фильтров, справа – результаты опроса.
Панель фильтров содержит информацию об участниках опроса и курсах. Каждая группа участников опроса из панели слева фильтрует данные и графики обновляются. Если вы хотите отменить фильтрацию – щелкните еще раз на ту же строку или обновите страницу для сброса всех фильтров.
На каждом графике (кроме графика с оценками) есть всплывающие подсказки, в которых указано количество участников, в выбранной категории.

Теперь мы с гордостью можем рассказать обо всем, что обнаружили:
◼️ Всего в опросе приняло участие 457 человек. Из них – 90% проходят/проходили онлайн курсы, 7% планируют пройти, 3% не проходили и не планируют. Весьма впечатляет! Но, на самом деле, тут нет ничего неожиданного, мы лишь подтвердили свою гипотезу о широкой распространенности онлайн-курсов.
◼️ Самые популярные направления образования среди участников – Аналитика данных (66%) и Data Science (19%). Самые популярные платформы – Яндекс.Практикум (30%) и KARPOV.COURSES (14%).
◼️ В качестве целей прохождения курсов чаще всего указывали «Получение новой работы» (49,5%) и «Получение новых знаний/навыков» (25%). Что касается достижения поставленных целей, то наши результаты абсолютно совпали с цифрой, которую получили Яндекс и ВШЭ в своем исследовании (учитывая совершенно разные выборки респондентов, это – удивительно!). У них 78% достигли целей после прохождения Практикума и у нас тоже 78%. Мы сильно удивлены и рады, что данные совершеннно репрезентативно описывают опыт прохождения онлайн-курсов в России.
◼️ Все участники, которые не планируют проходить онлайн курсы считают важным для профессионального развития опыт и практику в реальном бизнесе. Такое мнение тоже имеет право на существование, ведь эти два направления – теоретические знания и практический опыт – два столпа, на котором основывается человеческий капитал.
◼️ Подавляющее большинство участников относятся положительно к онлайн-образованию (даже среди тех, кто не планирует проходить онлайн курсы).

В данных еще можно найти множество более узких выводов. Однако, становится понятно, что стереотип о том, что онлайн-образование сильно уступает высшему образованию и “не котируется” в современном обществе постепенно отмирает. И это круто, потому что мир развивается, а онлайн курсы имеют ряд неоспоримых преимуществ, которые давно стоит перестать недооценивать!

Небольшой спойлер: совсем скоро вы также сможете послушать первый эпизод нашего свежего, но все еще секретного подкаста (пока не можем раскрыть всех деталей), в котором мы поговорим об онлайн-образовании с несколькими участниками опроса, а также с ведущими экспертами рынка!

☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞

🧩 Список ежедневных дел пополняется
После оглушительного успеха классического Wordle и продажи игры за весьма приличную сумму, многие разработчики с фантазией стали следовать примеру мастера и создавать подобные игры. Теперь у нас есть русский Вордли (отчаянно советую создателю поработать над названием!), немецкий, французский, испанский (если вы знаете эти языки, конечно), Nerdle (угадать арифметическое выражение) и Three Magical Words (угадать фразу из трех слов с некоторыми подсказками). Хоть последний сильно отличается от оригинала, все эти игры отлично разминают мозг перед началом рабочего дня или на кофе-брейке!

🕸 Кажется, подключить всех людей к одной сети не получится
Если бы Facebook был человеком, то недавно он бы достиг совершеннолетия. А еще, впервые за свою 18-летнюю историю, в социальной сети снизился ежедневный поток пользователей: за последние три месяца примерно полмиллиона человек перестали заходить в фейсбук на ежедневной основе. Больше всего “отточных пользователей” в Африке, Латинской Америке и Индии. Новостные ресурсы пестрят заголовками “Мечты о подключении всего мира к одной соцсети мертвы“, однако, результаты, которых достиг Цукерберг и без того впечатляющи!

🥱 К чему приводит хронический недосып? (ни к чему хорошему)
В период пандемии многие люди стали гораздо сильнее заботиться о своем здоровье. Однако, если вы все еще отчаянный трудоголик и спите недостаточно много, то вот вам пугающий (он таким и должен быть) список крайне неприятных последствий недостатка сна. Тут и потенциальный набор веса, нездоровые зависимости, ухудшение памяти и многое другое. Высыпайтесь, друзья!

🎤 Секреты и тайны Apple Podcacts
Шон Холлистер заметил весьма странную закономерность. Во-первых, рейтинг приложения в App Store сильно вырос за последнее время, хотя в приложени не было никаких обновлений. Во-вторых, большинство пользователей в отзывах хвалят не само приложение, а сами подкасты, которые им нравятся. В итоге, у приложения невероятно высокий рейтинг, несмотря на то, что в нем куча мелких и крупных багов. А вам нравится приложение Apple Podcasts? Если нет, то какое приложение лучше?

👨‍🏫 Школьники, выдыхаем!
На Open AI вышел интересный материал про нейронную сеть, которую обучили для решения теорем из школьных олимпиад по математике. Модель учится на всех примерах, которые она успешно решила и постепенно справляется с более сложными теоремами. В общем, если вы учитесь (или преподаете) в школе, то можете попробовать воспользоваться таким красивым методом для решения домашек.

🪁 Бонус: Увлекательный комикс о том, как не жить от отпуска до отпуска, а быть счатливым всегда

#weekly #дайджест

В последнем выпуске рассылки от Benn Stancil есть абсолютно прекрасный абзац с кучей ссылок на современные инструменты в области данных и аналитики, поэтому хочется прямо его процитировать как есть:

Instead, the front of the data stack is represented by an explosion of tools, all tacking in slightly different directions. There’s traditional BI; there’s modern BI; there’s headless BI; there’s open-source BI; there’s Bitcoin-based BI. There are notebooks for analysis, notebooks for SQL, notebooks for collaboration, notebooks for apps, and apps for notebooks. There are data visualization tools, data visualizations for notebooks, and notebooks for data visualizations. There are SQL editors for teams, SQL editors for people who don’t want to write SQL, and SQL editors for Snowflake customers. There are collaborative workspaces, and tools that combine lots of things together. There are spreadsheets we can’t get rid of and spreadsheets replacing the spreadsheets we can’t get rid of; there are rebuilt spreadsheets; there are spreadsheets, but BI. And more of everything is coming.

#ссылка