Детектив данных

🕵️‍♂️ Большое спасибо за огоньки 🔥, вот и вторая часть статьи:
Сегодня мы с помощью одной из базовых питоновских библиотек matplotlib отрисуем график загрузки нашего отчёта и отправим его себе через ТГ бот.

Хоть график и простой - постарался приблизить его к стандартам современной инфографики - убрать все лишнее, выделить важное, и даже легенда, внезапно стала давать полезную информацию.
Код с подробными комментариями в статье - дерзайте.

Надеюсь что эта статья вдохновит вас на перемены в ваших скриптах - жду ваших репостов знакомым, лайков (в этот раз давайте кита 🐳) ну и конечно же комментариев.
Ссылка на статью

👋 Всем привет!

🕵‍Сегодня я хочу поделиться с вами одной полезной функцией, которую когда-то придумал для себя и теперь активно использую в своей работе. Это такая мини-надстройка, которая помогает сделать регулярные отчёты немного приятнее и функциональнее, хоть это и не обязательное улучшение.

🐍 С помощью Python мы научимся отправлять себе сообщения в Telegram от имени нашего собственного бота. Причём это будут не просто сообщения, а уведомления с информацией о времени загрузки отчёта и ещё и с графиком для анализа. Пошагово разберём, как это сделать, обсудим, зачем это нужно и какие возможности для улучшения есть.

✏️ Эта статья будет полезна как начинающим в мире Python, так и продвинутым пользователям, которые проходили мимо работы с телеграммом

↗️ Если этот пост наберет 50 🔥 реакций, в следующей статье мы создадим и визуализируем график загрузки, которые разбавит наши серые будни из таблиц и сообщений.

Приятного чтения! 📊✨

Ищем аналитиков в команду Комуса
Москва, Гибрид
Требования
Практический опыт работы от 1 года,
Минимальный стек: Питон, SQL, Excel
Будет плюсом: Power BI, Fine BI, Superset, Tableau

Вопросы, резюме с зарплатными ожиданиями – ко мне в личку @data_observer

- А кем ты работаешь?
- Аналитиком
- О, это наверное интересно.
- Да, Очень.


Моя работа на самом деле:

🕵‍♂ Привет с Балтики)

Детектив данных pinned «😴 О рассказе "Процент лжи" про неправильную формулу прироста 📈 Однажды на мой красивый дашборд пришёл руководитель одного из направлений с претензией что его направление в конкретном регионе дало минус 60 тысяч процентов прироста - хотя на самом деле там…»

Здоровья пост

Никогда не было проблем по зрению, но просидев на прошлой неделе три дня с утра до ночи за компом организм немного прифигел. И чувствовалось что глаза очень утомились. (Хотя скажем честно там весь организм чуть не сказал до свидания)

Вопрос: использует ли кто-нибудь очки для работы за монитором? Со времен магазинов на диване у меня было стойкое впечатление что, это всё маркетинговая нерабочая история, аля желтые очки для водителей. Продаются на каждой заправке а толку ноль.

Насколько в подобных очках есть смысл, поделитесь своим опытом. По отзывам читал что и не нужны очки никакие, главное в целом отходить от монитора, следить за освещением и давать глазам отдохнуть

😴 О рассказе "Процент лжи" про неправильную формулу прироста

📈 Однажды на мой красивый дашборд пришёл руководитель одного из направлений с претензией что его направление в конкретном регионе дало минус 60 тысяч процентов прироста - хотя на самом деле там должно быть плюс, так как показатель аналогичного периода прошлого ушёл в минуса по определённой причине.

Так и появилась, да и вскоре решилась, проблема со знаком и выявлена ошибка в формуле которую использовали все коллеги вокруг (решение -просто добавляем модуль в знаменатель).

🛡Следующий фундаментальный вопрос который возник, и который еще предстоит решить - это как раз эти злополучные тысячи процентов - на верхних уровнях их не видно, но при накидывания фильтров в определенных разрезах эти значения ломают как и графики, так и гистограммы в таблицах. Да и кажется что такие значения - они и не нужны - все прекрасно понимают что тысячи процентов прироста - это скорее выбросы связанные с пересегментацией, возвратами и кривыми данными какого-нибудь иного вида. Мы же от нуля не можем посчитать прирост, тогда с какой стати мы должны его считать от отрицательного значения?

А пока решал проблему - сама собой и пришла идея обернуть этот "кейс" в детективный формат, первые две главы залетели быстро а финальный акт переписывался раза четыре )

Как вам такой формат? Было ли интересно читать?

🕵️‍♂️ Акт 3 финальный. "Продавцы иллюзий"

- Здесь обсуждают аналитику? - девушка была одета в чёрное пальто, волосы растрепаны, огромные чёрные очки скрывали лицо. Аромат самых дешевых духов среди тестеров в золотом яблоке заполнил комнату. Её голос звучал так будто она только что вылезла из тёмного угла твоей собственной памяти.
- Формула не работала, а теперь заработала! – радостно воскликнул аналитик
Девушка жестом остановила поток радостных мыслей и обратилась к детективу - Ты всё это ради "прироста"? Весь этот цирк?
- Привет, Марго. Только тебя, чтобы окончательно запутаться и не хватало. Мы уже закончили.
- Бардак на столе, бардак в голове. Винтики системы и манипуляторы, увязнувшие в своих красивых дашбордах! – Марго ходила по кабинету разбрасывая распечатанную базу данных.
«Как мы оказались в кабинете?» подумал детектив, а в вслух сказал: «Ты опять всё преувеличиваешь»
- Да ладно? Слушай, детектив, – ее голос звучал хрипло и искренне, – это всё игра чисел, хитроумный фокус для тех, кто не видит реальной картины. Мы путаемся в красивых процентах, забывая, что когда базис отрицательный, прирост превращается в обманчивую иллюзию.
- Ну мы же все таки выросли!
Марго рассмеялась. Её смех был холодным, но притягательным. "Цифры может и выросли, в отличии от твоего профессионального уровня. Рост? Процент от минуса — это ловушка для разума, просто обман. Ты пытаешься измерить неизмеримое."
Детектив задумался. "И что ты предлагаешь?"
Марго легко присела на край стола, небрежно раздвинув ноги, её движение было полное свободы и упрямой уверенности. "Перестань жить в мире цифр и процентов. Посмотри на реальность. Если вчера ты были в минусе, а сегодня продал на три копейки, этого ещё не достаточно, чтобы радоваться как ребёнок.
Этот мнимые приросты, с правильным знаком – лишь пыль в глаза. Они дают вам возможность вести себя, как будто вы короли бизнеса, но на самом деле вы просто жонглеры ложью.
«Тебе лучше пересмотреть свои выводы, пока ты не упустил момент. А ты его уже упустил. Ведь правда? Аналитик… Так зачем же ты пришёл – неужели тебя уж так взволновал этот знак?
Детектив, с недоумением посмотрел на Марго

- Я должен признаться, тихо сказал аналитик.
Я пришёл к гипотетической проблемой. Мы и правда в прошлом периоде получили неправильный знак, мы действительно продали на минус пять тысяч. Но в этом…. В общем мы продали на два с половиной миллиона…
Марго расхохоталась – Большие дяди любят большие цифры, мальчик мой? 50 тысяч процентов прирост – как тебе такое, Скрудж Макдак?
- Почему ты сразу не сказал?
– Я не подумал, что это важно… Какая разница, ведь знак то правильный?
В комнате повисла недолгая тишина…
Марго подошла к аналитику и прошептала ему на ухо – Ты давай заканчивай эту историю, пока мы все не утонули в твоих иллюзиях…

Детектив стоял один наедине со своими мыслями… Только что кабинет был наполнен голосами, цифрами и спорами, а теперь — тишина… За стеклом стелился низкий утренний туман. В его глазах не было больше надежды на фальшивые проценты – была твердая вера в то, что истину нельзя замаскировать цифрами. Мир бизнеса продолжал блуждать в лабиринтах отрицательного баланса, но теперь кто-то готов был показать им обнаженную правду, где прирост – не показатель успеха, а лишь отражение прошлых провалов. Привычные проценты разлетелись клочьями бумаги по полу, и ни одна новая формула не могла вернуть утраченное спокойствие.

Впереди много работы… Начну с нуля…

🕵️‍♂️ 2 акт. «Исчезнувший фрагмент»

- Мистер Учебник – Алло!
- Слушаю.
- Вас беспокоит детектив…
- Ой да ладно, а три цифры вам не назвать?
- Постойте, я хотел спросить про формулу прироста…
На другом конце повисла тишина… Лишь страницы нервно зашелестели.
- Пожалуйста, мистер! Приросты считаются неправильно…
- Я знаю… Но я просто делал свою работу… Мне сказали дать формулу, и не усложнять, я её отправил доктору Копипастову… А что было дальше… Вам лучше не знать… Прощайте…

Только не он…
Детектив сталкивался с доктором Копипастовым, да что уж скрывать, когда-то они вместе писали дипломную работу… Он был очень умный, знал всё на свете, но однажды в попытках скопировать самого себя, потерял оригинал… Детектив знал где его искать…

- О, а ты в детективы заделался?
- Привет, Док.
- Забыл меня?
- Я по делу. Я старался не вспоминать… Я перестал писать курсовые, я давно уже не студент, с меня хватит.
- Глупый ты, - доктор дружески похлопал детектива по плечу - Я всегда рядом. Что случилось?
- Формула прироста, она…
- Можешь не продолжать. Я хорошо помню эту историю… Мистер учебник прислал мне фото формулы. Я просто потерял модуль… Он не отобразился на том сайте, а дальше было поздно…
- Но ты же мог всё остановить?
- Ой, да ладно тебе. Всё равно никто не заметит. Хочешь сказать, что твой диплом кто-то читал…
- И то верно… Ты помог мне… Снова…

Детектив вышел на улицу и закурил. Хорошо всё таки иногда встретить старого друга…

«Ну вот и всё, а ты волновался. Просто иди и перепиши формулу на всех своих дашбордах. Тебе напомнить формулу ABS?»
«Да помню я» - отмахнулся аналитик.
«Значит можно успокоится и жить дальше» Мы засмеялись.

Думаю, можно снова вернуться в свой любимый кабинет и задумчиво смотреть в окно…
Но тут я услышал цокот женских каблуков…
И она испортила всё…
«Здесь обсуждают аналитику?»

Продолжение следует...
Девушка в комментариях 👩‍🏫

🕵️‍♂️Процент лжи
#детективнаяаналитика

1 акт. «Минус на минус»

В один туманно-серый вечер понедельника к детективу данных в дверь постучал встревоженный дата аналитик. Он держал в руках старый учебник по математике весь исписанный формулами и процентами.
«Привет, детектив! Тут что-то не так. Я анализировал продажи по формулам из интернета и книг. Но они нас обманывали! Формула неправильная.»

«Не может быть!» – сказал инспектор. Он подошёл к столу и взял учебник.
«(Текущее значение – Прошлое) / Прошлое значение»
Рядом была еще формула
«Текущее значение/Прошлое -1»
Детектив улыбнулся. Ему больше нравилась вторая формула, да и писать её быстрее – скобки не нужны.

«Так в чем проблема?» - детектив задумчиво посмотрел в зеркало…
«Всё правильно. Ты вчера продал на пять тысяч, сегодня на двенадцать. Твой прирост 140% - Молодец!»
«Это база её знать надо, — детектив, взял в руки старый советский справочник, — так нас всю жизнь учили." Затем он, зашёл в гугл и попросил у поисковика формулу прироста. И на всякий случай открыл первые три онлайн калькулятора: «Всё совпадает, что тут обсуждать?»

- Постой, - прошептал аналитик. - Я вчера продал не на пять тысяч… Был возврат, я продал на минус пять тысяч…
- Как такое может быть?
- Да тут сплошь и рядом, просто нужно погрузиться глубже…
- Об этом я не подумал… Ну давай свой онлайн калькулятор…

Детектив вбил цифры в знакомые поля калькулятора, и замер в ужасе…
«Ваш прирост равен минус триста сорок процентов…»
- Но мы же выросли…
Аналитик начал кричать, но детектив уже его не слышал…
Минус
Триста
Сорок
Процентов…

- Я Вам говорил! Нас обманывали…
- Тихо! И Успокойся!!! Мне нужна помощь чата GPT.»
- «Я уже здесь!» - в комнату заехал то ли чайник, то ли лампочка: «у меня все знания мира. Какой твой вопрос?»
– Дай формулу прироста продаж!
- Так вон она в учебнике… Мой ответ точно такой же. Ты зря меня позвал…
Раздосадованный детектив пнул по умной кофеварке… Бесполезная машина. Никакого критического мышления…

Надо успокоиться и подумать… Кто виноват, что же делать? Где найти зацепку…
Продолжение следует…

Да зачем вести учёт финансов в Экселе? 💰

Банковское приложение отлично само анализирует расходы 🧐

Моё банковское приложение... 😥

Самокаты и кусочек света в этом тёмном мире
#воспоминания

🛴 Начался сезон самокатов и все как один стали иронично шутить, что самокатчики зло и всё такое, и я вспомнил небольшой эпизод с работы, как раз до ухода в аналитику, когда этот жёлтый самокат от Яндекса возможно не дал мне сойти с ума.

🗓 Шёл 2022 год, весна, лето, осень. Настроение паршивое, денег нет, работа… Ой, как же я ненавидел эту работу. В тот момент в пятёрочке моя должность супервайзера в процессе реорганизации и мне предложили работу регионального менеджера по персоналу, которая по итогу трансформируется в HR BP. По деньгам лишь слёзы, переработки и нервы. До работы ехать чуть ли не полтора часа на машине, и чтобы хоть как-то сэкономить время стал кататься на метро. До станции «Пражская», а оттуда троллейбус на улицу Красного Маяка, где и маяка то никакого нет, да и не было наверное никогда. 🚩

✉️ Оставаться там не было никакого желания, и довольно долго я пытался трансформировать свои знания Экселя, во что-нибудь аналитическое, путём наверное тысячи откликов и скучных тестовых заданий.

В какой-то момент я попробовал прокатиться на самокате от метро на работу, и это без сомнения на несколько месяцев стало самым лучшим моим состоянием в текущий момент. Маршрут был построен через парк, на котором я с ветерком наматывал круги вокруг искусственно созданного пруда. Пять раз в неделю, туда, обратно а иногда и в обеденный перерыв я становился на колеса, и получал свои пять-семь минут свободы. Свободы от начальника, коллег, толкучки в вагоне, да и в целом от всех людей.

✍️ Лучшее что у меня было летом 2022 года? Конечно жёлтый самокат…

✏️Отзыв о курсе Алексея Смагина
Эстетика в графике с канала Сделай это красиво

Недавно проходил курс Алексея по датавизу 📈
Довольно быстро понял, что моей интуиции в построении графиков недостаточно, и нужно повышать свою насмотренность. Ну и как положено, ревью, разборы, споры)
Впечатления самые классные, опыт у Алексея крутой (работа в дата журналистике) и я неплохо так прокачался, очень доволен.
Вообще сейчас кажется странно, что этого блока нет в обычных популярных курсах, я бы его поставил в обязательно проходимые. Ты же аналитик, неужели все сводится к таблице?
Показать, рассказать историю на графике, тоже нужно уметь и практиковать. Да, не все можно реализовать в рамках динамичных дашбордов, но и этот блок мы затронули.
В общем информация топ, использовать обязательно. Теперь могу говорить, что Это база.

Примеры работ
Хоть моя дипломная работа в процессе, не могу не поделиться парочкой шикарных работ выпускников курса:
https://t.me/data_csv/1390 или эта https://t.me/data_csv/1566
Крутые темы про российские космические запуски и анализ творчества группы Radiohead

Визуализация данных это важно, и прямо рекомендую подписаться на канал сделай это красиво - там Леша рассказывает, как с помощью графиков профессионально доносить свои выводы до аудитории, так, чтобы их услышали.

Вы сюда пришли за серьёзным контентом? Только не сегодня. Представляю вам, случайно ❗️ получившийся график на Fine Bi, стиль дашборда "Винтаж" 🙄.

Назвал этот график "Кальян продаж" 🕺

Жена:
- я там пару книг заказала, там доставка бесплатная, тебе что нибудь взять? 😊

Я:
- Да, возьми мне парочку 📊

Курьер:
😳

Наконец то нормальный монитор для дашбордов ) видос затянулся, надо кое что доделать, того сего дождаться, этот провод не спрятан, тут бардак. В общем как обычно, но лишний повод заняться порядком ) но по прикидкам видос будет минут на 20) думаю это хороший знак)

Подумываю снять для Ютуба видео обзор рабочего места, так как работаю в основном дома. Было довольно много вариаций за последние года, и постоянное движение к рабочему месту мечты. Есть о чем рассказать. Регулировка высоты стола, внешняя вебка, уборка всех проводов, портативные мониторы, разные расстановки, неочевидные лайфхаки, ссылки и тд.
Рабочее место предназначено для использования тремя ноутбуками.

Может разбавлю эксель Ютуб чем нибудь около-айтишным и в дальнейшем.
Пока прикидываю сценарий и формат реализации.

Было бы интересно посмотреть?
https://youtube.com/@detective-data