Детектив данных

🕵 Всем доброго понедельника. Давно не писал. На работе тихо спокойно. В жизни тоже)

Решил поделиться новым для себя способом решения одной из рабочих задач.

😵 Достался мне по наследству один из отчётов. Большой не очень красивый, тяжёлый многоэксельный, и довольно полезный для бизнеса. Вроде все автоматизированно, через питон скрипт, но занимает много ресурсов и отвлекает от другой работы.

💸 И в один прекрасный день ты признаешься себе, что отчёт можно ускорить, сделать более удобным , добавить функционал и вообще перенести в bi систему, в моем случае на fine bi.

👿 Самое страшное, на самом деле начать и разобраться в чужом коде (по понедельникам и в своем коде страшно разобраться). Для помощи себе в этом нелёгком деле решил первый раз попробовать доску (рандомной доской оказалась доска от МТС). Можно постепенно идти по коду разбираясь что там происходит, в итоге понимая что скрипт то на самом деле белый и пушистый, что можно ускорить и переделать и наконец то сказать что этот отчёт становится не переданным по наследству а своим детищем )

👍 В целом, пост про доски.
Какими пользуетесь. Используете только на работе или в жизни? Какие сценарии?

🕵 Всем привет, что-то я давно тут не писал.
Чуть стрессую, депрессую, и вроде как даже встретил свою первую паническую Натаху.👾

Наткнулся тут на информацию о чудесной визе цифрового кочевника.🧑‍💻 Я конечно не кочевник (детям нужна оседлость), да и тем более не супер путешественник, но инфа то в целом интересная:

3 года шенгена, без налогов и обязательного проживания.

Условия – доход 💰 (найм/ИП) + накопления, стаж удалённой работы (от трёх лет) / высшее образование по профессии.

Суть, что страна принимает тебя, при учёте, что ты не будешь забирать рабочие места у местных, имеешь удалённый доход в среднем от 2-3 минимальных зарплат

И вроде всё классно, начал изучать документы на сбор, есть нюансы но в целом они решаемы.

Но всегда есть НО 🎁, и часть из них связанна непосредственно с работодателем

От работодателя нужно два документа

1.       Справка подтверждение о том, что работодатель не против что ты работаешь с территории конкретной страны удалённо.

2.       Приказ об отправлении тебя в длительную командировку за свой счёт (3-5 лет) нужен для Соц. Фонда РФ – чтобы получить «свидетельство об отъезде», о том что работодатель делает взносы в сфр и продолжает их платить на всё время твоей командировки. Есть даже действующие договора между странами которые регулируют вопрос соц взносов.

Но в современных реалиях не каждая компания, в том числе и моя, да и как я понял все бигтехи не готовы давать полную официальную удалёнку, а особенно из «недружественных 48 стран».

🔍 Сталкивались ли вы с этим, может кто получал кочевника в найме, или имеют офисы в других странах, или же все вокруг ушли на ИП, а один я тут сижу) 

🕵 Кстати залил библиотеку на гит, теперь я как настоящий программист, дарю свой код людям и нейросетям)

Чтобы воспользоваться , просто установите её в своем проекте:

# Сначала устанавливаем библиотеку 
%pip install git+https://github.com/detective-data/detective.git

# Затем вызываем и можем пользоваться
from detective import det_sum
import pandas as pd

# det_sum(ваш датафрейм без кавычек, "названия столбца для наблюдения в кавычках")
df = pd.DataFrame({'sales': [45534252384.01]})
det_sum(df, "sales")

😁 В целом эту идею можно развивать, и добавлять ещё какие нибудь функции для наблюдения за данными.

Ну что ж, будем думать )

🎉 Результаты розыгрыша:

🏆 Победители:
1. Никита данные: КН Нафлик
2. Виктория игра в цифры
3. Дмитрий Кристина в стране диаграмм
4. Natali основы Python
5. Неля Агата Кристи

✔️Проверить результаты

✨ А на канале прибавилось ещё 500 человек, а вы молчите)
💥 Спасибо что вы со мной!   
  
В этот раз для розыгрыша, решил добавить небольшой детектив (сколько можно учить питон?) и уникальный лот - детская книга по визуализации данных с пожеланием от автора книги (помните я был в жюри на конкурсе)

Итоги розыгрыша будут подведены автоматически через сутки. Будет выбрано пять победителей: каждый победитель в порядке очередности выберет себе любую книгу .
Если по какой-либо причине победитель откажется от приза, или не выйдет на связь в течении суток - книга будет разыграна среди подписчиков, оставивших любой комментарий к предыдущему посту.  Посылка будет отправлена ТК СДЭК. Никаких оплат не потребуется
  
Ещё раз спасибо всем! 🙏 
Жмём на кнопку!!! И через пару дней забираем книгу!

😉 Пост для лайков, комментариев и стикеров к розыгрышу.

Обращаю внимание что для участия в конкурсе нужно просто нажать на кнопку "Я в деле" в следующем посту, и быть подписанным на канал.

Комментарии будут задействованы если победитель откажется от приза

⭕️ И в честь того что нас становится все больше.
Объявляю о начале функционирования чата канала. Будет потихоньку расти (надеюсь с каждым новым постом))

✨ Вступайте в детективно-аналитический чат (а ещё лучше придумайте для него какое нибудь крутое тематическое название)
💎💎💎💎💎
https://t.me/+T65H7LoBL1s2NTdi

И включите уведомления чтобы не пропускать крутые посты)

Всем удачи! 🕵️‍♂️

Пс: как вам в этот раз подбор книг?)

Я конечно понимаю, работа.
Но созвон на 9 утра....

🕵‍♂ В жизни у каждого биайщика наступает момент (я так думаю), когда нужно срочно запилить дашборд с тёмной темой, как новый Северус Снейп от "HBO".

🥂 Вот и я выкатил в прод свой первый "black dashboard"

Ставьте ✨ если вы дитя подземелий
Или 👻 если вы адепт света

📎А вы когда нибудь строили тёмные дашборды?

👎🤫💯
ℹ️ℹ️ℹ️
❗️❗️❗️
‼️‼️‼️
ВСЕ ДАННЫЕ НА ДАШБОРДЕ ВЫМЫШЛЕННЫ И СГЕНЕРИРОВАНЫ СЛУЧАЙНО

🕵‍♂️ Сводка аналитического наблюдения за объектом таблицы.

👋 Всем вечера доброго - пишу из отпуска - тут замечательно, и сразу хочется написать какой-нибудь интересный пост!
#детектив_питонит

🔍 По работе довольно много времени провожу в питоне и абсолютно всегда нужно контролировать чтобы в процессе работы с данными - эти данные не упустить, и если так произошло, то понять в какой момент нужно за ними вернуться.

🔍 Самый простой пример это merge который при неправильном использовании умножит наши данные и groupby который эти данные сократит (при наличии NaN). Помню, на одном из самых первых занятий по питону лектор написал что-то вроде:

sum_df_sales = df['sales'].sum()
sum_df_sales

👨‍💻 Рабочий способ, но в повседневном использовании мне показался неудобным, когда число измеряется миллиардами, ничего кроме кучи цифр с "е06" на конце я не вижу. И сравнение работает только при повторном написании формулы с другой переменной и вычитания одной из другой, а для нормального форматирования числа еще нужно помучать print.

🧑‍💻 А еще постепенно с опытом, я стал приходить к написанию функций под себя, написал, закинул себе конфиг, импортировал один раз и пользуешься своими функциями во всех проектах сразу, не засоряя общий код кучей лишнего кода. Этим мы сейчас и займёмся:

📎 Функция detective_sum - покажет нам сколько денег в столбце, сохранит результат в переменную и посчитает разницу с прошлой проверкой.
✨ А что бы не было скучно - обернём нашу функцию в детективную оболочку.
🤔 Пусть у нас будет Аналитическая сводка, под наблюдением у нас как всегда будут данные, а вдохновением послужат хорошие и плохие российские сериалы про ментов.
Функция получилась очень простой, но наглядной, разберётся даже начинающий аналитик.

➡️ Статья для прочтения и готовый ipynb файл для теста, ждёт вас в первом комментарии.

👀 Спасибо за просмотр, жду ваших комментариев, ставьте ✨ если идея показалась интересной
😴 Используете ли вы свои функции, для удобства работы и чистоты кода?

Страх #34552
Перепутать чат гпт с рабочим чатом.

🧐 А у вас тоже бывает, если в выходной во сне придумали новый график классно подходящий по контексту, или какой-нибудь метод решения другой задачи, и с утра несётесь к компу, чтобы непременно прямо сейчас это реализовать?
🥸 Или вы нормальные?

Музыканты на месте? Сегодня был в офисе на переустановке винды, и пока был без компа заценил новую комнату "разрядки" )
Видео прилагать не буду, поберегу ваши уши

🐆 Ну теперь на тему бега как и обещал)

Благодаря детскому саду, я хотя бы выхожу из дома, но зима и грязь отбивают любое желания ходить куда то ещё 🥶

🕺С января стараюсь включить в свою жизнь зал и чередовать силовые тренировки с кардио, но конечно потеря времени ради часа занятия на беговой дорожке какие-то несопоставимые. Да и просто иногда нет сил (На самом деле всегда)

💃Ну и жена внедрила идею приобретения домашнего тренажёра (прямо как в фильме "Начало"), и я как обычно загорелся. Лишнего места в квартире особо нет, поэтому смотрел в сторону мобильных версий.
Краткая аналитика, учёт веса, размеров и других хотелок увеличили предполагаемый бюджет примерно в два с половиной раза.

🎠 Для справки сразу скажу модель
Orlauf Jay, если вес меньше 100 кг то можно рассмотреть Shrike. Цены везде разные, есть вариант попасть на неплохие скидки.

Короткий экскурс в беговые дорожки:
- Грузоподъёмность и скорость лучше брать с запасом
- Без ограничений (вертикальное и поручни) бегать опасно, но в целом кое-как можно ходить - такие лучше не брать, или как тут - два варианта использования - полноценный и сложенный с пультом
- Дешёвые и без нормальной гарантии лучше не брать вообще (тут два года)

👀 Теперь в ожидании выгрузок и на неважных созвонах без звука и камеры, можно вполне себе соединить приятное с полезным.