TGViewer
Channel Public Channel
Детектив данных

Детектив данных

@detective_data

Канал про "Аналитику Данных" и мой путь в профессию.
Вкатился после 33
Ныне работаю BI аналитиком в "Комусе"
Бывший промышленный альпинист, военный юрист, оперуполномоченный, директор, торг представитель, супервайзер и даже HR BP.
Связь: @janet_noir
Subscribers
2.79K
Photos
272
Videos
6
Links
58

Showing posts older than #412 · Back to latest

Older Posts 17 shown
Post #411 1.87K
После этого дашборда, еще год назад меня стали называть "Виталий-Дашборд"
Суперсет намекает, что пора ставить ёлку
  • ☃ 20
  • 😁 12
  • 🎅 5
  • 🎄 2
Post #410 2.23K
🕵‍♂ видео обзор капсулы сна на работе.

Я ждал этот день и он настал, у нас в Комусе появилась капсула сна. Гибридный график стал более привлекательным.

А у вас на работе есть такие капсулы/комнаты отдыха/сна?
  • 🔥 20
  • 🤣 11
  • 😴 6
  • 👍 3
  • ❤‍🔥 1
  • 👏 1
Post #407 2.59K
Когда наконец-то добрался до nano banana
  • 😁 34
  • ❤ 7
  • ❤‍🔥 3
  • 🤣 3
  • 👍 1
  • 🔥 1
  • 👏 1
  • 🐳 1
  • 💊 1
Post #405 2.98K
  • 👨‍💻 5
  • 🐳 1
Post #401 2.89K
🍺 На днях залил сладким газированным напитком свою любимую клавиатуру Leopold FC900R на ультра тихих свичах и как следствие получил залипающие клавиши и в целом невозможностью печатать. 😱

😥 Самостоятельная чистка не помогла, и клавиатуру решил отдать на полноценную чистку, тем более за пару лет, вид у неё подустал. Позвонил в geekboards (не реклама), где я клавиатуру и покупал. Мне сказали везите - 2400 и мы спасём вашу клавиатуру за пару дней чистки и сушки, будет как новая.
По приезду в магазин, спросил могут ли они дать что-нибудь на замену, пока идёт чистка, мне ответили "легко" и бесплатно предложили модный последние пару лет 60% формат клавиатуры. "А и давай" - подумал я, оценив доброжелательность сотрудника магазина.😉

📎 Уж без цифрового блока я как нибудь поживу пару дней, люди то пользуются. Первое впечатление, вроде прикольно, чуть неудобно, но в целом и ладно. Чтобы нажать F4 нужно дополнительно зажать функциональную клавишу и использовать обычные верхние цифры. "Терпимо" - подумал я. До того момента когда мне не понадобились стрелки:
🫦 Тут их нет!
Первая мысль: "дооптимизировались!"

🧐 В общем чтобы включить стрелки - нужно тоже нажать на функциональную клавишу, и клавиши правее пробела превращаются в стрелки.

🥸 Я всё понимаю - но это было мучение. И как люди идут на это добровольно!
Помню кучу клавиатур перерыл, чтобы найти 100% блютус формат механики, очень уж люблю когда есть нампад, но избавится от стрелок- по моему это уже противоречит здравому смыслу)

👀 Очень интересно посмотреть на ваши клавиатуры, слышал что большинство пользуются клавиатурами ноутбуков! Удобство или привычка?

📱 Кидайте ваши печатные машинки в комментарии!
  • ❤ 4
  • 👀 4
  • 👍 3
  • 😁 3
  • 🔥 2
  • 🐳 1
  • 👨‍💻 1
Post #400 2.15K
⬆️Продолжение

➡️DAX НЕ НУЖЕН
➡️СВОБОДУ АНАЛИТИКАМ
➡️МОДЕЛИ ДАННЫХ В EXCEL ПЕРЕОЦЕНЕНЫ*

*Кроме моментов чтобы удобно и быстро посчитать в сводной "число разных элементов"


Сегодня утром перегрузил данные, добавил пару полей, Захожу в квери, проверил тип столбцов и понимаю, что в целом можно всю эту махину (с увеличенным количеством строк) загрузить без галки "загрузить в модель данных"
И да - всё заработало. И вычисляемое поле сводной таблицы активно, привычный синтаксис экселя, без лишних агрегативных функций, и пара миллионов строк под капотом

Ну всё думаю, можно писать пост опровержение - и написал его

⬇️
Довольный, создал нужные мне поля
построил сводную, накинул срез, включил и.....
📉Быстродействие...
как бы я не хотел этого видеть - я не смог это игнорировать.
с моделью и DAX'ом таблица работала куда шустрее 📈
пришлось переключаться обратно на модель

👎Так что поста-опровержения не получилось)
  • 🔥 15
  • 👍 10
  • 🐳 5
Post #399 2.02K
😴Новый навык разблокирован

Я сопротивлялся этому.
Я избегал это.
И сегодня я сдался.
Сегодня я открыл для себя бездну.

Power Pivot

Нужно было дать бизнесу сводную, в привычном формате, но количество строк стремилось к 10 млнам 🫡

Я сначала упорно строил сводные на питоне, и давал данные в агрегированном виде, но запрос был, чтобы фильтрация работала.
Раньше в подобных случаях я делал мини датасет на файне, в целом нормальная замена, но не самая быстрая. И хорошо работает если будет периодичность, и для разового запроса городить меры и новую таблицу на хд не хотелось.

Выход:
сохраняем данные в ткст, привязываем к Экселю как источник данных, добавляем в модель данных, и упарываемся в DAX который на первый взгляд больше похож на Файн биай, чем на Эксель.
Размер файла улетает в космос, но сводные строются, все корректно считается

➡️ В целом плюс строчка в резюме - специалист с опытом 5 лет, а там разберемся 😁

Ставьте 👍 если используете power Pivot в работе. Пишите комментарии
Ставьте 🙈 если из принципа не используете эксель и все что с ним связано.
Ставьте 🐳 если вы ничего не понимаете

PS: Уже ищу курсы, которые оплачу и брошу после трёх лекций 🫥
  • 👍 35
  • 🐳 32
  • 🔥 7
  • ❤ 6
  • 🙈 6
  • 🤯 2
  • 😱 2
  • 🫡 2
Post #396 2.69K
Возвращаюсь к вам с крутой рекомендацией — канал «Зачем мне эта математика» от Яндекс Образования 🧩

Авторы пишут про применение математики в реальных задачах: от архитектуры и искусства до машинного обучения и аналитики. Команда доступно объясняет и показывает, как строгая наука работает в реальных кейсах.

Эти посты показались мне особенно полезными:

- метрики и правила, которым они подчиняются
- линейная регрессия в работе ML-моделей
- откуда к нам пришли знаки =, +, –

А еще редакция регулярно публикует задачки для разных уровней: есть и попроще, и посложнее. Главное — всегда можно прочитать подробное решение и обсудить его в комментах.

Читайте, прокачивайте мозги и замечайте больше математики в повседневности!
  • 👍 12
  • 🔥 5
  • 🐳 5
  • ❤ 1
Post #394 2.58K
Наконец-то нормальные исследования

🏃‍♂‍➡️ Арахис vs Молочный шоколад 🏃

Залетаем на конкурс, для детей 6-11 лет по визуализации данных

ПС: а кто нибудь объяснит почему в жёлтой упаковке больше коричневого, а в коричневой наоборот перекос в желтую?
  • 😁 27
  • 👍 10
  • ❤ 8
  • 🔥 3
  • 🐳 1
  • 😎 1
Post #392 2.66K
1️⃣ Первый всероссийский конкурс по визуализации данных для детей

📎 А вот и коллаба о которой я говорил:
🤩 Пост для всех тех у кого есть дети (племянники) 6-11 лет.
🕵‍♂️ Буду в составе жюри и я рад участвовать в таком замечательном мероприятии!

Номинации:
Рисунок, Поделка, Диджитал

Сроки отправки работ:
до 30 октября

Что ждёт участников:
• крутые подарки - iPad, LEGO и ещё много всего классного
• обучающие эфиры, где диаграмму можно построить из игрушек или конфет (первый эфир на 20 минут уже в субботу)
• бонусы каждому ребёнку
• детский гайд по диаграммам при регистрации

Погнали вместе с детьми превращать сухие цифры в креатив!

Регистрация
  • ❤‍🔥 10
  • 🔥 7
  • 👍 4
  • 👏 2
  • 🐳 2
Post #391 2.35K
🕵‍♂ Сегодня у меня полтора года работы в Комусе.
Питон, sql, excel и Fine bi. Стали моими ежедневными друзьями, и я вспомнил как три года назад весной 2022 года, я вообще узнал о профессии аналитика данных.

Это было видео Андрея Noukash на Ютубе "Кем работать в айти на удалёнке?" которое и определило профессию в которую я решил вкатываться.
В 2022 году я ещё не знал, чем я буду заниматься, какую профессию выбрать и изредка баловался в Экселе, в эйфории от того, что знаю формулу ВПР.

В общем крутой канал, слежу четвертый год, а многие видео достойны чтобы их пересмотрели и по несколько раз, потому что даже через года не сильно потеряли свою актуальность, например:
Инструменты Ананалитика

🔍А когда и как вы первый раз узнали про профессию аналитика данных? Было бы круто почитать ваши истории.
#рекомендации #воспоминания
YouTube Кем РАБОТАТЬ в IT на УДАЛЕНКЕ и что для этого учить? Удаленная работа в интернете Получи 91 тыс на обучение профессии Android-разработчик в SkillFactory: https://clc.am/8wbiyg 💙 Больше информации о карьере в IT в моем Telegram-канале - подпишись! https://t.me/noukashblog В этом видео, я рассказываю про 9 профессий в IT на которых можно…
  • 🔥 33
  • 👍 8
  • 🙈 3
  • ❤ 2
  • 🐳 1
  • 🤝 1
Post #390 2.51K

Forwarded from Виталий

📚 Есть такой замечательный канал Data-comics
И я буквально не понимаю как на него нельзя быть подписанным. Всё что я люблю - исследования, визуал и юмор конечно.

Есть большой шанс на небольшую совместную коллабу, в скором времени будут новости.

Ну и по традиции подборки постов с канала:
- Данные о мировом неравенства в виде ожерелья:
- Паттерны дашбордов
- Подборка материалов про применение АИ в датавизе -
- Данные о ДТП - в виде смертельных цветов
#рекомендации
  • 👍 7
  • 😁 6
  • ✍ 3
  • 🔥 2
  • ❤ 1
  • 🍌 1
Post #389 2.31K
🕵‍♂️Сегодня питон поломал мне логику (снова)

Почему раунд(0) не округляет 2.5 до 3, а до 2 - и все вокруг молчат?
И вам всем нормально в пятницу вечером?
🙈

Ставь 🐳 если ты мидл который не знает как питон округляет числа

Банковское округление
Заходи в комментарий, чтобы прочитать почему.
  • 🐳 25
  • 🦄 6
  • 😁 5
  • 🤷‍♂ 3
  • ❤ 1
  • 👍 1
Post #388 2.13K
Я один так останавливаю код, или вы нормальные?
  • 🤪 14
  • 🫡 7
  • 😁 3
  • 🎃 2
  • 🤝 2
  • 🐳 1
Post #387 2.27K
Детектив данных Неделю назад статья на Хабре по суперсету, а сегодня онлайн доклад в Комусе по самостоятельному ограничению доступа к данным на суперсет с помощью Jinja, без использования групп и ролей. Пока готовился и статейка небольшая насобиралась. Волнуюсь жуть. UPD:…
🕵‍♂️ С удивлением обнаружил свою статью на хабре, которую я не выложил в тг канал,
как в суперсете нестандартно выполнить фильтрацию данных не с помощью ролей, а с помощью джинджы, мы будем смотреть на логин пользователя, и уже на основании этого выставлять фильтр на уровне датасета.

https://habr.com/ru/articles/938924/

Про этот придуманный способ, я провёл своё первое выступление на мини кофе в Комусе почти год назад 📚
#хабр #superset
Хабр Разграничение доступа к данным дашборда в Superset с помощью фильтрации на основе логина (снова Jinja) Всем привет! Зовут меня Виталий, автор тг канала Детектив данных про мой вкат в аналитику данных после 35. Сегодня мы рассмотрим достаточно нестандартное и простое решение, как ограничить доступ к...
  • 🔥 12
  • 👍 4
  • 🐳 3
Post #386
Детектив данных pinned «Приветствую всех участников группы! Меня зовут Виталий, и я рад поделиться с вами увлекательным путешествием в мир аналитики, Excel, SQL, Python через мой личный блог 📚 и небольшой YouTube канал! (Пост в ближайшее время будет редактироваться, создам расписание…»
Post #385 2.44K
📎Автоматизируем подготовку промтов для GPT: Python-функция для детального описания DataFrame

🕵‍♂️Следствие установило, что для получения качественного ответа (без загрузки базы в чат) часто приходится потратить довольно много времени на описание таблицы, где какой тип данных, примеры, формат, количество nan значений, диапазон дат и прочие нюансы.
Будто при допросе вместо описания преступника, следователь внимательно изучает все родинки у допрашиваемого лица. И у адвоката.
⏰В качестве жертвы у нас рабочее время, которое можно потратить на описание задачи.

В какой то момент я подумал, а почему бы не сделать универсальную функцию которая будет собирать эту информацию за меня, и до кучи сразу писать какой-нибудь усредненный промт (обычно писать мне его лень, и вы можете его подкорректировать под себя)

⬇️ В общем вашему вниманию представляю эту функцию.

Всё что нужно, это вставить код в ячейку, и в следующей команде указать ваш датафрейм. Принт выведет вам готовый промт с описанием вашей таблицы, расскажет тип данных каждого столбца, покажет примеры значений, диапазоны и количество пропусков, а заодно проверит датафрейм на дубликаты.

Простой пример на основе календаря, но в функции учитываются и числа с точкой.
prompt = generate_df_prompt(calend, "calend")  # Второй аргумент имя таблицы
print(prompt)

Сама функция в первом комментарии к посту

✏️ А как вы готовите промты для анализа данных? Делитесь вашими лайфхаками в комментариях. И ставьте 🐳 если используете ИИ.
  • 🔥 15
  • 👍 8
  • 🐳 4
  • 🥰 1
Older posts →
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →