Заскуль питона (Аналитика данных)

🍪🍪 Готовишься к собесу по аналитике? Я обновил сайт.

🔽 По вашим комментам добавил следующие вещи 🔽

1. +400 вопросов в блоке подготовки к собесам, разбивка по сложности.

Больше вопросов для подготовки + добавление более софтовых вопросов по типу: "Как объяснить C-level структуру дерева метрик по продукту «маркетплейс товаров» на одном слайде?"

2. Новые крупные аналитические кейсы (80+) из разных сфер с примерами промпта в LLM.

Запрос для тренировки с LLM
Скопировать запрос
Ты — LLM-интервьюер для подготовки продуктового аналитика к собеседованию.
Кейс: Телеком: миграция на новый тариф и рост оттока.
Сфера: Телеком. Формат: Отток и сегментация. Таймбокс: 45 мин.
Контекст: Нужно понять, где причина: цена, ограничения тарифа или коммуникация.

Если такой формат — ок, попробую в дальнейшем прикрутить LLM, чтобы можно было прямо на сайте спрашивать по поводу решения кейсы. Можно будет тренироваться прямо на сайте с AI-интервьюером.

3. Маршруты сквозных собеседований.

Целостные сценарии интервью: от первичного скрининга до финальной рекомендации.

4. Больше метрик и группировка по типу метрик.

Активность
Динамика
Продукт
Удержание
Операционка
Монетизация
Маркетинг/финансы
Трафик
Банкинг
Контакт-центр
ииии...
Gambling / iGaming 🃏

5. Ну и конечно интересные вопросы в конце страницы "Кейсы".
Если бы ты тестировал мемы, какая была бы главная метрика?

Ставьте 🐳, пишите комментарии, что еще добавить, будем вместе изменять. Что нужно — пишите!

Нашли пасхалку на картинке?

@zasql_python

🤔 AI-Алгоритм оценит вас лучше, чем человек?

Перевод оригинала поста

Если бы в РФ на всех этапах была бездушная машина, было бы круто, наверное... 😱

Пока что максимум автоматизации, который я видел — это HR-скрининг.
Технические собеседования с полноценным использованием ИИ я почти не встречал. 😁 Я бы посмотрел на это

🔽 Делитесь историями, если сталкивались с AI в процессе найма 🔽

А вы как думаете, в ближайшее время можно будет отдать ИИ полный флоу собесов или нет?

🐳 — Да, скоро ИИ будет проводить собесы полностью.
🕺 — Частичная автоматизация (как сейчас), но не полный переход.
😮 — ИИ пока скорее вредит качеству найма.

@zasql_python

Как вы знаете, мой сайт довольно давно живёт своей жизнью.

Что бы вы хотели, чтобы там было?

Открыт к любым идеям (почти без ограничений 😄). Хочу сделать сайт по-настоящему удобным инструментом для вас, поэтому буду благодарен за любую обратную связь.

🔽 Ниже привёл примеры — но можете писать и свои предложения 🔽

— Больше бизнес-кейсов с возможностью подумать и принять решение

— Симулятор аналитика, чтобы можно было двигать задачи по спринтам и решать их

— Больше задач с собеседований, детальная разбивка по грейдам

— Больше материалов для продактов / MLE / DE

🥞 ИЛИ Добавь уже рецепт блинов, а то непонятно, как их готовить 🥞

А вообще, если вам сайт зашел / вы периодически посматриваете туда, ставьте 🐳, чтобы я понимал, что нужно оплачивать хостинг 😂

@zasql_python

Нашел на просторах интернета очень интересную вакансию. Ценности впечатляют, конечно.

Особенно понравилось следующее:

Отсутствие опыта работы в EPAM, аутсорс галерах, Web3, gambling.

А EPAM за что 😮, да и 🎰, почему...

Contribution to open source github repos, >10 звезд, >500 contributions за год

Сори, только в private.

Активный блог, twitter или телеграмм канал

Блог по ноготочкам и успешному успеху 💅


Опыт на Kaggle 🔑 тоже здесь. Видимо надо переключиться и начать жестко проходить Титаник.

А как вам вакансия? Делитесь историями, какие необычные ценности / требования встречались?

@zasql_python

👍 Чек-лист аналитика: какие вопросы задать к задаче

Что важно понять до того, как браться за решение практически любой аналитической задачи.
Этот чек-лист помогает не застревать по ходу работы, снижать количество лишней работы и закрывать задачи быстрее и качественнее.

🐳 Решил попробовать формат поста в виде карточек, если такой формат понравился — поддержите реакциями 🐳

👌 Если у вас есть Premium, вы можете бустануть канал — это бесплатно и занимает 3 секунды. Нам совсем чуть-чуть осталось до 10 уровня, хочу поставить обои!

@zasql_python

Нашел статью (как же я люблю такие статьи) про будущее аналитики данных в 2026, здесь представлены основные тренды.

Здесь ссылаются на этот источник, в котором говорятся следующие вещи (статья 2025 года на минуточку):

1. 70% аналитиков считают, что AI и автоматизация аналитики делают их работу более эффективной и продуктивной
2. 76% аналитиков до сих пор используют таблицы (Excel / Google Sheets) для подготовки данных
3. 45% тратят более 6 часов в неделю на очистку и подготовку данных

Я не смотрел детально как собирались выборки, мне просто продали цифры 👀 Не вижу ничего такого использовать определенные инструменты для подготовки данных. Тут это не говорит ни о чем. Последний пункт, скорее, да, чем нет. Инсайты могут получаться не сразу (если смотрим узкий сегмент, который не покрыт дашбордами), а только после написания нескольких скриптов, склеек и отрисовки графиков.

В дальнейшем тезисы будут строиться вокруг автоматизации и улучшении имеющихся процессов. Тренды, которые потихоньку проникают в нашу жизнь, но еще не во все компании внедрены.

1. Augmented Analytics and Automated Insight Generation
BI-инструменты сами находят аномалии, паттерны и причины. Аналитик всё меньше пишет запросы и всё больше думает над смыслом, интерпретацией выводов.

В ❤️, например, в DataLens уже есть и выводы по изменению метрик в различных срезах, я когда там работал, уже успел потестить — классная штука

2. Analytics on Streaming and Real‑Time Data

Не знаю, где здесь тренд, так как в компаниях где это нужно, уже давно занимались подобным, особенно, все что связано с алертингом по раскаткам фичей.

3. Data Fabric
Единый слой данных вместо кучи источников. Меньше времени на подготовку — больше на анализ.

Если есть DWH — класс. Учитывая, что это зарубежная статья, там как раз только приходят к некоторому в некоторых компаниях, да и в крупных в РФ в некоторых отделах тоже могут к этому приходить не сразу 👩‍💻

4. Вопросы к данным обычным языком
Text to Insight. Аналитика становится доступнее бизнесу.

Видел, что в одной небольшой зарубежной компании ребята реализовали чат-бот с RAG'ом на витрину и просто писали запрос, про подобное я писал с точки зрения реализации Text2SQL в 🖤, а тут сразу инсайты + гипотезы. Получается, аналитика занимается более стратегическими задачами, да, ведь? 🤨

👉 Подробнее можно прочитать тут

Мне лично нравятся тренды на ИИ-агентов и автоматизации процессов с помощью них, как будто пока что это основной хайп, хотя не во всех компаниях во внутреннем контуре можно такую историю себе поставить (Claude, Cursor) и нужно настраивать прокси... А так, если глобально смотреть, пока что ничего не меняется, смотрим дальше, может скоро будет переломный момент 😏

А вы как считаете, тренды поменяются в этом году или нет? Что по вашему мнению является ключевым для аналитика в 2026?
Сохранять здравый рассудок, наверное?

@zasql_python

Перед запуском проекта привлекайте всех заинтересованных лиц (ну или почти всех)

Это касается не только аналитиков, но и продактов, дизайнеров, разработчиков. Худшее, что может случиться с проектом — ты узнаёшь о процессе после продакшена и пытаешься понять, что вообще происходит.

1. Расширение бизнес-контекста. Круто, когда все в синке по продуктовым изменениям. На общих встречах понимать друг друга, кто куда движется и какие есть ограничения у систем при раскатке. Например, почему нельзя сразу катнуть на всех: лимиты инфраструктуры, неготовая аналитика, риск убить ключевую метрику — и это важно проговорить заранее, а не в разгар инцидента.

Практически любой человек, который работает в продукте должен его понимать, в том числе бизнесово

2. Возможность переложить бизнес-контекст на "свой" язык до фактической раскатки. Продумывая систему можно обрисовать примерный план действий. Аналитику нужно настроить систему алертинга, рассчитать метрики, придумать заранее срезы. Разработчику понять, что все события корректно логируется и сервис получает и отдает, что нужно. Потому что после раскатки начинается пожар: всё падает, метрик нет, логов не хватает, а отвечать нужно уже сейчас 🐸

Придумать план действий, задизайнить систему с заинтересованными лицами, понять сколько нужно делать шагов для нормально функционирования

3. Понятный список обязанностей на проекте. Казалось бы, что может здесь пойти не так. У дизайнеров свой вайб, у разработчиков и аналитиков тоже. Но есть часть задач, которые находятся на пересечении. Стоит это заранее обсудить перед запуском, так как возникнут сложности, либо несколько людей будут делать одну и ту же работу.

Если несколько человек делают одну и ту же задачу без договорённостей — это почти гарантированные расхождения и потеря времени

🥺

4. Меньше мисскоммуникации. Случается так, что между заинтересованными лицами случается следующее: делаем это, хотя нужно сделать вот это. Если продолжается часто, нужно задуматься над тем, а что вообще происходит и можно ли это пофиксить. Например, собрать общий синк и обсудить.

А у вас было такое, что вы узнавали о ключевом процессе уже после продакшена? Чем это закончилось — спасли или тушили пожар? Ставьте 🐳, пишите комментарии!

@zasql_python

🟡 ROC-AUC кривая. Метрика оценки качества модели классификации в машинном обучении

Да чего там делать пост, берешь sklearn, делаешь импорт из metrics и погнал. Чем ближе к 1, тем лучше => выбираем. Но давайте разбираться более детальною.

❓ ROC-AUC — это вероятность того, что наши положительные классы получили больший скор, чем отрицательные.

🔽 Пример: предположим, у нас есть следующая таблица.

| object | score value | y |
|--------|-------------|---|
| A      | 0.92        | 1 |
| B      | 0.81        | 1 |
| C      | 0.74        | 0 |
| D      | 0.63        | 1 |
| E      | 0.41        | 0 |
| F      | 0.27        | 0 |
| G      | 0.18        | 0 |
| H      | 0.05        | 1 |

✏️ Для каждого порога (в таблице значения) в отсортированной по скору таблице вычислим по строкам значения:

Для 1 строки считаем какие объекты попадают в score >= 0.92 — это один положительный класс. Среди всех положительных (4) => TPR = 1/4. При этом мы рассмотрели только один объект положительного класса => FPR = 0.

Для 2 строки считаем уже два объекта A, B. Это оба положительных класса. Среди всех положительных (4) => TPR = 2/4 = 1/2. Пока что объектов с классом 0 не попалось.

Для 3 строки считаем уже три объекта A, B, C. Смотрим на объект со скором >= 0.74. TPR по-прежнему = 1/2, а вот FPR увеличился, так как залетел новый объект с меткой 0. Среди всех отрицательных классов (4) => FPR = 1/4.

Далее считаем TPR, FPR для каждой из строк (Сколько объектов мы отнесли к положительному классу из всех возможных объектов класса).

По сути, мы отвечаем на вопрос: В скольких случаях скор, полученный по модели для положительных классов выше, чем для отрицательных.

Графически это выглядит как ступеньки (по оси X — FPR, по оси Y — TPR). При движении по трешхолдам для отнесения к классам смотрим как меняются значения TPR и FPR, кстати еще есть значения трешхолдов в самой библиотеке sklearn.

🧠 Чтобы посчитать вручную само значение:

Нужно взять все сочетания положительных и негативных классов и сравнить в каких случаях выше. Для нашего случая это:

1. A > C, A > E, A > F, A > G (пол.)
2. B > C, B > E, B > F, B > G (пол.)
3. C > D, C > H (нег.)
4. D > E, D > F, D > G (пол.)
5. E > H (нег.)
6. F > H (нег.)
6. G > H (нег.).

Считаем количество всех сочетаний: 16
Считаем количество правильных среди положительных: 11
ROC-AUC = 11/16 = 0.6875

✋ Ограничения в ML

1. Не учитывает цену ошибок (FP = FN по важности)
2. Не даёт порог для принятия решения
3. Ломается при сильном дисбалансе
4. Игнорирует калибровку вероятностей
5. Одно число скрывает локальные ошибки

🐍 Как можно применять для аналитики

1. Если есть модель и мы хотим определить есть ли сигнал в данных (ROC-AUC > 0.5). То есть позволяют ли наши признаки сделать модель такую, чтобы она была лучше случайности.

2. Понять, какие фичи улучшают разделение между TP и FP. Например, при добавлении фичи ROC-AUC увеличился => появился новый сигнал.

3. Проверка эвристики против модели. Оправдано ли применение ML-модели в принципе или достаточно эвристику.

4. Сравнение сегментов / источников сигнала. Задача: понять, где модель работает.

5. Оценка классификации по неделям. Понимаем, что ROC-AUC по неделям деградирует => нужно добавить больше признаков для обобщения.

6. Сравнение разных таргетов. Один таргет лучше отделяется => он более предсказуем и устойчив

Если коротко: ROC-AUC отвечает на вопрос есть ли сигнал, а не как принимать решение

Понравился пост? Ставьте 🐳, пишите комментарии!

@zasql_python

😁 Нашел себе занятие на выходные... на ближайшие N месяцев

💻 Забрал сегодня предзаказ книги Валеры Бабушкина и Арсения Кравченко по машинному обучению на русском языке.

Буду периодически закидывать сюда свои мысли по прочитанным материалам, формировать конспекты.

Если вам интересно, отреагируйте на пост реакциями или комментами 🐳

Кто-то успел ее уже прочитать на английском языке? Как ваши впечатления? Делитесь 🍪🍪

@zasql_python

Проблемы с фокусом во время работы — это не лень

Вы погружены в задачу, хочется ее решить.
Голова работает.
Но...

1️⃣ Вас выдергивают на важные встречи.
2️⃣ Вам спамят личку и спрашивают, какой статус по задаче
3️⃣ Вы думаете, что задачу нужно отдать идеально
4️⃣ Вы переключились на другую вкладку и в итоге забыли, зачем открывали
5️⃣ Параллельно вы начали делать другую задачу

И под конец рабочего дня задача не сделана, вы устали, чувствуете вину

Фокус ломается не из-за лени, а из-за среды и когнитивной перегрузки. Это проблема неправильной организации внимания.

🟢 Должен быть четкий объект фокуса. Нужно себе ответить на вопрос, над чем сейчас работаешь, чтобы явно себе понять, на чем нужно сфокусироваться.
🟢 Отключить ненужные уведомления. Нам кажется, что мы постоянно должны впитывать любую информацию. Но любая информация — это потеря фокуса на основных задачах 🔕
🟢 Выбрать оптимальную технику для фокуса. Это может быть Pomodoro, Deep Work, Pomodoro 2.0 даже. Техники бывают разные, в Яндексе я старался работать по Deep Work и это было эффективно. Сейчас выбираю для себя Pomodoro 🍅
🟢 Убрать мелкие выборы. Иногда себя ловлю на мысли о том, а какую вкладку нужно открыть (особенно, когда их много). Ранее слышал, что любое принятие решение тратит когнитивные силы, поэтому убираем 🤔
🟢 Фиксировать момент потери фокуса. Вы отвлеклись на другое дело? Это важно, потому что фокус теряется не случайно.

📺 Кстати, у Андрея было классное видео про то, как он вернул себе фокус на задачах

Еще из прикольного: там говорится о разгрузке мозга с помощью любого текстового документа, физическую активность...

📕 В видео еще было упомянуто про исследование, в котором говорится о том, что постоянное переключение между потоками информации делает мозг менее способным сосредотачиваться и игнорировать отвлекающие раздражители, что ухудшает когнитивный контроль и рабочую эффективность. Интересно, что на некоторых местах работы считалось базой делать несколько задач одновременно. Все теперь понятно...

А как у вас с фокусом? Теряетесь или все в порядке? Ставьте 🐳, если пост понравился, делитесь с теми, у кого проблемы с фокусом

@zasql_python

Что ж, всех с понедельником! Календарь забит важными встречами, просьба не отвлекать по всякой ерунде 😂

А как планируете провести эту неделю? И этот день?

Я:

— Хочу отлично поработать и закрыть задачи спринта с фулл-фокусом. Посмотрим, на мое состояние в пятницу 👀
— Написать пару постов на неделю
— Сходить в тренажерный зал, делал перерыв. Чувствую, что без него, стало тяжелее жить
— Порешать задачи на Степике, кстати, планировал выпустить второй пост с подборкой курсов, ставьте 🐳
— Пересмотреть записи лекций и семинаров с учебы в магистратуре. Надеюсь, там будет еще что-то полезное.

А у вас как по плану? Работа, сияние или сразу царственно отдыхать? 😌

@zasql_python

[СТАТЬЯ] Покоряем гору временных рядов: делаем прогноз для 200+ рядов с библиотекой Etna

У Магнит OMNI ❤ 19 января вышел туториал для новичков по временным рядам с использование библиотеки ETNA

Ниже короткий разбор, что в ней есть 👇

1. В статье начали с наивных прогнозов последним значением, а далее начали применять библиотеку ETNA
2. Сравнивали несколько моделей по WAPE (абсолютной взвешенной ошибке)
3. Показали как применить пользовательские преобразования (в примере — создание линейного тренда для модели линейной регрессии) ✏️
4. Выделили блок про стандартизацию данных для оценки временных рядов (в целом, это нужно для соразмерности сравнения ошибок между моделями).
5. Уделили время аномалиям (что они влияют на прогноз и как фреймворк может их обнаруживать).
6. Какими значениями можно заменять аномалии (в примере — предыдущее значение).
7. Далее указали, что проблема может быть в точках изменения тренда.

Новичкам, которые работают с временными рядами, зайдёт. Это скорее инструкция по возможностям библиотеки и типовым проблемам: аномалии, точки перегиба, оценка качества и т.д.

Сам сталкивался с проблемами аномалий и точек перегиба — в статье это подсвечено.

Если вдруг будет интересно, можно попробовать собрать пару постов по прогнозу временных рядов, если увижу много 📈 (давайте попробуем 150+).

Можно для интереса залезть в комменты, там один из комментаторов говорит про фильтр Калмана (по пропуску пропущенных значений) и ссылается на статью, в которой сравнивают с простыми методами замены пропусков (при линейной динамике показывает меньшую ошибку восстановления пропусков).

А как у вас дела с временными рядами? Успели с ними поработать и что-то спрогнозировать? Делитесь в комментариях

@zasql_python

Как правильно входить в собеседование

Оригинал поста

Ладно, тут не только про шашлыки

🙊 Комментарии к посту

А потом этот чел шашлычник напишет здесь 10 постов что рынок не тот, его, короля, не берут на работу)

Не вижу ничего плохого в том, что такие кандидаты сразу освобождают место для более внимательных и заинтересованных кандидатов :)
Да и для компании хорошо - лучше всё сразу понять на собеседовании.

Так в чём неуважение-то проявляется в случае с шашлыком? У меня в 2025 году вообще было 2 собеседования в ресторане. И что тут неуважительного? И вопросы позадавали, и поели вкусно.

А вы что думаете? Норм шашлыки делать на собесе или стрем?

🍢 — норм, можно показать на практике многозадачность, критическое мышление и умение жарить шашлыки.

👎 — стрем, кандидат должен быть вовлечен в собеседование и это смущает вообще. Хочется быть "на равных".

@zasql_python