Аналитика данных / Data Study

Задумываетесь ли вы, что AI-агенты уже сейчас сами принимают решения в физическом мире?

И я хочу сказать, что это происходит в крупных бизнесах, которыми мы с вами пользуемся ежедневно

Послушал доклад Станислава Макеева «AI-managed Лавка: как AI становится управляющим слоем физического мира»

Главные мысли, которые зацепили:

🎒 Самой Лавке уже 7 лет и, как и любой оффлайновый бизнес, она обросла множеством процессов, завязанных на людей. Встроить в эти процессы AI-агентов становится непростой задачей, поэтому внедрение идет постепенное: сначала AI-агент дает рекомендации по процессу, супервайзер валидирует эти решение. Потом, AI можно отдавать принятие решений и валидировать их на более высоком уровне через бизнес-метрики и других агентов.

🎒 Второй подход - это представить, что Лавка строится с нуля, но есть предыдущий опыт и текущие технологии. Таким образом выделяется поле для эксперимента. И это уже не «натянуть AI на текущие процессы», а сделать, где это возможно, AI-managed решение с учетом всего опыта и общего контекста компании

🎒 Я уже слышал от знакомых, что в Яндексе экспериментируют с применением AI в продуктовых командах. И судя по докладу этот эксперимент показывает, что в принципе граница между профессиональными ролями может стираться:при наличии соответствующих AI-инструментов backend-разработчик может писать front end, или наоборот, или брать на себя менеджерские задачи. А эффективность таких команд возросла втрое . При этом багов и обращений в поддержку не увеличилось.

Отдельно Станислав подчеркивает с какими трудностями они сталкивались на всем пути и как их решали. Рад, что мы живем в таком времени стремительного развития технологий. И тот кто за ними следует, обязательно останется востребованным 😎

Команда DevCrowd запустила ежегодное исследование специалистов по работе с данными.

В этом году фокус на том, как меняется профессия: что AI реально сделал с составом работы, где проходят границы между дата-сайентистом, ML- и MLOps-инженером, что происходит с порогом входа в профессию и рынком труда. Часть вопросов задается третий год подряд, что дает реальную динамику, а не просто срез.

Опрос анонимный, у меня занял до 15 минут. В ноябре ребята опубликуют отчет с результатами.

Пройти опрос здесь ➡️ https://survey.devcrowd.ru/data-2026

🎯 Задача с собеседования

Есть таблица transactions с транзакциями клиентов. Для каждого клиента нужно посчитать выручку за последние 90 дней, а также долю выручки от топ‑3 категорий в этой сумме. При этом в отчёт должны попасть только клиенты, у которых общая выручка за период больше 50 000 ₽

Это часто попадающиеся формулировки задач на интервью, здесь проверяют сразу несколько вещей — работу с датами, оконные функции, агрегацию с фильтрацией по результату и умение не усложнять запрос лишними слоями.

Решение:

WITH client_stats AS (
    SELECT
        client_id,
        category,
        amount,
        SUM(amount) OVER (PARTITION BY client_id) AS total_client_revenue,
        RANK() OVER (
            PARTITION BY client_id
            ORDER BY SUM(amount) OVER (PARTITION BY client_id, category) DESC
        ) AS category_rank
    FROM transactions
    WHERE created_at >= CURRENT_DATE - INTERVAL '90 days'
)
SELECT
    client_id,
    total_client_revenue,
    SUM(amount) FILTER (WHERE category_rank <= 3) AS top3_categories_revenue,
    ROUND(
        100.0 * SUM(amount) FILTER (WHERE category_rank <= 3) / NULLIF(total_client_revenue, 0),
        2
    ) AS top3_share_pct
FROM client_stats
GROUP BY client_id, total_client_revenue
HAVING total_client_revenue > 50000
ORDER BY total_client_revenue DESC;

Если сразу решишь такое на собесе, покажешь свой сильный навык в SQL: ✅ Фильтрация по итоговой метрике через HAVING — сразу видно понимание разницы между WHERE и HAVING. ✅ Доля топ‑3 считается без отдельного подзапроса — логика в одном слое, легко читать и поддерживать. ✅ Используется FILTER для наглядности и эффективности, а NULLIF страхует от деления на ноль. ✅ Работа с окном по 90 дням и ранжирование категорий — типичный паттерн для продуктовой аналитики.

Ставь реакции если пост полезен 😉

Автоматизация процессов - одна из самых популярных задач аналитиков, это подтверждают и опросники.

Это очень точно подметили в подкасте «Доверительный интервал». Но самое интересное в том, как аналитики уже используют AI для своих задач. 

Очень близка мысль от Саши Исакова (руководитель группы разработки аналитических ИИ-решений в Лавке) про Knowledge Base. Это единое место, где описываются данные, метаданные, методологии расчета метрик, созданные дашборды и многое другое.

Это позволяет использовать все накопленные знания и работы аналитиков для использования в AI-инструментах.

Представьте, у вас есть чат с ИИ, который в курсе всего, что сделала когда-либо ваша аналитическая команда. И это может ускорить работу самому аналитику над написанием новых скриптов, поиском данных, разработки дерева метрик. Так и снять с него часть рутины, например adhoc-задачи, ответы на вопросы в чате и высвободить это время под творческий подход и исследования!

И в этом у меня сильно перекликается мысль с подходом к Data Governance - это управление данными, которое с развитием AI приобретает очень высокую важность. Не просто какие таблицы в хранилище, а описанная информация о том, какие данные лежат в таблице, какие метрики из нее считаются, какие витрины и отчеты строятся и т.д.

Но всегда есть нюансы) Даже если будет такая супер-идеальная база знаний, всегда найдется костыль, технический долг или бизнес-договоренность, о которых лучше знают люди на местах - сами аналитики. И вот без учета таких деталей не получится переиспользовать вслепую весь описанный Knowledge Base в соседней команде или, например, бизнес-подразделении, потому что там своих нюансов будет много 😅

Аналитики - это хранители нюансов и деталей о текущем аналитическом подходе. AI - это помощник аналитика, который может ускорить работу и закрыть рутину, учитывая все эти нюансы с его внимательным контролем.

«Пока отложу обучение, т.к. нет сейчас возможности применять это на работе»

➡️А может ты не видишь возможность, потому что не знаешь как ее реализовать?

➡️Может ты сам не можешь создать эту возможность и поменять подход к работе, потому что насмотренности нет, которую обучения дают?

➡️Может ты не можешь найти другую работу, потому что не хватает тех самых навыков, которые пока откладываешь изучать?

Лично мне приходят идеи как применять тот или иной навык после того, как я на обучении пойму на примерах и практике как другие люди используют это.

И после у тебя открываются глаза как-будто шире, начинаешь видеть и притягивать возможности к себе, а не «ждать» когда меня спросят и после этого идти учиться этому.

У маленьких детей кажется больше желания узнавать новое и находить тут же этому применение, чем у многих взрослых, к нашему сожалению.

Представьте, врач подходил бы так к своему обучению. К нему пришел пациент, а врач ему скажет: «ой, я этого не знаю, раньше потребности не было. А вот сейчас появилась, пойду ка обучусь сначала, а потом вас вылечим.»

Впитывайте из своей сферы в себя все как губки, если это пересекается с вашими целями развиваться, но даже если вы на текущий момент не видите этому применения здесь и сейчас, пока мозг не засох!

простая уловка с алиасами колонок в SQL

дело в том, что обычно СУБД названия столбцов таблицы воспринимают на латинице в нижнем регистре. А если нужно использовать смешанный регистр или перейти на кириллицу, то нужно применять кавычки.

COALESCE(cost, 0) AS CurrentPrice — колонка будет в итоге в нижнем регистре currentprice

COALESCE(cost, 0) AS "CurrentPrice" — колонка будет с названием точно таким как его указали в кавычках

COALESCE(cost, 0) AS "Текущая цена" - или так сразу на русском задать название для выгрузки, а не менять его потом в Python или вручную.

Как усилить навыки, чтобы получить повышение 💰 уже в ближайшее время

Бизнесу важен результат. И чем быстрей и лучше может дать результат сотрудник, тем больше ему готовы платить.

А теперь сравните 2 сотрудников:

Петя - умеет писать SQL запросы, выгружать результат в файлы и вручную собирать из них отчеты. Если задача сложнее, то придется писать ТЗ на другой отдел, чтобы реализовали задачу.

Маша - умеет работать как Петя, но может делать лучше. Она автоматизирует те задачи, которые понимает что должны выполняться периодически. Если ей нужно построить отчет, для этого она сама может собрать данные, обработать их, подготовить отчет и поставить весь этот процесс на автоматику. Ей не нужно тратить время на ТЗ и ждать выполнение задачи от другого отдела.

Кто в рамках одной компании из этих сотрудников имеет все шансы получать больше другого?

Конечно Маша. Результат для компании и в том и другом случае будет идентичный - конечный отчет. Только Маша сделает всю работу сама, а Пете придется привлекать кого-то еще (а это тоже деньги компании между прочим за время работы другого человека) или он в целом будет не в силах сделать такую задачу.

Чтобы быть в этой ситуации как Маша, приглашаю тебя на курс "Продвинутый SQL и автоматизация витрин данных". Старт уже сегодня!

✅ закрытое сообщество учеников
✅ 13% налоговый вычет
✅ возможна оплата от компании
✅ если запланирован отпуск или нужно подвинуть сроки, всегда можем договориться заранее

Вся правда про текущий рынок трудоустройства

Олег, ученик июльского потока курса, столкнулся с реальностью текущего рынка труда.

Рынок работодателя это:
- высокий конкурс на вакансию
- компания управляет вилкой зарплаты и находится в более сильной позиции чем кандидат, потому что желающих много
- меньше «хантинга» и предложений в личку, активность идет больше от соискателей работы

Поэтому компания чувствует себя так скажем «вальяжно» в плане выбора кандидатов и это сказывается на скорости их обратной связи.

ПОЧЕМУ МОГУТ ВЫБРАТЬ ДРУГОГО, А НЕ ТЕБЯ?

Не надо сразу искать изъяны в себе, с тобой и твоими компетенциями может быть все хорошо.
Но вот несколько хотя бы примеров, которые могу повлиять на выбор:

- человек оценивает себя ниже чем ты. В виду всех прочих равных конечно компания захочет сократить затраты на те же задачи

- отвечали более уверенно, без стеснения, произвели по soft-навыкам лучшее впечатление

- показался более релевантный опыт просто по набору компаний. Есть такое например в банках, что возьмут кандидата с опытом работы в банке, чем например даже более опытного по годам кандидата

- человеческий фактор. Когда принималось решение или было собеседование, человек, принимающий решение, мог быть не в духе, а это сильно отражается на принятых решениях, к сожалению

- Возраст, ваше местоположение, возможность работать на гибриде. Да, у каждого опять же принимающего решения человека есть свои установки и картинка кого он ищет, поэтому даже не профессиональные факторы могут сыграть как нам в плюс, так и минус.

ОБРАЗ ИДЕАЛЬНОГО КАНДИДАТА ПО МНЕНИЮ КОМПАНИЙ 😁

- молодой человек 25-30 лет. В декрет не уйдет, желательно с военным билетом, в армию не загребут.
- 2 высших образования
- живет в Москве и готов ездить в офис сколько ему скажут. Часовой пояс самый удобный
- Готов работать за «спасибо» и печеньки в офисе. А о повышении вообще не должен говорить ближайшие 5 лет работы - это табу.
- При этом минимум 10 лет опыта, из них 5 лет в БигТехе
- Желательно со своим ноутбуком, чтобы деньги на выдачу техники не тратить
- Не зумер, но и не бумер, чет среднее, чтобы в тиктоке не сидел, но и мозги пока работали и новый материал быстро усваивали

Походите под идеальный образ? 😆


А вообще хочу поздравить Олега, он трудоустроился и сейчас проходит испытательный срок. Желаю успехов! 🎉🎉🎉

#кейс

Кейс с собеседований на SQL

В истории заказов хранится несколько строк на один order_id с разными статусами и датами обновления. Необходимо оставить строки с последним актуальным статусом, не применяя JOIN.

➡️ Решение: используем ROW_NUMBER(), чтобы пронумеровать версии по дате и взять последнюю актуальную

WITH ranked_orders AS (
    SELECT
        *,
        ROW_NUMBER() OVER (
            PARTITION BY order_id
            ORDER BY updated_at DESC
        ) AS rn
    FROM orders_history
)
SELECT
    order_id,
    status,
    updated_at,
    amount
FROM ranked_orders
WHERE rn = 1;

Оконные функции всегда помогают в работе с историческими данными, выявлением актуальной строки, удалением дублей, а также задачами версионирования строк.

Ставьте реакции, если стоит делиться больше задачами с собесов аналитиков и аналитиков-инженеров

Больше технических заданий на курсе - старт 14 сентября

Такая мысль крутится

Все чем мы пользуемся, создано другими людьми. А эти созданные продукты собраны на компонентах, созданных еще другими людьми. И так множество шагов вниз, пока не дойдешь до ФИЗИКИ.

Например, я как аналитик пишу SQL и пользуюсь для этого программой DBeaver .

🔹Я - пользователь, а есть разработчики и аналитики этой программы.
🔹Дальше эта программа работает на операционных системах. У каждой системы есть свои разработчики и аналитики.
🔹Сами операционные системы работают на девайсах (ноутбуки, телефоны и т.п.). Девайсы разрабатывают огромное число вовлеченных в процесс людей - инженеры, конструкторы, дизайнеры и т.д.
🔹Девайсы собраны из компонентов: процессор, память, экран батарея и т.д. Каждый компонент - это отдельный сложный процесс производства с своими умными людьми.
🔹А дальше самый интересный и загадочный уровень - ФИЗИКА. Чтобы любое физическое устройство работало, его должны изобрести, изучить физические законы и свойства, на которых строится его работа. И каждый элемент памяти, процессора, электроники сам по себе максимально сложен конструктивно и сочетает десятки законов физики и математики внутри себя.

Вы только вдумайтесь! Большинство людей - это пользователи конечного продукта, в котором столько работы спрятано и мы об этом даже не задумываемся. И теперь с этими мыслями чувствуется сколько мы всего не знаем, и все равно можем считать себя образованными и достаточно умными, хотя находимся на самом верху этой "технологической матрёшки". И насколько ученые-исследователи находятся вообще в другой вселенной от всех нас 🤯

Нам пришлось сломать стандартный подход DWH, чтобы повысить качество данных

Кажется странным, да? Вроде стандарты создаются, чтобы улучшать подходы, процессы, продукты. Но в нашем случае привычный подход просто не работал.

Мы всё время не сходились по количеству пользователей и актуальности данных между источником и DWH.

Дело в том, что нужная нам таблица отличается от всего остального. Стандарты DWH заточены на событийные данные, где каждое событие хранится в своей строке или одни типы событий агрегируются по части полей.

Но у нас одна строка должна содержать и агрегировать внутри себя множество событийных данных клиента из разных источников: регистрации, авторизации, удаления, коммуникации, установки приложений и т. д.

Стандартный подход DWH: инкремент по дате.

Наш подход: инкременты по дате каждого типа событий + общий инкремент по ID пользователей, исходя из первых инкрементов.

Так мы перестали терять апдейты, а данные выровнялись и по количеству, и по актуальности с системой-источником.

Вот так переход от очевидного и принятого решения сделал наши данные чистыми и правдивыми для всех команд компании, хотя даже сейчас этот скрипт витрины выглядит неординарно по сравнению со всем остальным репозиторием :)

Ещё больше таких историй о нестандартных решениях будет обсуждаться в зале «Ломаем шаблоны» на конференции «Продукты 24 × ffdd2d».

Из интересного мне хочется послушать доклад «Почему хорошие решения не всегда рождаются по правилам» от Максима Кирилычева.

Обязательно зарегистрируйтесь и приходите 12 сентября в Москве, в комплекс «Мечта» на набережной парка Горького.

Каждый день сталкиваюсь с какими-то трудностями с доступом к сервисам. Сейчас вот Cursor перестал работать на территории РФ, теперь только под впн отвечает(

Сами впн постоянно меняются, бывают частично недоступны и это вызывает кучу неудобств для ведения канала, а вам для чтения.

Основной канал все равно планирую вести здесь, но настроил все таки репостинг в MAX. Кому там удобней читать материалы без танца с бубнами, велком

Канал в MAX

🎯 Всего один фактор в разы увеличивает успех прохождения собеседований


Это не накрученный опыт, ИИ-агент или зубрежка теории.

➡️Это уверенность в себе: в своих знаниях и своем практическом опыте.

Недавно получил сообщение от ученика с курса, он сейчас проходит технические собеседования.

Потому что когда не делал вживую все равно чувствуется неуверенность. А когда хотя бы раз сделал сам или по примеру то другое дело. даже сложный дашборд готов был сверстать хоть из таблицы хоть с построением витрины)))

За виды витрин и типы обновлений так рассказал,как будто каждый день делаю.

Именно это чувство «как будто делаю каждый день» и есть главный маркер сильной кандидатуры и уверенности на собеседовании. Когда не просто догадываешься или размышляешь как сделать задачу, а когда ты уже прожил подобный опыт и рассказываешь как это сделал бы повторно. И заметьте, для этого не обязательно иметь коммерческий опыт в компании, нужен хороший и качественный практический трек в рамках обучения. Будь это самостоятельный проект, практический курс, занятия с практикующим ментором или другой вид практики.

Рекрутер и техлид считывают уверенность моментально: перед ними не человек, который зубрил теорию в ночь перед интервью, а специалист, который уже «трогал» задачу руками.

Вот почему практика решает и для наглядности приведу примеры с технических собесов:

🔹 Ты не просто знаешь про типы обновлений SCD, а можешь с ходу объяснить, чем SCD2 отличается от SCD3 на примере витрины клиентов — потому что сам настраивал логику версионности в проекте.

🔹 Ты не пугаешься слова «автоматизация»: если спросят про выгрузку или оркестрацию, ты не теряешься, а спокойно говоришь про пайплайны, зависимости и обработку ошибок — ведь уже делал первую автоматизацию в рамках своей практики.

🔹 Когда на собеседовании дают кейс «сверстай отчёт по выручке», ты не придумываешь план из головы, а предлагаешь: «Сначала схожу уточню требования, потом исследую данные и проверю их на качество и возможность покрыть требования к отчету, сделаю логику для сбора данных, потом рассчитаю метрики, потом визуализирую».

Именно поэтому в своем курсе я не даю абстрактных примеров. Мы идём по реальному пайплайну: от staging до витрины, от SQL-запросов до дашбордов в BI. Ты решаешь задачи, которые реально встречаются в вакансиях DWH-аналитика и Data Analyst: миграции, дедупликация, построение метрик, оптимизация запросов, работа с оконными функциями и рекурсивными CTE. И к моменту собеседования у тебя уже есть не просто знания, а опыт — и, как следствие, уверенность.

Присоединяйся к практической группе, старт 14 сентября

В группе будет:
✅ работа в инструментах, которые спрашивают на интервью (SQL, Python, ETL, DWH-архитектуры, BI);
✅ код-ревью и фидбек по твоим решениям;
✅ выполнение реальных рабочих задач аналитика