Data Bar | О data-проектах

AI не готовность - пост о том, как препарируем доменные данные и контекст в Авито

Антропик напомнил всем кто забыл, что Text2sql бесполезен, если он не шарит в данных домена. Мы догадывались.
Одна из тестируемых тут идей - AI-ready score в целях тимлидов доменов.

Это булевые проверки условно трех групп:

- Роли и в домене (BI-партнёр, Куратор метрик, AI-чемпион). Скучный компонент, но без гавернанс-людей никак;

- Разметка каноничных объектов. Смотрим, что доля трафика через сертифицированные здоровые витрины, деши и метрики не ниже таргета.

- База знаний домена - 11 типов контекста в репозитории: FAQ с ловушками, глоссарий, lineage, примеры text2sql, eval-кейсы, деревья метрик и др.
Генерация этого контекста - это тоже скилл, встроенный в работу - решил задачу -> закинул агентом PR в базу контекста. Автогенерённые объекты засчитываются только после ревью.

Всё это пока про покрытие.
Качество сразу после: golden sets по типовым задачам + трейсы от AI-дежурных дают базу для тюнинга.
Будет понято, какие эвалы фейк, какие знания - балласт.

AI-дежурные и ассистенты это морковка спереди, рост доли их успешно отвеченных эдхоков в чатах - мотивация вкладываться дальше в контекст.

Замеры в этой части пошарю позднее.

Если интересно включится - все еще есть вакансии в BI

Трансформация HR в ближайшем будущем

Компания Boston Consulting Group, совместно с World Federation of People Management Associations выпустили отчет "Four Power Moves for the CHRO", в основе которого исследование на базе опросов более 7 000 респондентов по всему миру.

Они сделали очень простую, но мощную вещь:
разложили 28 HR-направлений по двум осям:

〰 насколько мы хороши в этом сейчас
〰 насколько это будет важно завтра

В заглавной картинке - диаграмма, где по X - текущие возможности компаний (от большего к меньшему), а по Y - важность направлений в будущем.
Каждая точка на диаграмме - HR-направление.

Зоны на диаграмме:

🔴 красная зона.
То, что критично для будущего, но сейчас у компаний мало компетенций

🟡 жёлтая зона.
Где средние значения важности в будущем и текущих возможностей

🟢 зелёная зона.
Где уже всё работает, но в будущем преимущества не даст

Главный инсайт диаграммы: HR долго оптимизировал процессы (найм, администрирование, wellbeing). Но сейчас важнее другое. Давайте посмотрим на 🔴 краcную зону и часть 🟡 желтой.


Стратегия и планирование:
4. Strategic workforce planning (стратегическое планирование рабочей силы - кто, когда, в каком количестве и с какими навыками потребуется бизнесу)
9. People & HR strategy (HR - стратегия)

Таланты и навыки:
2. Talent management & succession (управление талантами)
7. Upskilling & reskilling (обучение и переобучение, сосредоточенное на развитие навыков)

Цифровизация и технологии:
3,6. Digital HR / HR IT & data architecture (цифровой HR, IT-архитектура и данные)
8. People analytics/reporting & insights (HR-аналитика)
1A. Next-generation technologies in HR (AI, автоматизация, GenAI)

Оргдизайн и трансформация:
11. Organization design (организационный дизайн)
14. Transformation management (управление изменениями)

Лидерство и культура:
5. Leadership development (развитие лидерства)


Если упростить, вся красная зона - это 3 большие темы:
〰 Навыки (skills)
〰 Технологии (AI / digital HR)
〰 Трансформация бизнеса (change management + org design)


Отдельно стоит отметить GenAI в HR.
1A - самое неизученное и востребованное направление в бигтехах (> 5000 сотрудников)
1B - GenAI в малых и средних компаниях мало изучен и не так востребован

Это отражает картину того, то происходит в бигтехах сейчас: в HR процессы внедряются задачи AI: agent engineering, AI-analytics и другие подходы.
Для средних и малых компаний это не так критично (гораздо меньший объем данных и проще процессы), и возможностей инвестиций в AI у них гораздо меньше.

Если подвести итог, то сейчас направление HR в компаниях трансформируется из функции поддержки в в функцию, которая напрямую влияет на будущее бизнеса.

Поэтому HR сегодня находится в точке выбора:
〰 остаться операционной функцией
〰 стать драйвером изменений

@data_bar

Мировое производство энергии

Сегодня около 80% всей первичной энергии в мире производится из ископаемого топлива — нефти, газа и угля. Ещё примерно 10% приходится на традиционное биотопливо: дрова, древесный уголь и другие виды топлива, которые люди сжигают уже веками. Оставшиеся 10% - это ядерная энергия, гидроэнергетика и современные возобновляемые источники (солнце и ветер). Несмотря на быстрый рост, их доля пока небольшая.

Мировая энергетика по-прежнему держится на нефти, газе и угле.

При этом спрос на энергию продолжает расти. Развитие искусственного интеллекта и дата-центров требует всё больше электроэнергии. В новой технологической гонке важным фактором становится доступ к дешёвой и стабильной энергии.

На сайте ourworldindata есть шикарный датасет по мировой энергетике. Там данные по странам, типам источников энергии и метрикам производства и потребления. Данные находятся на GitHub. Описание всех показателей и разрезов - в кодбуке.

Датасет показывает долгосрочные мировые тренды.

На графике я показал мировое производство энергии в терраватт-часах с 1900 по 2024 год.

За последние 125 лет производство энергии из ископаемого топлива выросло примерно в 35 раз. В начале XX века энергетика выглядела совсем иначе: 95% энергии производилось из угля.
Сегодня структура ископаемой энергетики выглядит так:

〰Уголь - 42%
〰Нефть - 32%
〰Газ - 26%

На графике видны ключевые этапы мировой истории:

〰Середина XX века - рост нефти. Вторая мировая война ускорила переход к нефтяной энергетике. Во время войны нефть стала стратегическим ресурсом. Открытие крупных месторождений на Ближнем Востоке дополнительно приводит к стремительному росту добычи.
〰1960–1970-е - автомобильная эпоха. Массовая автомобилизация резко увеличивает спрос на нефть, и она становится главным источником энергии.
〰Начало 1980-х - кризис на Ближнем Востоке. Политическая нестабильность и нефтяные шоки отражаются на динамике производства.
〰2009 год - мировой финансовый кризис. На графике виден небольшой спад энергопроизводства.
〰2020 год - пандемия COVID-19. Глобальная экономическая остановка также приводит к временному падению спроса на энергию.

🟢Рост природного газа
Природный газ начал активно расти с 1970-х годов. Это стало возможным благодаря развитию технологий: сжиженного природного газа (LNG) трубопроводной инфраструктуры. Газ часто рассматривается как более чистое ископаемое топливо, поэтому его роль постепенно увеличивается.

🟢Возвращение угля
Несмотря на рост газа и возобновляемой энергетики, уголь не исчез, а вырос. Многие думают, что доля угля сильно упала, но это не так. В 2000-е годы его производство снова резко выросло. Основной причиной стал быстрый экономический рост Китая, который активно развивал угольную энергетику для поддержки индустриализации. Позже к тренду добавилась Индия, где уголь также остаётся одним из ключевых источников энергии.

История цивилизации - это история освоения всё больших потоков энергии. Каждая новая эпоха начиналась с нового источника энергии:

〰дрова - аграрные общества
〰уголь - индустриальная революция
〰нефть - автомобильная эпоха
〰газ - современная электроэнергетика

Теперь начинается новая глава: энергия для цифровой цивилизации и искусственного интеллекта.

Графики простые, но ёмкие. В них отражается наша история, энергетические переходы и глобальные события.

@data_bar 💚

От кассет до стриминга. История музыкальных носителей

Музыка объединяет людей. Вокруг неё формируются целые направления, субкультуры и поколения слушателей. И вместе с развитием технологий эволюционируют носители, на которых мы храним музыку.

На визуализации показана выручка от продаж музыки в США. Цвета отражают разные носители: от винила и кассет до CD и стриминговых сервисов.

Хорошо видно, как со временем постепенно "умирают" старые форматы - пластинки, кассеты и CD. Как стремительно взлетают CD/DVD (огромная синяя область), как появляется стриминг и как неожиданное второе рождение переживает винил.

Датасет простой и понятный, он есть на Kaggle. Эти данные часто используют для визуализаций - его все понимают.

У каждого носителя была своя эпоха.
Мы слушали музыку на плеерах, проигрывателях и магнитофонах. Скачивали mp3. А потом начали оформлять подписки на Spotify и Яндекс Музыку.

В самой визуализации streamgraph можно трансформировать в классические area chart - как в абсолютных значениях, так и в процентах. Также можно переключать метрики:
〰 продажи в штуках
〰 выручку
〰 выручку с поправкой на инфляцию.

Есть сортировка по разным критериям. Хорошо работает анимация - просто меняйте параметры, фильтры и смотрите как меняется картинка.

Данные за 46 лет до 2019 года. Можно попробовать найти свежие. Данные собирает RIAA.
Для других стран таких датасетов не видел, но было бы интересно посмотреть, как выглядит эта история на других рынках.

〰 Большой пост в моем блоге о потоковых графиках и о том как делал эту визуализацию

@data_bar

Ищу BI-разработчика к себе в команду HR-аналитики, Авито.


Привет всем!
В моей команде HR-аналитики в Авито открыта вакансия BI-разработчика (Middle).

Мы в аналитике TCT (Talent Capital Team) и OrgDev (Organization Development) поддерживаем ключевые HR-проекты: развитие и обучение сотрудников, анализ оргструктуры, процессы целеполагания, performance review, HR-стратегию. Это крутая возможность работать с внутренними данными компании.

Что важно в роли:
〰 Уметь уверенно работать и с подготовкой данных, и с разработкой дашбордов
〰 Много взаимодействовать с внутренними заказчиками
〰 Помогать превращать данные в понятные и полезные инсайты

Стек: Airflow, dbt, Redash.

Будет плюсом: портфолио и пет-проекты, опыт в People Analytics.

Можно работать из офисов или удаленно.


🎆 Подробнее о вакансии. Резюме отправляйте сюда же.


О том, как устроена аналитика в Авито и как проходят интервью, можно почитать здесь.

В Авито - одна из сильнейших команд аналитики, и BI в частности.
Если вам интересно делать аналитику, которая влияет на развитие людей и компании, буду рад откликам.

Telegram Ads и продвижение каналов. Личный опыт. Часть 1

В начале сентября я решил посмотреть как работает Telegram Ads. Решил проверить, реально ли в Telegram Ads привлекать IT-аудиторию дешевле 50–1000 ₽ за подписчика - это цена из статей и даже ChatGPT пишет про такие цифры.

Telegram Ads это официальная рекламная платформа Telegram. Оплата в Telegram Ads происходит в TON (официальная криптовалюта Telegram).

В Telegram нет органического продвижения - он не завирусит ваш пост. Если у вас есть канал, его нужно как-то продвигать, иначе про него не узнают. Поэтому, продвижением занимаются примерно все.

Есть несколько способов продвижения. Все перечислять не буду, остановлюсь только на официальном сервисе - Telegram Ads. Это реклама, которую мессенджер показывает в каналах подписчикам без premium, и не во всех странах.

На скриншоте - мой рекламный кабинет в Telegram Ads. Завести его может каждый. Для Telegram Ads использую официальную криптовалюту - TON. Все цифры буду переводить в рубли для удобства. Сегодня 1 TON - 108 рублей, в сентябре был 250 р..

На моём скриншоте - это 5-20 рублей по текущему курсу. CPA - Cost per Action, стоимость одного подписчика. Это мало по меркам рекламы в телеге.


Каждая строка - это 1 адсет (ad-set). 1 креатив таргетируется на несколько каналов.

Основные метрики:
〰 Views. Просмотры рекламы
〰 Clicks. Клики на рекламу
〰 Actions. Подписка на канал
〰 CPM (Cost per Mile). Цена за 1000 просмотров
〰 CPA (Cost per Action). Стоимость подписчика

Это основные. Про остальные расскажу в следующих частях.

Суть настройки адсетов - в привлечении релевантной аудитории (тех, кому будет интересно читать ваш канал) за минимальные деньги. Привлечёте нерелевантную аудиторию - уйдут через несколько часов или дней.

Большинство рекламодателей в Telegram работают вручную:

〰 ищут каналы через TGStat
〰 вручную подбирают релевантные
〰 создают адсеты
〰 анализируют метрики в таблицах

Я пошёл другим путём.

〰 собрал базу всех Telegram-каналов (писал про это)
〰 нашел семантически близкие (писал в канале про NLP)
〰 подключал LLM через MCP (про это тоже писал) для анализа описания и постов
〰 мониторил CVR, CPC и CPA

Еще можно:
〰 запускать A/B-тесты
〰 складывать данные в БД
〰 строить аналитику, забирая данные адсетов и метрики раз в час
〰 настроить автотаргетинг
〰 строить прогнозы
〰 автоматически отключать адсеты с плохими метриками

Это подход недоступен 99% пользователей Telegram. Но доступен нам - тем, кто работает с данными и алгоритмами.

В итоге, в сентябре я нашел семантически близкие каналы, сделал несколько адсетов. Креативов было только 3 - не хотелось с ними экспериментировать. Эксперимент шел сентябрь и половину октября. Менял гео и размеры каналов. Следующая фаза - с январских праздников.

Все цифры на скриншоте. Пока потратил примерно 40 TON (6000+ ₽ при разных курсах)

@data_bar 🍀

Дашборды и газеты.

Если вы читали англоязычные СМИ, то замечали разницу в оформлении заголовков. Сравните:

🇺🇸 American Style:
"New Economic Policy Faces Strong Opposition"
Пример: "The New York Times"

🇬🇧 British Style:
"New economic policy faces strong opposition"
Пример: "The Guardian"

Всё дело в разных правилах оформления заголовков.

〰В США традиционно используют Title Case - с заглавной буквы пишутся все "важные" слова (существительные, глаголы, прилагательные).
〰В Великобритании чаще применяют sentence case. Все как в обычном предложении: с большой буквы только первое слово и имена собственные.

Сама Википедия сообщает что использует только sentenсe case


Как две культуры написания заголовков отразились на дашбордах?

Большая тройка BI - американские компании (Tableau, Microsoft, Qlik). Поэтому, в большинстве публичных дашбордов этих компаний вы увидите Title Case в заголовках, названиях визуализаций, названиях метрик, фильтров и т.д..

Посмотрите публичный профиль Andy Kriebel, он из Штатов. Посмотрите как всё подписано в дашбордах, и как называются файлы дашбордов.

В дашбордах европейцев можно встретить оба стиля, но из-за американских корпораций, Title Case преобладает.


Я использую Title Case для англоязычных дашбордов и считаю это стандартом. Просто потому что учился преимущественно у американцев, и вообще ИМХО так выразительнее. Для русскоязычных, естественно, только sentenсe case.

〰 Пример моего даша.


Такая небольшая деталь как оформление подписей дашборда, может много сказать о его разработчике.

@data_bar 🍀

Если посмотреть в глаза...

На картинке показано, как выглядело бы население Земли, если бы это были 100 человек. Hi-res

Распределение такое:
〰Карие (75%)
〰Голубые (10%)
〰Hazel (5%)
〰Amber (5%)
〰Серый (3%)
〰Зелёный (2%)

Янтарные глаза (Amber) имеют тёплый золотисто-медовый оттенок. Hazel - это смесь карего, зелёного и иногда золотистого оттенков. В русском языке нет точного аналога.

Конечно, это упрощённая версия. В реальности всё сложнее: у примерно 1% людей есть гетерохромия - когда глаза разных цветов или цвет радужки отличается. Также оттенок может меняться с возрастом.

В разных регионах мира картина сильно отличается. Например:
〰В Скандинавии большинство людей имеют голубые глаза.
〰В странах Африки и Восточной Азии подавляющее большинство - кареглазые.
〰В Центральной Европе часто встречается смешанный тип (hazel и серые).

Здесь есть калькулятор цвета глаз будущих детей.

Еще придумали несколько шкал категоризации цвета глаз. Одна из них - шкала Мартина-Шульца, в ней 20 оттенков.
Попробуйте найти свой цвет глаз.

@data_bar 🍀

Ищем будущих коллег в команды аналитики Авито

Моя роль в Авито - руководитель группы HR-аналитики.

Скоро стартует Avito Analyst Bootcamp. Это 12 месяцев интенсивной прокачки на реальных задачах компании.
Ребята с прошлых потоков уже работают у нас в команде.

Есть два направления:
〰Продуктовая аналитика
〰BI разработка

От Авито: зарплата, техника, наставники, обучение, реальные задачи в крутых командах.

Можно работать удаленно или из офисов. По итогам буткемпа часть ребят получит оффер в компанию.

Приглашаем студентов или недавних выпускников, готовых уделять 30 часов в неделю и расти в аналитике.
Это реальный шанс работать в бигтехе, в моей команде, команде Маши, Димы и других ребят.

〰 Все детали и ссылка на подачу заявки здесь.

Приходите, будет интересно 💚

График ипотеки. Часть 3. Инфляция

В прошлый раз я показывал, как ипотечная ставка меняет форму графика выплат, и почему +1% ипотечной ставки - это не "чуть-чуть".

Сегодня - анимация про инфляцию.

На первый взгляд 6% в год звучит спокойно.
Анимация показывает что инфляция - это экспонента. Поэтому она опасна на длинной дистанции.

Данные на анимации:
Берём 10 000 000 на 30 лет в ипотеку и смотрим, как меняется график выплат.
Инфляцию меняем от 0% до 10%

Все цифры пересчитываются с учетом инфляции (inflation-adjusted).

Цвета:
🔵 остаток долга
🔴 проценты по ипотеке
🟢 общая сумма выплат (долг + проценты)

Главный инсайт

6% - это не минус 6% каждый год.

Через 30 лет это:
〰-83% покупательной способности
〰10 000 000 превращаются примерно в 1 700 000

И самое важное - эффект ускоряется со временем.

Особенно нравится в анимации момент, как кривая инфляции "придавливает" график выплат.

То есть, если берёте 10 млн в ипотеку под 5% сейчас (пусть годовая инфляция 6%), на дистанции 30 лет отдадите 9 млн (с учетом обесценивания долга и процентов), а средний ежемесячный платёж обесценивается с 53000 до 25000. Последний платеж будет эквивалентен 4800.

За последние 25 лет годовая инфляция в России 9-10% по Росстату. Выводы делайте сами.

Если видео дало вам инсайт, ставьте реакции 🍀

В следующей части попробую придумать как совместить цифры без учета и с учетом инфляции на визуализации.

〰 Дашборд

@data_bar 🍀

График ипотеки. Часть 2

Недавно я писал про график ипотеки, как долг и проценты распределяются во времени. На дашборде можно менять параметры и сразу видеть, как меняется форма графика. Дашборд немного допилил (пока без мобильной версии). Сегодня - продолжение с анимацией.

Анимация показывает, как меняется форма графика при изменении ипотечной ставки. По сути, это визуальный инсайт о том:

почему +1% - это не "чуть-чуть"

Данные: ипотека 10 млн на 30 лет без учета инфляции

Цветами обозначены:
🔵 остаток долга
🔴 проценты по ипотеке
🟢 общая сумма выплат (долг + проценты)

Большие цифры на графике:
〰 ипотечная ставка
〰 во сколько раз итоговая выплата больше взятой суммы

Подобной анимации в сети я не встречал. Особенно нравится, как на ней сразу видно: резкое усиление нелинейности процентов и "гонка" столбцов на барчарте при росте ставки, а ещё - как в космос улетает ежемесячный платёж.

Если видео дало вам инсайт, ставьте реакции 🍀

В следующей части покажу, как всё это меняется с учётом инфляции.

@data_bar 🍀

Токийское метро и предсказуемость систем.

В 2016 году я был в Токио на стажировке по программе «Умные города». Программу проводила японская сторона, совместно с МИД Японии и МИД РФ.

Нас было около 20 человек, и каждый день мы посещали предприятия, заводы, R&D-центры, инфраструктурные компании.

Одним из визитов стал завод Kyosan Electric Manufacturing - там производят решения для железной дороги, в том числе и для знаменитого Синкансэна. А ещё там делают системы управления метро и те самые двери, которые отделяют поезд от платформы. Компании более 100 лет, и на из сайте есть таймлайн за все время.

По заводу нас водил какой-то начальник. В одном из цехов, где собирают платформенные двери, нам рассказали интересные факты. В Токио метро частное: каждая линия принадлежит какой-то компании - оператору, и каждая их них сама формирует техническое задание на автоматизацию. Оказалось, что примерно половина заказчиков для систем управления выбирает реле, другая половина - контроллеры / компьютеры

Мы, конечно, удивились. Ведь у всех был стереотип: Япония - топ технологии. Спросили "Почему реле?"

Ответ был максимально японский:

"Реле больше 100 лет. Их логика предсказуема, системы просты в поддержке.
А компьютерам - всего около 40. Мы не всегда знаем, чего от них ожидать".

И это очень сильная мысль.

В критических системах, там, где на кону безопасность людей или данных, важнее всего предсказуемость и надёжность, а не новые технологии.

По этой же причине сегодня AI пока не готов для критических задач. Не потому что "плохой", а потому что мы до конца не понимаем, как именно он принимает решения, и чего от него ждать в нестандартной ситуации. Пока в таких системах человек и понятная автоматизация незаменимы.

Иногда прогресс - это не про "самое новое", а про "самое понятное".

@data_bar 🍀

Ипотечный график.
Почему "ипотека под 5%" не означает переплату 5%.

Ипотечный договор - один из самых важных документов в жизни, который вы подписываете.
Поэтому важно максимально понимать, как именно вы отдаёте долг банку и сколько заплатите в итоге. Особенно, если пользуетесь льготной программой, где проценты могут измениться, например "ИТ - ипотека" в РФ.

Я сделал калькулятор ипотеки буквально за полчаса, чтобы визуально (и себе в том числе) объяснить, как работает ипотека и сложный процент.
➕ Калькулятор

В сети полно калькуляторов, но большинство - просто таблицы ежемесячных платежей.
Мне хотелось интерактив: слайдеры, графики, возможность менять параметры и сразу видеть результат. Такой интерактив сразу дает быстрые визуальные инсайты.

Рассматриваем только аннуитетные платежи - равные за каждый месяц. Дополнительные платежи (страхование и т.д..), инфляция и первоначальный взнос здесь не учитываются. Строим графики только по долгу и процентам банку.

У ипотечного кредита есть:
〰Долг
〰Проценты
И в первые месяцы доля процентов сильно больше доли основного долга.

Отсюда ошибка:
Некоторые думают, что при ипотеке под 5% переплатят всего 5%.

Важно понять простую вещь:
〰 каждый месяц вы платите примерно 1/12 × ставка от текущего долга

И это очень много на длинной дистанции. Банки про это не говорят.

Пример:
Если взять 10 млн рублей под 5% на 30 лет, переплата ×2 (20 млн)
Если ставка станет 20%, переплата уже ×5 (50 млн)
А ежемесячный платёж вырастет примерно с 53 000 до 167 000.

Типичный сценарий, когда слетает льготная IT-ипотека.

Главный вывод:
Ипотека - не только "ставка".
Это:
〰срок
〰риск изменения дохода
〰риск роста ставки
〰инфляция
〰стратегия досрочного погашения

Поэтому планировать её нужно как финансовый проект.
Стройте стратегию погашения, исходя из своих возможностей и рисков, а не из процентов в рекламе.

@data_bar 🍀

Хроники пет-проекта. Как идея выросла в data-продукт.

Привет всем, кто недавно присоединился - вас уже больше 2000 👋

Сегодня расскажу, как мы вчетвером (я, Никита, Рома и Снежана) за год превратили простую идею в полноценный data-продукт.

Если вы делаете свои пет-проекты, возможно, этот путь будет полезен. У нас - опыт работы в больших и средних IT компаниям, и мы делали все так как принято в большом IT. Большую статью про проект писали на VC.

Всё началось с простых вопросов
〰Сколько стоят IT навыки?
〰Сколько денег предлагают на конкретных ролях?

Так появился маленький пет-проект.

Со временем он вырос в полноценный data-pipeline с LLM, дашбордами, алертами и автоматическими дайджестами.
В базе - несколько миллионов data-пойнтов. По некоторым источниками собрали историю с 2012 года.
Про проект писали телеграм-каналы с общей аудиторией более 2млн человек.

Мы делали всё по выходным, и сделали то, что еще никто не делал:
〰 объединили данные из разных источников и построили ежедневно обновляемый дашборд
〰создали телеграм-канал с автоматической аналитикой вакансий.
〰 подключили нейросети к базе данных и реализовали диалог с данными почти сразу после появления MCP.

Коротко весь путь по шагам:

〰 Постановка проблемы.
Про боль рынка, и зачем всё это. Первая версия дашборда.
"Дайте вилку" или IT вакансии с зарплатами

〰 Сбор данных и автоматизация.
Строим песочницу для экспериментов с данными.
IT вакансии и автоматизация парсинга зарплат.

〰 Проект становится системой.
От "скрипта на коленке" в продукт: пайплайн, хранилище, трансформации, дизайн.
Агрегаторы IT вакансий и их сравнение
Проект VILKY. Roadmap, API, dbt и MongoDB

〰 LLM + Telegram + автоматические дайджесты
Как мы придумали дополнительные фичи
Проект VILKY. LLM, телеграм канал и дайджесты
Пет-проект VILKY. Архитектура, исследования, дизайн.

〰 Неожиданный эффект Telegram.
Как проект подхватили крупные IT-паблики
VILKY в IT пабликах и эффект Telegram

〰 Инсайты и наблюдения про рынок IT
14000 открытых IT вакансий на одном дашборде
Hard и Soft навыки в IT профессиях. Алгоритмы NLP

〰 AI-репортинг как следующий слой
AI отчёты на основе данных
Нейрорепортинг Claude + MCP и технологические тренды в IT
Локальное подключение нейросетей к БД

〰 Взгляд сверху
Проекты, продукты и продуктовый подход в пет-проекте


Что мы видим сейчас

Мы собираем данные каждый день, и теперь доступны вещи, которых не было ещё год назад:
〰динамика вакансий по дням
〰сезонность найма
〰тримодальность зарплат (три кластера компаний с разными вилками)
〰распределение грейдов по IT-направлениям
и многое другое

Мы можем:
〰считать стоимость навыков
〰строить карты эволюции профессий
〰искать вакансии по любому описанию
〰общаться с данными через Claude или ChatGPT
〰находить скрытые паттерны в истории рынка

Пространство для анализа огромное. А времени, как всегда, меньше.


〰И вопрос про будущее:

Технически мы уже можем дать доступ к данным через ChatGPT.

Например:
〰 загружать резюме и искать релевантные вакансии
〰 задавать вопросы реальному рынку
〰 получать ответы из структурированных данных

В публичном виде такого пока никто не делал. Это полноценная связь LLM с данными.

Интересно ли вам было бы общаться с рынком вакансий напрямую через ChatGPT?
Ставьте "❤️" в реакциях.

@data_bar 🍀

Нефтегаз, дата-центры и социальные сети

Все чаще звучит тема будущего дефицита энергии под вычислительные мощности. Глобальный AI , кроме софта, это физическая инфраструктура: дата-центры, электростанции, сети.

В конце 2000-х я работал на консалтинговых и производственных проектах для крупных нефтегазовых операторов в Казахстане: ENI, British Gas, Chevron и др..

Спустя несколько лет, году в 2014м, один из выпускников, после корпоративного обучения в ENI, рассказал интересную вещь: компания построила под Миланом несколько многоэтажных дата-центров. А он проходил там практику. При встрече он предложил мне догадаться, чем занимаются в дата-центре. Я не угадал - ответ оказался неожиданным.

Помимо геоаналитики, там активно шерстили и анализировали социальные сети. ENI управляет большим числом промышленных объектов по всей планете, а локальные инциденты не всегда сразу доходят до штаб-квартиры. А в соцсетях кто-то может сфоткать фото дыма или аварии буквально в первые минуты и выложить в соцсеть. Это только один пример.

Другими словами, данные из публичного цифрового пространства приходили быстрее внутренних каналов.

Стало интересно, что сейчас у ENI со строительством data-центров.

Сегодня ENI развивает один из крупнейших в Европе вычислительных кластеров в Ломбардии, с собственными суперкомпьютерами и энергоэффективной архитектурой. В 2025 году компания также объявила партнёрство с Khazna (ОАЭ) по созданию AI-кампуса на сотни мегаватт. Питать планируют от новой газовой электростанции.

На официальном сайте есть крутая инфографика про эволюцию суперкомпьютеров с 1948 года и дата-центры. А здесь - много фото дата-центра ENI.

Чем там будут заниматься, можно только предполагать. Но связка LLM + семантический анализ соцсетей + гигантские вычислительные мощности - это уже не просто мониторинг. Это инструмент раннего обнаружения рисков, прогнозирования событий и построения модели мира в реальном времени.

В догонку ноябрьская новость про инвестиции в новое направление для энергетических компаний - AI-инфраструктуру.
〰 Chevron выходит на рынок дата-центров и инвестирует в AI-инфраструктуру в Техасе
〰 Halliburton предлагает специализированные решения для ЦОД
〰 Liberty Energy партнёрится с Oklo (ядерные реакторы) с решениями для энергоёмких клиентов

Что из этого следует
〰 AI требует гигантских объёмов дешёвой и стабильной энергии.
〰 Нефтегазовые компании уже обладают ключевыми компетенциями: генерация, инфраструктура, капиталоёмкие проекты.
〰 Дата-центры становятся новым промышленным активом, сопоставимым по значимости с НПЗ или газовыми хабами.

В этом контексте выигрывать будут те регионы/компании, где есть:
〰 доступная энергия
〰 земля
〰 инженерные кадры
〰 политическая стабильность

Поэтому Казахстан тоже выглядит перспективно. Можно вспомнить инициативу "Долина ЦОД". И на уровне правительства такие инициативы поддерживают. Это оч круто!

@data_bar 🍀

От запроса к вопросу. Google представил Conversational Analytics в BigQuery

Вчера Google в блоге показал возможности решения Conversational Analytics в BigQuery. Теперь можно задавать вопросы к данным обычным языком, а система сама строит и выполняет SQL запрос и показывает результат с графиками и пояснениями в веб-интерфейсе. Используются агенты с последними моделями Gemini.

Осенью такое решение было представлена для гуглового Looker. Но Looker - это BI-слой. А здесь - прямое взаимодействие с DWH, без BI посредника.

Это ещё один шаг к демократизации данных.

〰 Гайды Conversational Analytics для BigQuery и Looker.

Что это даёт бизнесу:
〰 Демократизация аналитики. Можно получать ответы без знания SQL и без очереди к аналитикам.
〰 Быстрее инсайты. Бизнес-пользователь напрямую взаимодействует с данными.
〰 Меньше ручного контекста. ИИ читает метаданные и описания таблиц, формируя контекст данных

Давате разберём, почему это не революция:
〰 Ответы ИИ надо проверять. Гугл сам об этом предупреждает.
〰 Для метаданных и описаний таблиц надо проделать колоссальную работу: их нужно описывать, поддерживать и тестировать как агенты работают с метаданными.
〰 Запросы BigQuery стоят денег. В крупных компаниях на запросы уходят десятки тысяч долларов в месяц. Неоптимальные SQL-запросы от ИИ будут сжирать бюджеты. Бизнес-пользователей придётся ограничивать и обучать формулировке вопросов.
〰 Сложные бизнес-инсайты пока это не даст. Нужно много контекста и процессинга данных.

Похоже, что в ближайшем будущем отдельным навыком станет умение формулировать правильные бизнес-вопросы к данным.


💚 А про то, как самому локально развернуть базу данных и подключить к ней Claude через MCP для Conversational Analytics, я писал в посте "AI отчеты на основе данных".
💚 На Хабре сделал полный гайд "Подключаем Claude по MCP к базе данных на домашнем компьютере".

#conversational_analytics #genbi

@data_bar 🍀

Про навыкоцентричность.

Headhunter на днях выпустил отчёт "Будущее навыкоцентричности". PDF в комментариях. Если кратко - рынок труда уходит от должностей и дипломов к навыкам. Любой сотрудник - набор навыков. Компания ищет конкретный скиллсет или дообучает недостающим навыкам. Естественно, это сильно влияет на процессы найма, оценки и развития сотрудников.

Интересно, что мы в проекте анализа зарплатных вилок в IT VILKY уже больше года работаем ровно в этом направлении: собираем все возможные навыки из вакансий, используем NPL и LLM для анализа описаний вакансий и нормализации данных.

Про анализ навыков в нашем проекте мы писали много, например, пост. В канале VILKY каждый день появляются самые дорогие и популярные навыки по IT-направлениям - можно буквально видеть "ценник" на Terraform, Python или Data Engineering.

Мы даже пытались считать стоимость любого скиллсета, сколько должен стоить специалист с определённым набором навыков. Собрали словари (до 10k навыков с их синонимами), научились дополнять вакансии скрытыми навыками и получать полный профиль позиции.

В продакшн это не раскатывали - слишком тяжёлый проект получался, да и бизнес в РФ ещё не был готов.

И вот сейчас об этом говорит HH со ссылками McKinsey, Microsoft, Coursera, Udemy и других. Ещё собрали мнения экспертов из разных отраслей. Мнения разные и интересные. Мне понравилось то, что вынес в заглавную картинку.

HH в отчете сообщает, что "Навыкоцентричный подход выбирают 68% российских компаний". Не знаю, откуда взяли 68%, но цифра кажется завышенной. Оцените просто сами что у вас в компании с навыкоцентричностью.

〰 Мировой, а теперь и российский тренд понятен. Так что готовимся к новому слову "Навыкоцентричность". Отчёт HH будет тоже прочитать нелишним любому, кто строит карьеру. У HH еще есть гайд "Как внедрить навыкоцентричный подход в компании".

〰 За стоимостью IT навыков можно следить в нашем канале VILKY или на дашборде - это бесплатно.

@data_bar 🍀

Почему команды замедляются, даже когда людей становится больше. И чем сможет помочь AI.

Есть популярная управленческая интуиция: если проект не успевает, нужно добавить людей. Логика простая: сказать "нас не хватает" психологически проще, чем признать архитектурные или организационные проблемы.

Но на практике часто происходит обратное: людей становится больше, а скорость падает. Про это ещё в 1975 году писал руководитель разработки в IBM, Фредерик Брукс. И "Законом Брукса" стали называть идею о том, что новые силы в проекте на поздних стадиях только отодвигают срок его сдачи.

На картинке показаны графы коммуникаций участников проекта. Если совсем просто: чем больше участников системы, тем больше усилий уходит не на работу, а на согласование работы. Сами графы коммуникаций - сильный визуальный инсайт.

Математика тут довольно жесткая. В команде из n человек количество потенциальных коммуникационных связей равно n(n−1)/2.
При росте команды с 5 до 10 человек людей становится вдвое больше, а связей - почти в пять раз.

Это явление называют communication overhead - издержки на коммуникацию.

На уровне ощущений увеличение команды проявляется быстро:
〰 появляется больше встреч
〰 растёт количество чатов
〰 решения принимаются дольше
〰 контекст всё чаще приходится пересказывать

Работа не исчезает, но вокруг неё нарастает шум. Возникает ложное чувсво прогресса: движухи больше, а проект не двигается. Вы сами могли заметить, сколько времени тратится на синки, выравнивания и координацию в больших проектах.

Важно, что Сommunication overhead - это не проблемы общения людей. Это структурная особенность любой сети. В компьютерных сетях ситуация точно такая же: чем больше узлов, тем выше доля служебного трафика. Полезная нагрузка растёт медленнее, чем координация.

Организации устроены аналогично. Процент полезных или бизнес-данных падает с ростом числа коммуникаций, а оверхед на синхронизацию контекста растёт. А это - плюс время и деньги.

Отсюда и эффект, описанный в законе Брукса: добавление людей в запаздывающий проект делает его ещё более запаздывающим. Новым участникам нужен контекст и/или обучение, а старые участники тратят время на его передачу и вкат новых людей. В моменте система становится тяжелее.

Важно понимать, что Communication overhead - не ошибка управления и не признак плохой команды. Это цена за масштаб. Пока команда маленькая, координация бесплатна. После определённого размера она становится основным ограничением.

Именно поэтому многие сильные организации сходятся в числе 5-7 человек на автономную команду. Это точка, где сеть ещё не начинает "говорить сама с собой" больше, чем работать.

А вот теперь, самое интересное. Как можно сократить число узлов и коммуникаций в "человеческой сети"?

В современных реалиях можно применять ИИ, и его уже применяют для этого. Но здесь важно не перепутать роли. Сам ИИ не уменьшает количество связей между людьми, а снижает трение в этих связях: сжимает контекст, делает саммари, помогает вспомнить решения. То есть уменьшает вес коммуникаций, но не отменяет их.

Для снижения оверхеда в команде можно:
1. Уменьшить число узлов сети. Или передать часть рутинной работы ИИ, снизив число участников проекта. При этом кратно упадет число связей.
2. Снизить уровень коммуникации. Это про сжатие контекста с помощью ИИ и использование его возможностей в качестве контекстного буфера.

Примеры по второму пункту:

Самая большая боль в командах не общение, а потеря контекста:
〰 можешь напомнить, почему мы так решили?
〰 где обсуждали?
〰 это актуально или уже поменялось?

ИИ может:
〰 читать чаты
〰 читать таски
〰 читать документы
〰делать саммари встреч
〰 помнить историю решений

Поэтому, ИИ может выступать как контекстный буфер. А это - минус сотни сообщений и минус десятки встреч. Кроме этого, ИИ может асинхронно взаимодействовать со всеми участниками команды, это - огромная экономия времени на синхронизацию контекста.

Сейчас уже есть агенты, частично покрывающие проблемы оверхеда. Я думаю, в будущем появятся корпоративные решения для полного контроля и синхронизации контекста

#AI

@data_bar 🍀

Советские фильмы и диаграммы

В канале Алексея Смагина data.csv недавно вышел пост с ребусами - там зарубежные фильмы были зашифрованы в графиках и диаграммах.

Мне идея понравилась, и я сделал диаграммы по мотивам советского кино.

Попробуйте угадать, какой известный фильм скрывается за каждой диаграммой.

Пишите свои версии в комментариях!

@data_bar 🍀