Datalytics

У нас новости! Мы обновили каталог датасетов — теперь в нем есть 240 миллионов строк муниципальной статистики, 135 тысяч судебных дел об убийствах и данные о смертности с 1999 года

В начале декабря мы запустили каталог — раздел с открытыми данными, собранными в удобные машиночитаемые датасеты. С тех пор им воспользовались больше трех тысяч раз, а данные скачивали как журналисты, так и исследователи.

Сегодня мы открыли доступ к пяти новым датасетам — четыре из них не найти в других источниках.

◾️Муниципальная статистика c 2005 года. Это самый детализированный источник о жизни россиян. Здесь численность населения, миграция, зарплаты, доходы и расходы местных бюджетов, финансовые результаты компаний и много чего еще — всего 546 показателей. Можно скачать как отдельный показатель, так и подборку по определенной теме.

◾️Проекты конкурса Фонда президентских грантов c 2017 года. Все поданные за семь лет заявки с подробными описаниями и суммами, которую получили победители. Можно смотреть, как изменились приоритеты государственной грантовой поддержки в последние годы.

◾️Коэффициенты смертности в регионах России. Мы собрали длинные ряды коэффициентов смертности от разных причин с 1999 года в разрезе регионов, пола и возрастных групп.

◾️Дела и тексты судебных решений по статье 105 УК «Убийство». В этом датасете 135 тысяч судебных дел за восемь лет. Он поможет проанализировать, при каких обстоятельствах в России чаще всего совершаются убийства и что влияет на решение суда.

◾️Численность населения в муниципальных образованиях и населенных пунктах с разбивкой на мужчин и женщин. Мы пересобрали итоги переписи в удобный для работы формат плоской таблицы. А еще обогатили данными сервиса DaData о географических координатах муниципальных образований и населенных пунктов.

⚫️Если у вас есть пожелания по форматам данных или новым наборам — напишите в чат. Ваши замечания мы учтем в новых обновлениях. Чтобы у нас получилось собирать больше датасетов — поддержите нас. Это можно сделать через Boosty или Patreon.

Avito Analytics Meetup #12

Запись докладов доступна по ссылке 👆

Эксперты из AvitoTech и других крупных компаний разобрали кейсы аналитической поддержки при создании нового продукта, а также рассказали как и зачем анализируют обратную связь о товарах в ритейле и не только.

Темы докладов:
👉 Аналитика нового продукта «под ключ»;
👉 Обратная связь в «Пятёрочке»: как работают с оценками товаров;
⚡️ Секретный доклад.

NEWHR Data провела большое исследование продуктовых и дата-аналитиков. Среди прочего, спросили аналитиков, кого читают, слушают и смотрят респонденты.

На основе опроса составлен список из более чем 500 экспертов, телеграм-каналов, ютубов и подкастов:

https://newhr.org/tpost/b0ssrbz8k1-za-kem-sledyat-produktovie-i-data-analit

Приятно, что в этом списке оказался и @datalytx

Изостатистика - одна из первых книг по инфографике

Так как мы решаем большую задачу «собрать бюджеты России за 100 лет», приходится часто искать новые источники исторических книг и документов. Одной из самых интересных находок стала книга И.П. Иваницкого «Изостатистика. Изобразительная статистика и венский метод», изданная в «Москве-Ленинграде» в 1932 году.

Изостатистика, как оказалось, примерно то же самое, что в современном мире называют «инфографикой», и что в книге зовется «количественной системой диаграммирования».

Книга описывает базовые принципы создания диаграмм, приводит большое количество примеров исторических инфографик и разбирает каждую из них.

К сожалению, книга черно-белая, но все равно уникальная.

Скачать книгу можно с сайта НЭБ (уникальный источник исторических книг): https://rusneb.ru/catalog/000199_000009_005073846/

#открытыеданные #инфографика #диаграммы

Плейлист полезных видео с Yandex DataLens Festival 2023

https://www.youtube.com/playlist?list=PL1x4ET76A10YpUZsDCTEQ2oB7FhmQlmSb

Запись 11го онлайн-митапа Авито по аналитике: https://www.youtube.com/watch?v=Uy1pertrnOQ

▫️ Специалист Авито Анна Москаленко рассказала о работе над пользовательским негативом. В чем он выражается и как его анализировать? Какова цена отписки? Спикер раскроет реальный опыт своей команды.

▫️ Эксперт из Яндекс.Карт Леонид Медников объяснил, как строить метрики качества данных на основе информации о миллионах компаний

▫️ Аналитик Samokat.tech Илья Лоладзе поделился, как при помощи эксперимента компании удалось расширить зоны экспресс-доставки.

Ян Лекун - французский учёный в области информатики, специализирующийся на машинном обучении, компьютерном зрении, нейронных сетях и алгоритмах распознавания рукописного текста. Сейчас VP and Chief AI Scientist, Facebook

В новой лекции «Объектно-ориентированный ИИ: на пути к машинам, которые могут учиться, рассуждать и планировать» Ян Лекун рассматривает вопросы того как современные модели могут достигнуть уровня человеческого интеллекта

Например, интересная концепция, что модель может быть восприимчивой к состоянию внешней среды, в которой она действует. И инкрементально его «запоминать», соотнося свои действия с состоянием «внешнего мира» и предсказывая его следующее состояние

Также интересными мне показались слайды про авторегрессионные LLM и иерархическое планирование

Слайды: https://drive.google.com/file/d/1e6EtQPQMCreP3pwi5E9kKRsVs2NbWPrY/view?usp=drivesdk
Видео: https://www.youtube.com/watch?si=UeLf0MhMzjXcSCAb&v=d_bdU3LsLzE&feature=youtu.be

Функционал профессионального аналитика не ограничивается работой над продуктами с уже устоявшейся аудиторией и стабильной выручкой. Выгодным решением будет подключить его уже на Discovery фазе – это поможет увеличить долю эффективной работы над проектом и улучшить результаты по запуску.

Хорошим примером такого подхода стал кейс по рассылке спецпредложений на платформе Авито, которым поделилась продуктовый аналитик Мария Яблочникова.

Каким образом аналитики могут помочь на ранних этапах создания продукта?

✔️Оценив объем рынка, они определят потенциал продукта
✔️Сформулируют метрики, позволяющие команде оценить его эффективность и защитить продукт перед заинтересованными сторонами
✔️Определят целевую аудиторию для внедрения продукта и составят план поэтапного запуска
✔️Разработают систему логирования и построят архитектуру данных для отслеживания развития продукта и его состояния
✔️Исследуют и внедрят новые функции в продукт, а также проведут оценку его параметров
✔️Определят инкрементальность ценности продукта для бизнеса после того, как его начнут использовать регулярно

Ребята из продуктовой аналитики Mail.ru в VK рассказали о своей расчетной архитектуре платформы для A/B-тестов Mail.Ru и ее недавнем обновлении, поделились опытом и инсайтами. Они создали архитектуру метрик для A/B-тестов, которая позволяет масштабировать сложность расчетов.

Сама статья - https://habr.com/ru/companies/vk/articles/781300/

Яндекс открыл в Питере новое образовательное пространство — офлайн-площадку Школы анализа данных. Кто забыл, напомню: в ШАД крайне сложно поступить, но если осилить и дойти до финала – выйдешь хардовым спецом в DL и ML с кучей офферов.

Хорошая новость в том, что ребята начнут делать открытые мероприятия: будут делиться экспертизой с теми, кто занимается нейросетями, ML и AI и хочет проапгрейдить знания. Тизерят разные форматы – лектории, хакатоны, интенсивы и воркшопы от экспертов Яндекса и ведущих преподов Школы. И самые заряженные смогут вписаться в совместные с ШАДовцами учебные проекты, где нужны анализ данных, ML и AI.

Увидел вчера одну вещь, которая меня сильно впечатлила. Как многие уже видели, Google представили свою мультимодальную AI-модель Gemini. Среди нескольких крутейших демок, попалась одна, которая вызвала дикий восторг

Это Bespoke UI – AI-generated UI, который базируется на пользовательском запросе. То есть модель сначала классифицирует какой тип контента наиболее предпочтительно выдать пользователю, а дальше уже в соответствующем фрейме генерит мультимодальный ответ с удобной навигацией

Интересно через какие этапы это реализуется

1. Сначала классификация интента. На этом этапе модель понимает в какой модальности должен быть ответ: достаточно ли просто текста, нужны ли картинки, нужен ли какой-то UI для взаимодействия с данными
2. Потом доуточнение через встречные вопросы пользователю (это в дальнейшем позволит лучше сделать data-model для того контента, с которым будет взаимодействовать пользователь)
3. Потом модель генерирует PRD (product requirements) для некоторого мини-продукта, который решает пользовательскую задачу. Это позволяет понять какая функциональность должна быть: какие сценарии будет решать мини-продукт
4. А затем генерит под это layout, который описывает структуру интерфейса
5. На следующем шаге модель генерирует код на flutter для реализации пользовательского интерфейса
6. И дальше наполняет всё это контентом в соответствии с моделью данных

Ну и дальше с каждым куском контента можно также взаимодействовать и дальше продолжать в том же ключе. Выглядит как очень гибкий подход к закрытию потребности пользователя: не через исследования, конструирование жестких сценариев, а через формирование CJM «на лету»

https://www.youtube.com/watch?v=v5tRc_5-8G4

Вышел мой обзор про LLM агентов на хабре🕺

Скорость появления новых работ и подходов в этом направлении сейчас настолько большая, что тяжело оставаться в курсе, даже работая в сфере DL/NLP. Поэтому постарался описать прогресс относительно небольшой статьей и проиллюстрировать работами, вышедшими за последний год. Также хотелось сделать это не сильно техническим языком, чтобы было понятно максимальному числу людей не из машинного обучения. Так что если вы не связаны напрямую с ML, то не бойтесь, возможно будут непонятны какие-то части, но их можно пропустить (или спросить в комментариях)

Как проходит собеседование на позицию аналитика: ценные советы от эксперта Авито

Позиция аналитика — это ключ к миру цифровых технологий. Ира, опытный руководитель по аналитике в Авито, приоткрывает завесу тайны над процессом отбора кандидатов на эту востребованную специальность. В видео будет разобран каждый этап собеседования: от важности структурированного резюме до повышения навыков в A/B тестировании и лайфхаков на встрече с вашими потенциальными командами.

Что вы узнаете после просмотра:

- Как компания представляет бизнес-кейсы, как их проще и эффективнее их решать
- Подсказки по повышению навыков в A/B тестировании и использовании ресурсов для подготовки
- Почему на собеседовании проверяют знания математической статистики и теории вероятностей
- Как произвести впечатление на своего будущего тимлида и интересно рассказать о себе.

Если какие-то процессы можно упростить, то нужно это сделать.

Искать тимлидов, которые отвечают всем критериям конкретной компании, сложно, долго и дорого. А рост аналитика по менеджерскому треку не всегда получается прозрачным. Чтобы решить эту проблему, в Авито создали внутреннюю школу Analytics Manager School.

О том, как пришли к этому решению и какие результаты получили, рассказал руководитель направления аналитики в Авито Недвижимости Стас Косилов.

⏺Разработка программы обучения — очень важный этап. Только так получится поставить обучение тимлидов на поток. Чтобы ученики смогли понять, что именно значит быть тимлидом, в программу включили вебинары, теоретические и практические занятия.

⏺Оценивать результаты выпускников сразу после обучения нет смысла. Навыки и знания, которые они получили в школе, не получится быстро усвоить и попробовать на практике. Однако результаты все же видны: трое исполняющих обязанности тимлида стали тимлидами, четверо senior-аналитиков стали acting тимлидами.

⏺ Все выпускники получили поддержку и консультации по карьерному росту. А проводить школу тимлидов Авито решили дважды в год.

У Яндекса вышел новый выпуск подкаста Yet Another Podcast — про высокодетализированные карты нового поколения.

Технический директор и продакт-менеджер Карт рассказали, как на дорожное полотно наносилась разметка, какие данные для этого были использованы, какие проблемы пользователя решают объемные здания и кто такие «оборотни». Послушать интересно, ведь мы каждый день ходим по городу с Картами в руке или ездим по Навигатору, а тут ребята показали, как все это развивается — с реальными примерами и объяснением, как решались конкретные проблемы.

7 сентября посетил - practical ML conf от Яндекса. Докладов было много, все тогда послушать не успел. Зато сейчас выложили записи всех выступлений, вот на что стоит обратить внимание:

🔹 Алексей Морозов из Яндекса рассказал об обеспечении zero cost fault tolerance в распределенном DL. Теперь специалистам не нужно постоянно проверять работоспособность системы и забыть о неприятных инфраструктурных вопросах.

🔹 Евгений Сидоров из Third Opinion поделился опытом анализа медицинских снимков на основе множественных проекций, что компенсирует отсутствие объемной информации в самоуправляемых автомобилях.

🔹 Юлий Шамаев из ВТБ рассказал про геоэмбеддинги, которые используются для определения местоположения банкоматов и отделений.

Яндекс опубликовал крупнейший датасет для анализа отзывов пользователей на организации.

Он содержит порядка 500 тысяч отзывов, собранных с января по июнь 2023 года. Также в состав входит адрес и название организации, список рубрик и оценки пользователей. Датасет может быть использован для сентимент-анализа с определением эмоциональной окраски текста и лингвистического анализа с изучением языковых конструкций. Подробнее о новом датасете читайте также на Хабр.