TGViewer
Channel Public Channel
data будни

data будни

@data_days

работаю инженером данных и пишу в основном про это.

Профильные ссылки с коротким резюме (статьи, доклады, подкасты), иногда «софтовое» — например, про поиск работы.
Subscribers
1.47K
Photos
120
Videos
1
Links
243

Showing posts older than #125 · Back to latest

Older Posts 20 shown
Post #124 319
Послушать:

Лену Бунину — гендиректора Яндекса и профессора МГУ про то нужна ли математика в программировании.

Вместе с ведущим — Салатом Галимовым — прошлись по всем сервисам Яндекса и прикинули сколько там математики. В среднем по рынку примерно 20% программистам нужна математика. В Яндекса — примерно половине. Например, сделать распределённую устойчивую и быструю базу данных.

Интересно, что математика иногда уходит в полную абстракцию и не совсем понятно как это можно применить в реальном мире. Так было и с популярными сейчас нейросетями — математическую основу для придумали ещё в 70-х, но до 2000-х годов не было доступной компьютерной мощности для их применения.

https://t.me/ctodaily/1270


Анализ данных и Python

Суровые программисты из Moscow Python пригласили BI разработчика поговорить про анализ данных

Интересно, что ребята быстро пробежались перечислили основные инструменты жду анализа данных и потом долго обсуждали критическое мышление и общие когнитивные способности. Набор обсуждаемых книг тоже получился нетипичным: Thinking Fast and Slow Даниела Канемана и «Слепой часовщик» Ричарда Докинза.

Подкаст в Apple Podcasts

#data_podcast
Telegram запуск завтра ​​🎙 Нужна ли математика программисту? Разбираемся с гендиром Яндекса в России Еленой Буниной. Мы с гостями подкаста много раз отвечали на вопрос, нужно ли знать математику и иметь университетское образование, чтобы заниматься программированием. Но вопросы…
Post #122 410

Forwarded from Под капотом Яндекс.Такси

Yandex.Go Data Driven Backstage

Не секрет, что в Yandex.GO (Такси, Драйв, Лавка, Еда) умеют работать с данными. Но прежде чем стать кристально чистой эссенцией пророческих знаний, данные проходят через несколько стадий очистки, перегонки и выдержки — за все это отвечает наша служба DMP (Data Management Platfrom).

На конференции SmartData ребята из службы DMP подсветили часть интересных нюансов про внутреннее устройство подготовки данных для аналитики всего Yandex.GO.

Highly Normilized Hybrid Model
Для того, чтобы сделать структуру DWH гибкой, существуют современные подходы к проектированию: Data Vault и Anchor modeling — похожие и разные одновременно. Задавшись вопросом, какую из двух методологий выбрать, Евгений и Николай пришли к неожиданному ответу: выбирать надо не между подходами, выбирать надо лучшее из двух подходов.

Как мы разрабатываем DMP для Yandex.GO
Владимир рассказывает про мотивацию, которая нужна для разработки собственного ETL-инструмента, про превращение ETL и DWH в DMP. Из доклада вы узнаете, какие проблемы возникают в процессе разработки DMP и про опыт их решения.

P.S.
Наши ребята засветились в еще одном интересном докладе Максима Стаценко Обзор технологий хранения больших данных как эксперты.

P.P.S.
А еще DMP Такси нанимает
Post #121 482
Ложная дихотомия

Ложная дихотомия — это когда кажется, что выбора всего два и надо обязательно выбрать один из них.

Я, как один из тех, кто только выучил новый термин, люблю это рассказывать (вот как сейчас) и находить ложные дихотомии в чужих решениях. Например, с работой: люди решают оставаться или уходить — хотя таких работ на рынке очень много и есть из чего выбрать.

А вчера обсуждали с коллегой курсы по Tableau: он говорил, что дорого — а я вступился и начал оправдывать эту цену (зачем-то). Интересно, что я даже не заметил, как сам провалился в ложную дихотомию! Пока коллега не предложил третий вариант, у меня в голове было всего два выбора: «дорого» и «не дорого».

А вариант, кстати, отличный: за цену групповых курсов нанять себе личного ментора с большим опытом и получить 20+ часов персональных консультаций.

Ложная дихотомия на Википедии
Wikipedia Ложная дилемма ошибка в рассуждения или логике
Post #120 312

Forwarded from Datalytics

Мальчишки и девчонки! Мы в Практикуме планируем в этом году кратно увеличить количество полезного и задорного образовательного контента, посвященного дата-профессиям.

Мы умеем делать тексты такими, чтобы студенты в них влюблялись: интересными, понятными, образовательными на 100%. Но ничего не получится без экспертов, которые готовы делиться своим опытом и вместе с нами превращать знания в качественный образовательный опыт: продумывать структуру уроков, генерировать и искать датасеты для заданий, придумывать примеры, описывать простыми словами сложные теоретические концепции, создавать проверочные задания и квизы.

Поэтому мы ищем людей, профессионально разбирающихся в таких темах как data science, data analytics, data engineering, готовых вместе с нами делать топовый edtech-контент. Так победим!

Ссылка на вакансию тут

Присылайте резюме на почту polinanagorna@yandex-team.ru или в Telegram Полине @polinanahor
Yandex.Practicum on Notion Автор курсов по анализу данных и data science в Яндекс.Практикум Яндекс.Практикум — сервис онлайн-образования, который помогает людям расти на работе и в жизни. Так, направление аналитики готовит студентов к джуниорской позиции в анализе данных и data science.
Post #119 327
Новый джуниор замедляет команду

Чтобы начать приносить пользу, надо много чего узнать. Даже опытным ребятам надо время, чтобы разобраться в новом проекте. И чем меньше опыта, тем больше нужно времени.

А ещё на адаптацию нового сотрудника нужно время сотрудника бывалого — время, которое он мог бы потратить, например, на код. Поэтому новый сотрудник замедляет команду, а не наоборот.

Как может новый сотрудник приносить пользу?

«взгляд новичка» — опытные ребята отдельно прокачивают навык смотреть на свой проект как первый раз. Ведь когда ты сам всё спроектировал с нуля, нестыковки и дефекты уже не бросаются.

А новому сотруднику и тренировать ничего не нужно — он и так всё видит впервые. И поэтому может подмечать что ему было неудобно и где ему жмут новые процессы. Про коммуникацию в слаке, про расположение корпоративных документов, про процедуру регулярных созвонов.

Вот Всеволод Скрипник показывает хороший пример (хоть он и совсем не джуниор)
https://t.me/vsvld_skrpnk/293

Главное не перегнуть палку, делясь потом наблюдениями :-) Для этого можно представить как Гарри Поттер на своей первой неделе даёт Дамблдору ценные указания™ по улучшению Хогвартса.
Telegram Когда падает продакшен Сегодня был мой первый рабочий день в fedorandsamat.com Первый день задаёт ритм, поэтому я придумал с этого дня каждую неделю в понедельник отправлять им на рассмотрение Предложение по Улучшению «Феди и Самата», сокращённо ПУФС. Сегодня улетел первый пуфс…
Post #118 352

Forwarded from запуск завтра

🎙 Образовательный проект «Кружок» ездит по маленьким российским городам и деревням и знакомит подростков с веб-разработкой, музыкой, астрономией и журналистикой. За 3 года «Кружок» был в Калининградской области, Дагестане, Республике Марий Эл и еще в 16 разных поездках.

Это эпизод о людях, которые делают «Кружок» и о тех, кто в нем участвует. Вы услышите голоса и звуки из Тарусы, дагестанского села Хрюг и марийской деревни Сардаял; ссылки ведут на сайты, которые сделали подростки. А ещё, я чуть не расплакался во время этого интервью.

Один из лучших наших эпизодов, блестящая работа нашего редактора Юли Яковлевой и звукорежиссера Нины Мамотиной, слушайте на всех платформах: Apple, Google, ютуб, Castbox, Spotify, Яндекс, Overcast и веб-версия.

А ещё кружок снимает офигенные короткие фильмы о своих поездках, их можно посмотреть на ютубе. Поддержать проект можно вот тут.
Post #117 315
ребята из «Кружка» ездят по глубинке и показывают детям «другую жизнь»: как работают компьютеры, что есть такой интернет, как можно там что-то делать. Для детей это действительно больше дело — говорю как выросший в небольшом городе.

Послушайте подкаст или почитайте про ребят на сайте. Это большое и важное дело.

https://kruzhok.io/

Не знаю, как ребята это всё успевают в довесок к основной работе. Не могу пройти мимо — оформил ежемесячный взнос.
kruzhok Некоммерческий проект «Кружок» Помогаем проводить бесплатные учебные программы там, где они нужны.
Post #116 286

Forwarded from Че-куда?

Это такая базовая гигиена, можно просто по шагам делать и получится лучше, чем было.
Post #112 277

Forwarded from Че-куда?

Как улучшить таблицу или график.

Часто приходится отправлять эти видосы кому-то.
Выложу сюда.
Post #111 269
В каждой своей гугл таблице делаю так. И в чужих стараюсь тоже)
Post #110 311

Forwarded from Reveal the Data

У меня есть две огненные вакансии про BI и Табло в Яндекс.

📈 BI-аналитик в Яндекс Go
Это новая позиция для Яндекса. Ищем человека, который хочет быть на стыке аналитики и визуализации. Вашей задачей будет развивать отчётность большого направления — аналитики приложений Яндекс Go. Необходимо разрабатывать стратегию развития отчётности, собирать данные и делать классные отчёты. Больше всего задач именно про дашборды, но придется готовить и данные. Вы не будете делать все-все дашборды для подразделения, но будете внутренним центром экспертизы по визуализации и Табло внутри команды продуктовой аналитики. Я же буду помогать вам советами и менторством.

Позиция уровня мидл/джун. Нужны классные навыки создания отчётов, сильный SQL, питон как преимущество.

Руководитель — Андрей Кармацкий, которого я считаю нереально крутым специалистом по визуализации и сложным аналитическим инструментам.
Описание вакансии на сайте


📊 Эксперт по визуализации в Маркет
Это позиция уровня тим-лида или мидла, готового к росту. В Маркете есть большая установка Табло и необходимо создать центр компетенций по визуализации. По сути, такая же позиция как у меня в Такси — нужно управлять BI-системой как продуктом. При этом на первом этапе нужно сделать примеры классных отчётов руками, провести обучение, наладить процессы организации контента на сервере, создать задачи на развитие инфраструктуры.

Здесь понадобятся как сильные навыки управления проектами и постановки целей, так и отличные знания визуализации и Табло. Моя команда на первом этапе поможет с примерами того, как это построено у нас.

Руководитель — Максим Левко, отвечающий за развитие DWH и инфраструктуры аналитики в Маркете.
Описание вакансии на сайте


Обе позиции в Москве, но с крутым кандидатом готовы обсудить и другие города. Зарплата обсуждается после интервью. В Яндексе классный соц. пакет, приятные коллеги, премии, опционы и просто интересно.

Присылайте мне в личку CV и небольшой рассказ про себя, смогу разместить вас в рекомендательной системе, или откликайтесь на сайте.

Готов ответить на вопросы — @rbunin
#вакансия
Post #108 298
data будни Тред про роли в data отрасли https://twitter.com/dsunderhood/status/1352239176817778691
И ещё пост главного по экспериментам из YELP о том, что все роли хороши и всех надо уважать и ценить. «Дата саентист» — это не следующая ступень развития аналитика. И вообще не надо всех подряд называть «дата саентистами».

https://www.linkedin.com/posts/eric-weber-060397b7_data-datascience-activity-6754417602614882304-_37T/
Post #107 291
data будни Тред про роли в data отрасли https://twitter.com/dsunderhood/status/1352239176817778691
красивая картинка оттуда про разделение труда в работе с данными
Post #106 298
Post #105 293
Недавно на проекте пригодилась information schema. Надо было сделать технический аудит существующей базы данных: проверить все таблицы и их колонки.

В заметке ещё несколько полезных знаний о PostgreSQL:
⁃ количество таблиц в базе
⁃ размер таблицы
⁃ активные подключение к базе
⁃ удаление дубликатов в таблицах без primary key

https://tproger.ru/translations/useful-postgresql-commands/
Older posts →
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →