TGViewer
Channel Public Channel
Бегущий по лезвию данных

Бегущий по лезвию данных

@data_dg

Канал о том, как я пришел в IT после 30 и что я тут делаю.

DA & BI
По вопросам - в сообщения канала
Subscribers
1.21K
Photos
232
Videos
30
Links
55

Showing posts older than #85 · Back to latest

Older Posts 17 shown
Post #84 613
Читал статью 2019 года про Арктику и приметил такую визуализацию от Deutsche Welle. Вопрос из чистого интереса. Что бы вы в ней поменяли, коллеги?
  • 👍 1
Post #82 821
Подвожу итоги года 🎯

2024 круто изменил мою жизнь. Это был год активных действий, работы и учебы. Отмечу основные моменты, чтобы вернуться к ним через год.

⓿ Перебрался в Москву из области
❶ Прошел 3/4 курса DA+
❷ Дважды получил работу аналитиком данных
❸ Вырос по доходу и скиллам
❹ Создал этот канал

Год назад я ставил целью хотя бы не забросить учебу. О получении работы аналитиком данных можно было только мечтать под бой курантов, настолько это казалось далеко.

В реальности все оказалось быстрее и проще. Нужно только дерзновение и упорство.

В 2025 постараюсь сделать ещё лучше. Желаю этого и всем вам.

С наступающим, коллеги! ❄️
  • 🍾 20
  • 🔥 6
  • 🎄 4
  • ❤ 2
Post #80 845
На самом деле не только среди менеджеров нет понимания отличий между разными дата-работягами. Даже многие разработчики этой разницы не видят. Не говоря уже о том, что про всю дата-сферу могут сказать «это же почти IT». Наброшу на вентилятор, но возможно доля правды в этом есть, поскольку последнее время дата-направление растет со всех сторон и как бы в процессе немного вываливается. Возьмём условный завод по производству промышленных станков. Разработку и поддержку сайта такой завод скорее отдаст на подрядчиков, а для аналитики и отчётности заведет отдел из 3 аналитиков и 1 дата инженера. К слову, собесился однажды в похожее место. Вот за счёт таких кейсов и складывается некое отделение, то есть за счёт более тесного взаимодействия с бизнесом. При этом я не думаю, что это плохо, даже наоборот. Плюс ещё несколько лет назад не наблюдалось такого многообразия специализаций, а сейчас даже в рамках курсов разделяют DA и BI. Интересно, насколько все поменяется ещё через пару лет.
  • 🤔 5
Post #79 927
Сегодня мне исполнилось 100000. Чуток постарел.
  • 🫡 9
Post #75 1.04K
Попалась на глаза треш-вакансия. Даже не знаю, что меня больше удивляет в таких вакансиях — количество откликов или совершенно охреневшие работодатели. «Никаких совмещений, зарплата – четверть ветки». При этом на нормальных вакансиях порой всего по 30-40 откликов. А вам попадались такие вакансии? Что думаете об этом?
  • 👀 6
  • 😁 2
  • 😱 1
Post #73 796
«После 30 мозг высыхает»

Почитал тут один аналитический чат, в котором случился целый наплыв адептов «сухого мозга после 30». Вспомнил, что это еще один вид комментариев, которые могут сильно демотивировать начинающих. Основной тезис — после 30 мозг уже настолько закостенел и потерял гибкость, что все ваше обучение будет медленным и неэффективным, вы не угонитесь за молодыми, а потому нечего и начинать. Узнали? Согласны?

Что не так в этом тейке?

1. Он гиперболизирован

Обычно подается так, что после 30 вам тушат свет, все, конец жизни, судьбу не изменить. Кто пишет такие комменты? Это два типа людей: старожилы, которым обидно, что в их святую обитель пришли люди со стороны, и те, кто потерпел неудачу и ищет себе оправдание. Когда я преподавал детям, то заметил, что если ребенок не может справиться с какой-то задачей, то часто заявляет, что «это невозможно». Многие взрослые тоже предпочитают «это невозможно» вместо «у меня не получилось». Что касается первых, то они просто хотят защитить свою трушность, проходим мимо и все.

2. Вопрос изучен не до конца

Так, если раньше считалось, что пресловутая гибкость теряется уже после 25 (я помню, как мне это еще в университете транслировали), то сейчас пришли к мнению, что процесс только берет начало в период с 30 до 40 лет. Опять же — можно измерять разные вещи. Если речь идет про использование тех навыков, которые вы уже приобрели ранее, то это одно. К примеру, у шахматистов пик способностей приходится на 30-37 лет. Способности к изучению нового — другое. Многое зависит от того, насколько интенсивно вы учились ранее и как ваша текущая деятельность связана с когнитивными нагрузками. Подробнее смотрите в этой статье. Если кратко — да, процессы старения необратимы, но если вы продолжаете учиться во взрослом возрасте, то шансы сохранить ясный ум в старости выше. Еще из интересного — взрослые учатся лучше, если префронтальная кора «выключена» когнитивным истощением, которое наступает после выполнения сложной задачи.

3. Гонки нет, у всех свой путь

Это вообще вредное занятие, потому что мы обычно представляем других ого-го, а самих себя неизвестно кем. Да и вообще это не турнир с рейтинговой таблицей. Ну да, есть много выпускников из крутых вузов, которые устремятся в лучшие компании и преуспеют там. Но это вовсе не значит, что на рынке не останется места для вас. Тем более, что у вас есть опыт в другой сфере, а это нередко может оказаться ключевым при отборе кандидата. Представим, что сеть медицинских клиник ищет аналитика данных, а тут вы с пятилетним опытом в медицине и годом в аналитике.
Это мэтч.
  • 🔥 14
  • ❤ 2
  • 💯 2
Post #72 708
Бегущий по лезвию данных Дропнул табличку, которая разрослась из-за неправильного джойна. То есть сам джойн-то был правильный, просто кто-то не посмотрел, есть ли повторы данных в ключе...
К слову, на эту тему есть хорошая статья на Хабре, рекомендую.
Habr Понимание джойнов сломано. Это точно не пересечение кругов, честно Так получилось, что я провожу довольно много собеседований на должность веб-программиста. Один из обязательных вопросов, который я задаю — это чем отличается INNER JOIN от LEFT JOIN. Чаще всего ответ...
  • 🔥 2
Post #71 635
Дропнул табличку, которая разрослась из-за неправильного джойна. То есть сам джойн-то был правильный, просто кто-то не посмотрел, есть ли повторы данных в ключе...
  • 😨 3
  • 🔥 1
Post #70 684
Второй месяц на новой работе ✅

✍ Дорогой дневник, синий банк выкупил банк, в котором я работаю...

🥲 То ли мы насилуем Кликхаус, то ли он нас... Ещё предстоит разобраться

😵‍💫 В Яндекс Практикуме пришлось взять переход в другую когорту, посмотрим, как это будет

👀 В рамках стороннего проекта снова поработал с pymorphy2

⚡️ Наконец-то закрыл одну из задач испытательного

🦫 Обзавелся кружкой DBeaver

👌 А ещё внедрил в команду аналитиков чат с мемами (да, они жили без него!)
  • 🔥 13
  • 😁 5
  • 👍 2
Post #69 668
  • 😁 8
Post #68 786
AI вас всех заменит
«AI вас всех заменит»

О, сколько копий сломано на этом тейке. Как пример, вы можете прочесть вот эту маленькую статью, а также пройтись по комментариям. Аргументов хватает у каждой из сторон, однако сторонники "замены" обычно не дают точных сроков ее, этой самой "замены", точного наступления. Вне зависимости от того, кто из них прав, я бы вообще не рекомендовал тревожиться об этом, если вы только начинаете свое обучение.
И вот почему:

* чтобы вкатиться вам нужен максимум год, за это время ситуация не изменится настолько, что вы не сможете найти работу из-за AI
* шум вокруг AI привлекает инвестиции, стоит помнить об этом, когда читаете новости
* механизм принятия решений AI не очень прозрачен, что создает дополнительные риски для компаний
* люди несут ответственность за свою работу, с них можно спросить
* любой модели потребуется оператор, который будет писать промты
* даже если настанет день, когда самые технические роли заменит AI — вы спокойно перейдете в системные аналитики, потому что ни одна модель не выдержит такое количество созвонов
* в промышленном масштабе использование AI — дорого и ресурсоемко
* для узконаправленного использования AI необходимо обучение модели, а для обучения — данные, а там где данные, там и вы)

А вообще сегодня я ковырял легаси SQL-скрипт, собирающий таблицу с агрегированными данными. Скрипт состоит из нескольких запросов, но занимает две с половиной тысячи строк. Хотелось бы посмотреть, как человек пытается составить промт, чтобы LLM выдал нужный ответ в виде такого скрипта.

Так что пока AI наш друг и товарищ, а до всего остального еще дожить нужно)
  • 💯 11
Post #67 821
«IT осталось недолго»

Вчера на стриме у Евгения Виндюкова я немного поднял тему комментариев, краткий смысл которых можно свести к фразам «у тебя не получится», «после 30 поздно», «вы не найдете работу» и так далее. Мы можем услышать такие комментарии от знакомых или прочитать под видео о смене профессии. О том, почему люди их оставляют поговорим позже – это отдельная большая тема. Сейчас хочется посмотреть на сами тейки. Один из них – IT осталось недолго, скоро хайп закончится, раньше такое уже было с юристами и экономистами. Думаю, вы знаете эту точку зрения.

Я сам так считал в начале 2010-х. В итоге такая точка зрения обошлась мне довольно дорого. Ситуация с IT отличается от хайпа на юристов 20 лет назад, потому что здесь в основе лежат трансформации во всем мире, а не в отдельно взятой стране, резко вывернувшей в капитализм. IT будет меняться, но никуда не денется. Лучшей иллюстрацией к этой мысли будет диаграмма количества данных, ежегодно создаваемых в мире. Больше конкретики можно увидеть в этой статье, там есть ссылки на источники. В следующий раз напишу про ещё один миф из комментариев.
  • 👍 8
  • 👏 2
  • 🆒 2
  • ❤ 1
  • 🔥 1
Post #66 645
Volume of data/information created, captured, copied, and consumed worldwide from 2010 to 2023, with forecasts from 2024 to 2028
  • 👍 5
Post #65 712
Первый месяц на новой работе ✅

Что я посоветовал бы себе в прошлом, чтобы сейчас было проще?

— Изучи базовый CLI, обязательно 👨‍💻
— Обдумай, в каких случаях запрос будет создавать дубликаты. После этого обдумай еще раз 🗜
— Не доверяй легаси-коду 🦞
— Помни про GMT 🗿
— Посмотри, что умеет Кликхаус 🏄‍♂️
— Практикуй Алхимию 🤹
— Используй софты, это важно 👨‍🦽
  • 🔥 7
  • 👨‍💻 2
  • 🗿 2
Post #64 717
На прошлой работе таблица в несколько миллионов строк казалась мне большой. На практике обычно приходилось работать с десятками тысяч строк, иногда – сотнями. В такой ситуации не сильно думаешь о том, насколько оптимален написанный тобой SQL-запрос.
На текущем месте ситуация совершенно иная, поскольку я сходу перешёл к таблицам в несколько десятков миллионов строк. Однако результат моей работы на этой неделе побил все рекорды – 1 миллиард 250 миллионов строк. Теперь интересно, как скоро я увижу нечто бОльшее.
  • 🔥 13
  • 😱 8
  • 👏 1
Post #63 800
Пополняется библиотека понемногу, собираю животных на обложках как покемонов)
  • 👍 7
  • 😁 1
Post #62 803
Небольшая, но ёмкая статья об отличиях колоночных и строковых СУБД. Прочитайте, если все ещё кратко не получается сформулировать эту разницу. В комментариях добавил гифки.
Курсы Trino, ClickHouse, Airflow, Kafka, МL и ИИ Обучение Колоночные и строковые: виды хранения данных в СУБД Как данные хранятся на диске при разной ориентации хранилища в СУБД: чем отличаются кол
  • 👍 5
  • 🤔 2
Older posts →
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →