Аналитика данных / Data Study

Привет!

Все кто сейчас находится в начале своего пути становления аналитиком: с нуля или переход из другой сферы.

ЗАВТРА для вас будет анонс с полезными материалами! 🤝🥲

Сейчас рынок стал более жестким, это факт. Работодатели хотят нанимать с рынка твердых кандидатов, для этого нужно освоить фундаментальные навыки и инструменты. Дальше на них уже можно наращивать новые знания на работе через опыт и дальнейшее обучение.

Будем вместе с вами проходить путь построения этого фундамента, чтобы выделяться из всего множества кандидатов.

Важно понимать, что требует рынок и быть готовым соответствовать ему 🧑‍💻

Книга выше ☝️
Моя рекомендация аналитикам погрузиться в процессы инженеров данных и понять как проходят трансформации данных перед тем как они попадут в красивый вид табличек в хранилище.
У нас в Сравни все аналитики сейчас работают с dbt, собирают витрины данных, готовят data-контракты на загрузку данных. Инженеры данных грузят сырой слой данных, помогают оптимизировать запросы для сборки витрин и других аналитических задач.

Analytics Engineering with SQL and dbt / Rui Machado

"With the shift from data warehouses to data lakes, data now lands in repositories before it’s been transformed, enabling engineers to model raw data into clean, well-defined datasets. The data build tool (dbt) helps you take data further. This practical book shows data analysts, data engineers, BI developers, and data scientists how to create a true self-service transformation platform through the use of dynamic SQL."

Скачать книгу

Как лучше писать резюме чтобы пройти ИИ-скрининг

Крупные компании используют ИИ для отбора резюме кандидатов на позиции. Это дополнительный этап воронки, который сокращает выборку резюме и кандидатов для более детального отбора рекрутером.

Увидел пост от Вышки с классной мыслью, что

более развернутые резюме имеют больше шансов пройти дальше

Однако есть свои нюансы) Рекрутеры все равно сами просматривают резюме и читать огромный документ с большим количеством текста они не будут.

Подробнее можете почитать здесь

Отдыхаем от аналитики, данных, задач, новостей
Сегодняшние облака с закатным светом 😍

А у вас какие навыки питона? 😂😂😂

Ребят, спасибо всем за заполнение формы и ответы на вопросы!
Очень ценно получить ваши ответы 😃
Могу сказать что и для постов в канал подчерпнул несколько идей что вам интересно 🔥

Буду рад, если кто-то еще не успел, заполнит ее сегодня-завтра

🔜Заполни анкету, ответив на вопросы

Если заполнил анкету, ты гарантировано получишь 50% скидку на любой из моих курсов или 50% скидку на личную консультацию (на твой выбор)

Я создавал канал с целью делиться знаниями и просто полезными ресурсами. Я преследую эту цель до сих пор и с огромным вдохновением пишу для тебя посты, которые как мне кажется должны нести ценность и новые знания.

Следующий пройденный шаг - создание образовательного курса для новичков в аналитике, чтобы обучать заинтересованных в этом людей и помогать им дойти до их целей 🎯: начать работать аналитиком, повысить свой уровень жизни и дохода, перейти на удаленку, найти работу с релокацией. Больше 100 учеников, десятки из них нашли свою первую работу аналитиками. Я максимально вкладываюсь в обучающие материалы и сам процесс обучения, чтобы каждый ученик получал то, за чем он пришел ко мне - знаниями и опытом для достижения своей цели.

🔜Сейчас у меня есть желание сделать максимально полезный и доступный обучающий материал для уже работающих аналитиков и других специалистов, кому близок анализ и работа с данными.

Чтобы это сделать, я хочу попросить вас, дорогие аналитики, написать
❓какие у вас есть запросы на обучение, которые у вас сейчас не закрыты❓
❓какой навык в своей работе вы считаете самым важным и часто применимым❓
❓чему вы бы в ближайшее время хотели обучиться, погрузиться глубже в изучение❓
❓чему вы бы хотели обучиться лично у меня, опираясь на мой опыт и знания❓

Долго готовлю курс для аналитиков, обогащая его практикой работы с базами данных, ETL инструментами и облачными сервисами. В итоге у меня получается курс для аналитиков-инженеров - спецов, которые умеют решать аналитические задачи и задачи инженера данных, чем я сам и занимаюсь.

🚨 Я хочу посмотреть насколько курс покрывает потребности аналитиков с их набором навыков и инструментарием. И если чего-то не хватает или что-то лишнее, скорректировать программу, давая ученикам только максимум пользы. Поэтому прошу заполнить вас анкету! 🚨

🔜Заполни анкету, ответив на вопросы

Если заполнил анкету, ты гарантировано получишь 50% скидку на любой из моих курсов или 50% скидку на личную консультацию (на твой выбор)

Вчера вам рассказал про сахар в sql, а сегодня поговорим про соль 🧂

Для чувствительных данных, например паролей, токенов доступа, и в целом других персональных данных, очень важна безопасность их хранения и передачи между системами.

Одним из методов повышения безопасности хранения данных является метод "добавления соли". Это процесс добавления случайной строки к значению реальных данных перед применением функции хэширования.

Представьте, вы зарегистрировались на очередном сайте с паролем "pass123". Пароль не сложный и велика вероятность, что если система запишет ваш пароль в явном виде в свою базу данных, то велик риск утечки пароля путем простого подбора или взлома базы пид**асами злоумышленниками.

Чтобы хранить пароли более надежно, делают 2 шага

1️⃣ добавление "соли".добавить например к значению пароля время регистрации или другое значение, может быть даже константную строку.
"pass123_2025-07-24" - пароль с солью

2️⃣ хэширование пароля с солью. например, применить криптографическую функцию md5
получится хэшированое значение "66783cf604b579391670d1f380c4e4ad"

Почему бы просто не сделать хэширование без соли?
Есть вероятность подбора значения хэша для довольно распространенных паролей. Например, можно создать так называемую радужную таблицу, где будет сгенерирован хэш на разные значения паролей. Но при добавлении соли сложность пароля получается увеличивается и подобрать логику "какая конкретно соли была добавлена и по какой логике" - уже не так легко.

P.S. можете еще погуглить эту тему через запрос 🔎 "salt в криптографии"

🔥 если было интересно прочитать пост и узнали что-то новое

Лето - время выбора ...

Для кого-то это выбор места в отпуск. А для выпускников это время выбора дальнейшего места обучения.

По своему опыту знаю как сложно было определиться с магистратурой. С одной стороны есть свои критерии выбора ВУЗа, факультета, программы обучения. Хочется чтобы это обучения было максимально полезным для тебя и будущей карьеры. С другой стороны есть множество предложений с разными фишками.

Для меня было важно
🔹 учиться в одном из топовых ВУЗов страны с сильным дипломом
🔹 получить прикладные знания для моей профессии
🔹 иметь возможность учиться на бюджете
🔹 изучать дисциплины, которые ведут настоящие преподаватели-практики

Одна из подходящих под мои критерии - программа онлайн-магистратуры по аналитике и инженерии от МИФИ и школы Simulative.

Важно что данная программа направлена на практику. Учишься в ВУЗе и практикуешься в решении реальных бизнес-задач, это просто мечта. Обучение идет в онлайн-формате для вашего удобства, есть бюджетные места, а в конце - диплом одного из лучших технических ВУЗов страны.

И бонус для тех кто успеет до 25 июля записаться в магистратуру - участие в 8-недельном тренинге, на котором научитесь делать выводы на основе данных.

Подробнее о программе - тут!

Делай свои sql запросы слаще!

В языках программирования есть такое понятие как "синтаксический сахар". Это конструкции, которые упрощают написание кода, делают его лаконичным и понятным для разработчика/аналитика. При этом эти синтаксические конструкции преобразуются в более низкоуровневые команды языка для выполнения той функции, которая заложена в конструкцию.

Несколько примеров из SQL 👇

BETWEEN - конструкция для обозначения диапазона значений вместо конструкции с применением AND и знаков неравенства

—синтаксический сахар
WHERE price BETWEEN 10 AND 30 

—прямая логика выражения для планировщика запроса будет такая
WHERE price >= 10 AND price <= 30 

IN - конструкция для перечисления множества значений. Но для планировщика это значения с условиям оператора OR

—синтаксический сахар
WHERE customer_id IN (5, 7, 12) 

—логика для планировщика
WHERE customer_id = 5 OR customer_id = 7 OR customer_id = 12

CTE (общие табличные выражения) тоже можно отнести к синтаксическому сахару. они реально очень упрощают чтение запросов, но при этом функционал sql позволяет работать и без их использования, обходясь подзапросами.

Можете кстати проверить разные конструкции синтаксического сахара через план запроса и посмотреть во что они преобразуются 😉

Знали про само понятие как "синтаксический сахар" раньше?
👍 - знал
🤓 - узнал сейчас

Синдром самозванца

Синдром самозванца - психологический синдром, при котором человек не может реально оценить свои качества и личные достижения. Человеку кажется, что он знает меньше других и не достоин того что сейчас имеет. Это проблема адекватной оценки своих достижений и умений.

Лично у себя я ловлю такие мысли иногда, что я "делаю мало", "знаю недостаточно хорошо", "не заслуживаю чего добился" или "мог бы в свои годы достичь большего".

Знакомо❓

Несколько способов как бороться с этим:

1️⃣ Сравнивайте свое текущее состояние с тем что было 1/2/3 года назад
В моменте может показаться, что вы непродуктивны или двигаетесь не так быстро как хотелось бы. Но если вы сравните себя текущего с собой из прошлого, то скорее всего удивитесь как много вы сделали и достигли за это время.

2️⃣ Спрашивайте обратную связь о себе со стороны
Мы себя видим одним образом, люди со стороны могут видеть вас совсем по-другому. Спросите у своих родственников, друзей, коллег что они думают про вас.
- Как бы они вас описали в нескольких предложения, подчеркнув ваши основные черты
- Какие они видят в вас сильные стороны
- Какие они видят в вас недостатки (увы, они есть у всех, но с ними можно работать 👌)
Вы удивитесь сколько нового можно узнать о себе взглядом других людей со стороны.

3️⃣ Всегда занимайтесь саморазвитием и ставьте перед собой цели
Банально, но это дает гарантию, что вы можете оцифровать свои достижения по явному чек-листу прописанных целей. Достижение цели и проставление заветной галочки done ✅ напротив нее дают вам заряд положительных эмоций и фактическое признание своего достижения.

Это пункты, которые я взял себе на вооружение, вы их тоже можете попробовать 😉

Оптимизация запросов в PostgreSQL / Домбровская Г.

"Книга поможет вам писать запросы, которые выполняются быстро и вовремя доставляют результаты. Вы научитесь смотреть на процесс написания запроса с точки зрения механизма базы данных и начнете думать, как оптимизатор базы данных. Объясняется, как читать и понимать планы выполнения запросов, какие существуют методы воздействия на них с точки зрения оптимизации производительности, и показано, как эти методы используются вместе для создания эффективных приложений."

Скачать книгу

Временные таблицы в базах данных

В ETL процессах часто возникает необходимость в промежуточном хранении данных. Одним из эффективных решений для этой задачи являются временные таблицы.

🔎 Временная таблица — это специальный тип таблицы в базе данных, которая существует только в течение сессии пользователя или до конца транзакции. Она создается для временного хранения данных и автоматически удаляется после завершения работы.

Чем они отличаются от обычных таблиц?

1️⃣ Временность: Временные таблицы существуют только в течение сессии или транзакции, тогда как обычные таблицы сохраняются в базе данных до тех пор, пока их не удалят вручную.
2️⃣ Изоляция: Временные таблицы видны только в пределах текущей сессии или транзакции, что обеспечивает изоляцию данных между разными пользователями или процессами.
3️⃣ Производительность: Временные таблицы часто хранятся в оперативной памяти, что позволяет значительно ускорить операции с данными.

Эти особенности и дают плюсы использования временных таблиц для оптимизации ETL

Пример создания временной таблицы в SQL из результата SELECT запроса:

CREATE TEMPORARY TABLE temp_table (
    id INT,
    name VARCHAR(50),
    value DECIMAL(10, 2)
);

--либо создание из результата SELECT запроса
CREATE TEMPORARY TABLE temp_table AS 
SELECT 
id
, name
, value
FROM table
;

Также хочу отметить, что временные таблицы позволяют оптимизировать выполнение запросов, если вам нужно преобразовывать и извлекать данные из множества разных таблиц в базе. Например, если из таблицы с продажами за все время вам нужны продажи только за последний месяц для разных видов расчетом, сохраните продажи за последний месяц во временную таблицу и обращайтесь к ней для ваших расчетов, чтобы не делать несколько тяжелых запросов к таблице всех продаж.

🚙 Наш маршрут Road Trip

📍Архыз
📍Домбай
📍Кисловодск
📍урочище Джилы-Су
📍Верхняя Балкария
📍Северная Осетия

Я готовился к путешествию в основном по видео блогеров Своим Ходом, они путешествовали в автодоме по Кавказу в прошлом году. Я так вдохновился местами и красотами, что решил повторить частично маршрут и увидеть все своими глазами.

Расписывал маршрут по дням и времени когда и на какую точку нужно поехать, как передвигаться между локациями и где ночевать.

Топ 3 самых ярких впечатления и локации:

1️⃣Софийские водопады в Архызе
Голову снесли пейзажи вокруг и сам трекинг до водопадов с кофе-брейком возле них

2️⃣Домбай
Очумели от высоты и величестве гор вокруг курортного поселка, видом из отеля здесь уже делился. + живописный трекинг и подъем на канатной дороге.

3️⃣Эльбрус и суслики
Ездили в урочище Джилы-Су с ночевкой. На рассвете нам открылся величественный Эльбрус. Завтрак и кофе на газовой горелке + все утро кормили милых и пугливых сусликов

Помимо этого мы посетили еще большое количество мест, одни переезды от локации к локации приносили уйму эмоций и новые пейзажи за окном.

Возможно вы тоже захотите посетить эти места 😉 Пишите, если захотите спросить что-то более детально