TGViewer
Channel Public Channel
Аналитика данных / Data Study

Аналитика данных / Data Study

@data_study

Помогаю аналитикам расти в профессии и доходе

Курс по продвинутому SQL и автоматизации потоков данных https://datastudy.ru/sql_advanced

По всем вопросам: @daniildzheparov

Канал в MAX https://max.ru/id591908196110_biz
Subscribers
9.46K
Photos
628
Videos
68
Links
464

Showing posts older than #989 · Back to latest

Older Posts 20 shown
Post #988 3.47K
Мой ученик вернулся с классной новостью - получил свой первый оффер и теперь работает аналитиком в game dev. компании!

Ваше упорство в обучении приводит к заслуженным результатам в конце 😉

Давайте порадуемся за Тимофея 🔥

#кейс
  • 🔥 46
  • 👏 9
  • 👍 8
  • ❤ 2
Post #987 5.3K
Автоматизируем парсинг данных с сайта на Python

В видео рассматриваем 3 шага парсинга данных на примере получения статей с сайта techcrunch.com:

1️⃣ получение данных с сайта с помощью requests и beautifulsoup и преобразование в pandas dataframe
2️⃣ загрузка полученного датафрейма в таблицу базы данных PostgreSQL
3️⃣ автоматизация первых 2-х шагов с помощью Cloud Functions

Уверен, что большинство из вас раньше не слышали или не использовали Cloud функции для своих задач, поэтому 3️⃣ пункт из видео будет для вас очень полезным. Это позволяет избавиться от отдельных cron-джобов или ETL оркестраторов типа Apache Airflow, они для таких целей излишни.

Для аналитиков, которые сталкиваются с самостоятельным выполнением инженерных задач, например автоматизировать свой код, описанный способ поможет не сталкиваться с настройкой отдельной виртуальной машины и использования командной строки) Еще больше таких решений буду описывать для аналитиков-инженеров, чтобы выдать вам максимальный багаж знаний на стыке аналитических и инженерных задач 😉

В видео кстати не рассказываю, как дальше сделать правильное хранение и обработку полученных данных, чтобы например не записывать одну и ту же статью несколько раз, получать уведомления об успешности парсинга и записи данных. Подумайте как это можно реализовать)

▶️ YouTube
▶️ VK Video
YouTube Быстро и просто автоматизируем парсинг данных с сайта на Python В видео рассматриваем 3 шага парсинга данных на примере получения статей с сайта techcrunch.com: 1. получение данных с сайта с помощью requests и beautifulsoup и преобразование в pandas dataframe 2. загрузка полученного датафрейма в таблицу базы данных PostgreSQL…
  • 👍 27
  • ❤ 12
Post #986 2.93K
Post #985 3.54K
Post #984 2.58K
Записал видео для своих учеников про автоматизацию извлечения данных с сайтов (парсинг). Завтра буду монтировать его и выложу в личный кабинет курса «Основы анализа данных».

В видео рассказываю про очень крутой и быстрый способ автоматизации чтобы ваш код работал по нужному вам расписанию, про который в интернете мало что есть.

Если пост наберет 50 🔥, опубликую видео в открытый доступ 😉
  • 🔥 188
  • ❤ 4
  • 👍 3
Post #981 2.79K
Рынок AI технологий так быстро развивается, что просто не успеваешь на всех ресурсах вычитать самые свежие новости в этой области, здесь хочется делиться больше своей жизнью и текущими задачами в аналитике и инженерии данных.

Поэтому решил завести отдельный канал, еще и немного автоматизировать подготовку контента для него (об автоматизации с помощью в том числе AI расскажу чуть позже).

Над названием ломал голову, думал придумать что-то интересное, звучное и в то же время лаконичное. Придумал игру слов "ИИшница", как же я был рад в этот момент.

Но стоило проверить это название, так сказать "исследовать рынок", оказывается не я один такой гениальный 😅

В общем сейчас встал вопрос: че делать с названием? Думаю доработать его или забить и оставить как есть

Ну и подписывайтесь на канал @ai_snitsa 😉
  • 😁 12
  • 👍 2
Post #980 2.58K
Классная памятка организации встреч, забирайте себе в использование 😉
  • 👍 18
  • ❤ 2
Post #979 2.63K
Мысли о том как я пользуюсь AI

Увидел из голосования, что на самом деле многие пользуются достижениями AI сервисов как для повседневных, так и для рабочих задач.

У меня соотношение использования AI примерно 90%/10%, где 90% - задачи, не относящиеся к работе.

Основная функция AI в рабочих задачах: замена или дополнение привычного всего "загуглить" для быстрого поиска информации. При этом это как правило дебаг или решение ошибок в python коде или sql запросах. Т.е. вместо того чтобы вбить в обычный поиск название ошибки и искать информацию по ссылкам в интернете как ее решить, я предпочитаю сейчас эту работу поручать AI, чтобы получить описание ошибки и возможные пути решения.

А вот все остальные фишки AI как авто-дополнение/генерация кода, структурирование информации, краткие пересказы, генерация идей и другое - это все используется в задачах, относящихся к моей повседневной жизни: написание контента, развитие обучающего проекта datastudy.ru, реализация проектов и аналитических решений на заказ.

Еще недавно общались с коллегами на работе по вопросу "Стоит ли внедрять отдельную компетенцию для аналитиков по знанию и применению AI инструментов и отдельно оценивать ее"
Пришли к заключению, что
пока не стоит

1. оценивая такую компетенцию в матрице, мы можем подтолкнуть использовать AI там, где можно было обойтись без него в рабочих задачах, при этом учитывая конкретную специфику данных и corner cases, которые могут обработать только сами аналитики
2. Может быть неправильная мотивация в обучении компетенции AI у начинающих специалистов вместо того чтобы закрывать дыры знаний реально нужных hard-навыков типа sql, python, bi в рабочих задачах
3. на уровне компании нет пула AI инструментов, рекомендованных для использования и защищенных со стороны информационной безопасности
  • ❤ 20
  • 👍 1
Post #977 3.14K
Сходил к офтальмологу проверить зрение

Зрачки на фотке угар конечно)

Зрение конечно упало, рекомендуют очки для работы 🧐

Сейчас закапали капли, вообще ничего не вижу 😅 (правда так и должно быть, их нужно для расслабления глаз на ночь будет капать)

Берегите зрение, друзья!
  • 👍 19
  • ❤ 6
  • 😁 4
  • 👏 2
Post #976 3.19K
Привет!

Возможно вы в своих задачах сталкиваетесь или в будущем столкнетесь с такой ситуацией, когда обычный pandas будет нагревать ваш ноутбук до предела и сыпать ошибки out of memory, когда вы просто хотите запихнуть в него более тяжелую эксельку чем обычно. Я лично сталкивался с таким неоднократно.

Вполне вероятно, что вам нужно просто воспользоваться другой библиотекой для решения вашей задачи (ну или делить ваши данные на более мелкие пачки).

Статья для такого случая

Также делился материалами про библиотеку polars здесь и здесь

P.S. Не забываем про реакции , это приятно и мотивирует ❤️
  • ❤ 38
  • 🔥 14
  • 👍 5
Post #975 2.95K
Жиза с работы в текущее время 😂

Немного контекста - у нас миграция DWH, поэтому верификация переезда витрин идет уже несколько месяцев. Выходим на финишную прямую
  • 😁 26
  • 🔥 4
  • ❤ 1
  • 👍 1
Post #974 3.13K
Ну вы поняли, действуйте 😉
  • 😁 65
  • ❤ 3
Post #973 4.19K
Действенный способ удаленщика вытянуть в офис - переселите его в новостройку

Смотреть со звуком 🔈
  • 😁 29
  • 🔥 7
Post #972 4.14K
Библиотеки Python для работы с базами данных и SQL-запросами

1. sqlite3
Библиотека
позволяет работать с базами данных SQLite, которые записывают и читают данные с файлов, а значит пользователю не нужно устанавливать сервер для БД, что очень удобно)

2. psycopg2
Модуль
для работы с базами данных PostgreSQL. Также позволяет все основные функции с базой данных: работа с таблицами, написание запросов и т.д.

3. mysql-connector-python
Как
уже понятно из названия, модуль позволяет подключаться к БД MySQL) Включает в себя все те же функции, что и описанные выше модули. Подробная документация доступна по ссылкам в названии модулей

4. pymssql
Модуль
позволяет подключаться к БД Microsoft SQL Server

5. SQLAlchemy
Алхимия
при работе с базами данных из python) Библиотека позволяет подключаться к различным БД. Есть множество функций: создание/изменение/удаление таблиц, извлечение/вставка данных, написание запросов, изменение данных. Библиотека позволяет работать с БД с помощью объектно-ориентированного кода, не используя при этом SQL

6. PandaSQL
Модуль позволяет расширить функционал pandas и писать SQL запросы прямо к датафреймам. Как вариант использования модуля с другими библиотеками, после подключения к БД и извлечения данных, к датафрейму можно писать запросы как будто бы к обычной таблице в БД, не используя синтаксис pandas
  • 👍 18
  • 🔥 2
Post #971 2.8K
Рассказываю как мы профукали самолет из Грузии

Вылет у нас стоял на 22:50 в воскресенье, выселились утром из отеля, оставили там чемоданы и пошли гулять по городу. Примерно в 17:30 сидим в парке на лавочке, едим мороженое, жене пишет подруга не задерживают ли у нас рейс, потому что в Москве в это время сильно испортилась погода.

Захожу на сайт аэропорта, чтобы посмотреть расписание, а нашего рейса в этот день не стоит. Смотрю следующий день, рейс стоит по расписанию, но вылет не наш.
Иду на сайт авиакомпании, проверить бронь. По номеру брони выдает нам другой номер рейса с вылетом в 18:35 😱 (меньше часа до вылета, а мы с мороженым в парке сидим).

Начал копать в почте письма с предупреждением об изменении рейса. И нашел, 11 марта авиакомпания написала общее письмо, даже не именно, что часть рейсов в период апрель-май будут изменены: меняют номер рейса и время вылета. Ну и наш рейс как раз попал под это)

В итоге авиакомпания заменила нам билеты с вылетом на следующий день, у них очень быстро ответила служба поддержки 👌

Меня удивило, что такие важные вещи авиакомпания сообщает только 1 раз с помощью email рассылки, хотя у них есть больше возможностей для коммуникации с клиентом (смс, мессенджеры). С точки зрения аналитики они могут также смотреть статус прочтения электронного письма в почте, а если письмо не было доставлено или открыто - отправлять повторное письмо. Ну и письмо-напоминание каждому пассажиру индивидуально тоже можно отсылать, чтобы люди не сталкивались с такими неприятными ситуациями.

Но мы время зря не теряли, отметили еще один вечер в Грузии с хачапури, шашлыком и Киндзмараули)
  • ❤ 25
  • 🔥 10
  • 👍 4
Post #969 3.01K
За ваше здоровье, друзья 🍷
  • 🔥 39
  • ❤ 7
  • 😁 3
  • 👍 2
Post #966 3.93K
Сегодня отправились в мини-путешествие в Грузию

Не верится что 3 года не выезжали зарубеж 🤔 были путешествия по России

Знатоки Тбилиси, куда порекомендуете сходить?
  • 🔥 28
  • ❤ 5
  • 👍 2
Older posts →
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →