Data Brew

ААА! Авторы Академии Аналитиков Авито выпустили бесплатный курс по прикладной статистике.

В нём две части — первая по базе, которую важно знать для работы с данными, вторая по более сложным критериям.

Пройти можно здесь.

Курс научит собирать и валидировать кастомные критерии на реальных данных, а ещё решать задачи бизнеса с применением прикладной статистики.

📌Основные типы распределений вероятностей в примерах

⏩Статистические исследования и эксперименты являются краеугольным камнем развития любой компании. Особенно это касается интернет-проектов, где учёт количества пользователей в день, времени нахождения на сайте, нажатий на целевые кнопки, покупок товаров является обычным и необходимым явлением. Любые изменения в пользовательском опыте на сайте компании (внешний вид, структура, контент) приводят к изменениям в работе пользователя и, как результат, изменения наблюдаются в собираемых данных. Важным элементом анализа изменений данных и его фундаментом является использование основных типов распределений случайных величин, от понимания которых напрямую зависит качество оценки значимости наблюдаемого изменения.

⏩В данной статье автор делает упор не на функции и формулы, которые обычно сопутствуют распределениям (функции вероятности, распределения, PMF, PDF, CDF). Скорее он пытается показать, как генерируются те или иные распределения на конкретных примерах.

⏩Отличная статья для понимания сути этих распределений и того, как они в итоге применяются на практике для решения конкретных задач анализа.
Enjoy)

📎 Статья

@data_analysis_ml

🔥 170 тестовых заданий для продуктовых аналитиков и аналитиков данных

В четвертой версии сборника к уже имеющимся 133 тестовым от самых разных компаний добавились еще 37 новых заданий.

Каждое новое задание отмечено галочкой NEW. Их список вы также можете видеть на картинке.

Прямая ссылка на сборник 👈 👈👈

Мне очень нужна ваша помощь, чтобы сделать этот сборник еще лучше! Для этого вы можете:

🔸 Поделиться со мной в личных сообщениях тестовыми заданиями для аналитиков, которых еще нет в сборнике;

🔸 Я начинаю коллекционировать тестовые по машинному обучению (ML/DL) и инженерии данных (DE) – их вы тоже можете прислать;

🔸 Найти в сборнике дубли или неточности описания и сообщить о них;

🔸 Опознать компании и позиции для тестовых заданий под именем Unknown.

Традиционно, за любую помощь предлагаю взамен бесплатную 15-минутную карьерную консультацию.)

Используйте сборник для подготовки к интервью и оттачивания своих навыков на реальных задачах. И успехов на собеседованиях!

Сборник из 133 тестовых заданий для продуктовых аналитиков и аналитиков данных

Знаю, что многие из вас хотели получить сборник без регистрации и смс. Так вот, сейчас – ваш шанс!

Публикую сборник в открытом доступе.

Вот прямая ссылка на него 👈 👈👈

В сборнике представлены оригинальные задания от таких компаний как Авито, Тинькофф, Aviasales, Ozon, ВК, Сбер и многих других.

Приятные особенности сборника:

🔸 Каждое тестовое размечено тегами – SQL, Кейс, A/B и т. д. Это сильно упрощает навигацию и поиск задач желаемого типа;

🔸 Задания имеют отметку о наличии датасета. В настоящий момент, 77 из 133 тестовых заданий содержат оригинальные данные. Больше всего мне нравятся те, что связаны с А/B тестами;

🔸 Тестовые имеют ориентировочную оценку сложности. Для справки, 40 из заданий – для джунов, а 58 – для мидлов.

---

Сборник – прекрасная возможность потренироваться к прохождению собеседований.

Если пошарите пост со своими друзьями и коллегами – буду только благодарен. Но прямую ссылку на сборник без упоминания канала большая просьба нигде не размещать.)

Успехов на собеседованиях!

Какие факторы влияют на уровень ЗП?

👉 Уровень образования и опыта (чем выше - тем больше получаешь)
👉 Индустрия (в тех и финансовой отрасли обычно платят больше)
👉 Размер компании и местоположение (в крупных компаниях в больших городах платят больше). В Apple получают $98,322, в Netflix $97,973 с бонусом $14,714.
👉 Спрос на навыки (аналитики с более востребованными навыками получают больше, пример - Python и Excel).

На мой взгляд один из самых важных факторов - личностное навыки (уверенность в себе, умение вести переговоры, адекватная оценка своих навыков). Есть знакомый с хорошим опытом, который получал небольшие 80 тыс. рублей при том, что мог получать гораздо больше при его навыках. Попросить повышения он боялся.

Немного материалов, как вести переговоры о зарплате:
- 10 советов, как зарабатывать больше от Coursera
- 3 выигрышные стратегии по переговорам о ЗП от Harvard
- Как попросить более высокую зарплату от Harvard
- 15 мин. курс от Harvard, как вести переговоры о ЗП

А вы когда последний раз вели переговоры о зарплате?

🖥 Google-Colab-Selenium

Лучший способ использовать Selenium в блокнотах Google Colab!

▪Простая настройка Selenium и ChromeDriver.
▪Бесшовная интеграция с Google Colab.
▪Поддержка ChromeDriver для сложных случаев парсинга.

%pip install google-colab-selenium

import google_colab_selenium as gs
from selenium.webdriver.chrome.options import Options

# Instantiate options
options = Options()

# Add extra options
options.add_argument("--window-size=1920,1080") # Set the window size
options.add_argument("--disable-infobars") # Disable the infobars
options.add_argument("--disable-popup-blocking") # Disable pop-ups
options.add_argument("--ignore-certificate-errors") # Ignore certificate errors
options.add_argument("--incognito") # Use Chrome in incognito mode


driver = gs.Chrome(options=options)

driver.get('https://uproger.com')
print(driver.title)
driver.quit()

➡️Github
➡️Colab

@data_analysis_ml

парочка ссылок которые помогут начать

базовый код для GPT API вызовов https://platform.openai.com/docs/guides/text-generation/chat-completions-api
здесь как считать эмбеддинги документов перед сохранением в индекс с примерами подсчета дистанции https://platform.openai.com/docs/guides/embeddings/what-are-embeddings
распознавание текста по аудио https://platform.openai.com/docs/guides/speech-to-text

стратегии по промпт инжинирингу https://platform.openai.com/docs/guides/prompt-engineering
другие гайды по работе с LLM https://www.promptingguide.ai/

Еще больше гайдов

Туториал по запросам от open ai

https://platform.openai.com/docs/guides/prompt-engineering

Python за 6 часов
Всем привет! Николай Валиотти на связи.

Мой кипрский бро Саша Ильин наконец-то запилил свой шестичасовой бесплатный Python-курс, который теперь доступен на ютубе! 💪
Зная Сашу лично, могу смело его вам рекомендовать: он всегда супер-ответственно подходит к своей работе. Если говорить совсем честно, Саня конкретно упоролся, полгода пилил курс, почти не выпускал другие видео, да и в целом выглядел довольно занятым дядькой 😁

Курс начинается с изучения самых базовых понятий — типы переменных, списки, циклы, функции, а заканчивается декораторами, классами и написанием несложного Telegram-бота!

Если бы мне щас надо было бы изучать Python, я бы точно начал c видоса Саши!

🛠 Микро-эффективность
Перехожу на новый комп, переустанавливаю разные мелкие программы, которые сильно повышают продуктивность. Решил сделать небольшой оффтопик и рассказать вам про них тоже. Они ооочень ускоряют работу, в том числе и с BI. Все тулы бесплатные для индивидуального использования.

1. Бесконечный буфер + заданные фразы
Бесконечный буфер сильно упрощает копирование формул, заполнение форм, вставку данных в таблицы и т.п. А ещё есть вставка определённого текста по шорткатами, это просто мега фича когда можно сохранить любимые формулы для BI и вставлять их по клику. У меня так храниться десяток формул для каждой BI и много utf-символов, которые часто вставляю в дашборды.

Я использую PhraseExpress, он умеет даже делать макросы или подставлять названия скопированного поля данных в гигантскую формулу (правда только на винде). А недавно они ещё сделали интеграцию с ChatGPT и можно отправлять туда промпты и скопированный текст, если есть API ключ, чума. Пользуюсь лет десять, очень удобно, даже готов простить не самый элегантный дизайн 🙈
🔗 Ссылка: PhraseExpress (Win, Mac),ещё Саша подсказал для мака Raycast

2. Типографская расклада
Добавляет много специальных символов (– — ←→ ≠±°€²«» и т.п.) на клавиатуру через нажатый alt/option. Ускоряет печать и приходится меньше переключаться между языками, особенно на маке. Тоже пользуюсь тучу лет, не представляю как без неё жить. Фанфэкт, а вы знали, что в обычной раскладке неправильный минус -, он уже чем плюс +, а правильный такой же ширины: - – + =)
🔗 Ссылка: раскладка Ильи Бирмана (Win, Mac)

3. Скриншотелка
Мастхев при работе с дашбордами. Часто нужно выделить кусочек, подписать или нарисовать стрелочки, проверить выравнивание и т.п. Самая крутая бесплатная скриншотилка это ShareX для винды. Очень гибкая, куча дополнительных инструментов типа записи gif или пипетки для цвета, можно заливать скриншоты себе в облако или просто в буфер обмена. Мне так жаль, что её нет на mac, теперь прям мучаюсь. Если знаете хорошую альтернативу (даже платную), напишите, пожалуйста, в комментах.
🔗 Ссылка: ShareX (Win)

4. Сделать сайт приложением
Сейчас много веб-приложений, их можно легко превратить в почти десктопные версии. Делается очень просто, вот инструкции для винды (работает для всех основных браузеров, не только хром) и мака (только в последней версии ос). Я себе сделал так приложение DataLens, очень удобно.

5. Папка «не прочитанные» в телеграмме
Не приложение, но каждый раз когда вижу как кто-то ищет сообщение, то аж глаз дергается. В телеграмме можно сделать папку «не прочитанные» и не терять важные сообщения в куче каналов и мемов. Делается так: Создаем новую папку → В «Выбранные чаты» добавляем: Контакты, Не контакты, Каналы, Группы, Боты → В «Исключенные чаты» добавляем: Прочитанные и Без уведомления. Вуаля! И в целом, папки — это топ, вот мои подборки.

П.С. Если есть крутые альтернативы этим инструментам или другие полезные тулзы — делитесь в комментах.
#ссылка

Evidence — гибкий BI-инструмент на Markdown и SQL
Мы любим аналитику и уважаем open source, так не могли пройти мимо Evidence. Этот инструмент позволяет собирать наглядные отчеты и документы быстро и легко. Кстати, те, кто с нами давно, помнят, что мы уже рассказывали про него. Но с тех пор канал серьезно вырос, и мы решили, что повторить классную новость нам никто не запретит!

Коротко о главном
🔵 Evidence работает на Markdown и SQL и позволяет добавлять в документ графики, диаграммы, текстовые вставки, ссылки, навигацию и все остальное, что нужно для полной и наглядной подачи информации.

🔵 Evidence превращает документ с данными в статический сайт, который выглядит симпатично и аккуратно даже на разных платформах, а работает шустро. Не придется ждать, пока все графики построятся и загрузятся. Примеры есть на сайте проекта. Не шедевры датавиза, но со своими задачами справляются.

🔵 Инструмент бесплатный, как и размещение получившегося мини-сайта с данными на Evidence Cloud. Можно будет заплатить за премиум 500$ в месяц, чтобы получить дополнительные возможности. Впрочем, никто не мешает решать вопрос с хостингом самостоятельно.

Резюмируя: интересный вариант, особенно для небольших команд. Судя по подписи «Early Access» на странице с ценами, он еще в активной фазе разработки, но перспективы уже видны.

«Яндекс» представил функцию краткого пересказа видеороликов

💬 Краткий пересказ осуществляется с помощью большой языковой модели (LLM) YandexGPT. Нейросеть обрабатывает русскоязычные ролики продолжительностью от двух минут до четырёх часов.

♾ Новая функция позволит быстро ознакомиться с содержанием ролика и понять, есть ли в нём ответ на нужный вопрос, а создателям контента функция поможет составить содержание видео с таймкодами, чтобы привлечь больше зрителей, сообщают в пресс-службе «Яндекса».

🔎 Функция работает в «Поиске» с популярными видеороликами на любых платформах, а в «Яндекс Браузере» и в сервисе 300.ya.ru — со всеми роликами, но только с YouTube.

Про behavioral interview

Поведенческое интервью (или competency-based interview, или чаще behavioral interview) - это структурированный подход к интервью, основанный на концепции, что ваше поведение в прошлом может предсказать поведение в будущем.

Такой тип интервью очень популярен при трудоустройстве в зарубежные IT-компании.

❔Чего хотят интервьюеры от тебя на таком собеседовании:

1️⃣ Узнать, как ты ведешь себя в реальных ситуациях, например, в условиях стресса или ограниченных ресурсов.
2️⃣ Понять, какую измеримую ценность для бизнеса ты добавил в своих проектах.
3️⃣ Узнать, что ты понимаешь под работой under pressure (под давлением) и как ты справляешься в таких ситуациях.

Проблема в том, что отвечать на поведенческие вопросы без подготовки, структуры и конкретной истории — это практически всегда приведет к неудаче. Каким бы прекрасным кандидатом ты ни был.

Поэтому есть некоторые фреймворки, которые помогают отвечать структурировано на такие вопросы. И основательно готовиться к ним.

Я на поведенческих интервью использовал фреймворк PAR (Problem, Action, Results).

При подготовке собственных ответов на самые частые вопросы, я вдохновлялся файлом, которым и делюсь сегодня с вами.
Нашел я его совершенно случайно вот тут.

Обрати внимание, что поведенческие интервью проводятся, чтобы понять, насколько ты впишешься в культуру команды, насколько ты именно тот человек, которого ребята ищут. Поэтому не пренебрегай подготовкой — это даст возможность найти работу именно в той компании, куда ты мечтаешь попасть.

Как я писал вчера, к рекрутингу на западе относятся намного взвешеннее, чем в РФ и СНГ.

Поэтому и ходит байка про то, что если ты проходишь все собеседования и попадаешь в FAANG (Facebook, Apple и тд) - просто так тебя уже хрен уволят оттуда.

С финтехом (конкретно с топовыми банками) в РФ ооочень похожая ситуация.. но я вам про это не говорил🤫

Хорошей пятницы и выходных🧡

@godnolytika

P.S Москва дышит деньгами. Нужно лишь вдохнуть полной грудью ее жизнь. Позволить сделать своему капиталу искусственное дыхание московскими деньгами.

Вот и прошли 2 месяца моего пребывания в Москве. Всех подробностей рассказать не могу. Потому что это под NDA и вообще чутка приватности оставить нужно.

Июль был тем еще испытанием. Новые маршруты, новые процессы и новые люди. Очень много новых людей. Попадались конечно те, кто лучше бы не попадался, но они также нужны как гвоздика в солянке.

Новые места, очень много новых мест. Но их было не так уж много, Москва большая, но если убрать жилые массивы, и оставить то где что то интересное для меня, то получится не такой уж длинный список.

Вообще сделаю такой вывод, Москву нужно добавлять как лекарство от тромбов в движении жизни. Но если ее много то и сердце может не выдержать.

Принимать 1 месяц в теплое время года и все будет типи топ,главное приезжать сюда с целью наполнить записную книжку и культурно просветится. Жизнь тут на любителя.

А так это конечно большой капиталистический Содом и Гоморра. Все далеко, Недвижка перегрета, очень шумно.

https://eightify.app/ сервис имеет аналоги, но идея считаю крупнокалиберная

Можно выжать суть из длинного видоса, который смотреть весь смысла нет(привет Юрий Дудь)

Вот и первая заметка:
Если тебе стабильно раз в месяц не дают задачу с которой ты сталкиваешься первый раз, то в этом месте есть риск застоя.

Транслирую опыт людей вокруг и Частично свой. Идеально если на работе:

•60-70% это то что знаешь и умеешь

•20% это то о чем слышал и можешь освоить в обозримое время

•10% для тебя в новинку, но реально с помощью решить

Согласны? У вас на работе также?

Либо утром либо вечером буду писать короткие, но регулярные заметки.

Хочу набрать критическую массу полезного контента для продажи рекламы в канале. Каждый 10 рубль с интеграций буду использовать для раздачи подарочков для читателей🩷

Репосты крутых постов никуда не уйдут.