TGViewer
Channel Public Channel
DataEng

DataEng

@dataeng

Data Engineering & Distributed Systems

Contact @adilkhash
Subscribers
4.39K
Photos
43
Videos
0
Links
547

Showing posts older than #524 · Back to latest

Older Posts 20 shown
Post #523 2.62K
Аналитик в 360
#вакансия #Москва #Армения #Казахстан #Сербия #гибрид
#middle #senior

Яндекс 360 — это набор сервисов для решения повседневных задач: от хранения личных воспоминаний до деловой переписки в любое время и на любом устройстве.
Команда аналитики Яндекс 360 ищет сильного и инициативного аналитика, который взял бы на себя роль эксперта по экспериментам. Вы будете вместе с нами развивать функциональность наших сервисов и улучшать их, основываясь на анализе данных, помогать команде внедрять только те изменения, которые несут понятную и доказанную пользу для продукта и бизнеса.

Что нужно делать:
— формировать приёмочные метрики для A/B-тестов, выбирать необходимый размер выборки, ограничения и срок проведения эксперимента;
— управлять всем потоком наших экспериментов: включать и выключать, доводить каждый A/B-тест от этапа идеи до принятия решения;
— анализировать результаты экспериментов, давать рекомендации по внедрению или отключению, расследовать аномалии;
— вырабатывать единые гайды для проведения экспериментов, помогать продуктовой команде.

Мы ждем, что вы:
— проводили A/B-тесты, понимаете область их применения;
— прекрасно владеете теорией вероятности и математической статистикой и можете на пальцах объяснить, зачем и кому нужен p-value;
— знаете SQL и Python.

Условия:
— команда экспертов, которая любит своё дело;
— выстроенные процессы взаимодействия и планирования;
— работа над проектами, которые отражены в общих целях бизнеса;
— прозрачная коммуникация, возможность влиять на процесс и результат;

Подробнее о вакансии и отклики: https://goo.su/FqEaEmT
  • 👎 7
  • 👍 6
Post #522 3.7K
pandas 2.0

Вчера вышла новая мажорная версия pandas — 2.0.0
В новую версию добавили бэкенд Apache Arrow для повышения производительности. Более подробно про изменения можно прочитать в статье pandas 2.0 and the Arrow revolution.
datapythonista blog pandas 2.0 and the Arrow revolution (part I) Introduction At the time of writing this post, we are in the process of releasing pandas 2.0. The project has a large number of users,...
  • 👍 13
Post #514 3.56K
Чтобы поиграть с БД ClickHouse отныне её не нужно устанавливать себе, появился официальный ClickHouse Fiddle

Дока про сам проект: https://clickhouse.com/blog/clickhouse-fiddle-sql-playground
ClickHouse ClickHouse Fiddle — A SQL Playground for ClickHouse Read about how our community created a new SQL playground for ClickHouse, allowing you to run and test queries on any version!
  • 👍 20
Post #512 3.28K
Вышло новое издание знаменитой книги про распределенные системы: Distributed Systems 4th Edition
Электронную версию книги можно бесплатно скачать на сайте по ссылке выше.

3-е бумажное издание этой книги лежит у меня на полке, но, к сожалению, я постоянно откладываю её прочтение (читал отрывками). Надеюсь в 2023 году доберусь до неё 🤞
  • 👍 14
Post #509 2.93K
На Хабре вышла статья о разных способах развёртывания Apache Superset (Docker, ВМ, Kubernetes). Автор рассказал обо всех плюсах и минусах и поделился подробной инструкцией на примере облака VK Cloud.

Это очень актуально, учитывая вставшую перед компаниями задачу по полному перестраиванию системы бизнес-аналитики. В современных реалиях развитие BI-решений российских вендоров осуществляются максимально быстро и качественно. У них есть лицензионная поддержка, регулярные обновления и возможность влиять на roadmap.

Читать
  • 👍 6
Post #503 3.59K
У ребят из Airbyte вышла интересная подборка самых популярных рассылок по теме данных: http://bit.ly/3FncX1L

Я же подписан на Seattle Data Guy, Benn Stancil и Data Engineering Weekly. От себя добавлю, что вашего внимания также заслуживает SF Data Weekly: http://weekly.sfdata.io/
Airbyte Best Data Newsletters in 2022: Insights from Survey | Airbyte Best Data Newsletter of 2022 - Insights from the State of Data Engineering Survey results.
  • 👍 5
Post #502 3.12K
На главной странице HackerNews нашел ссылку на бесплатный курс по основам Natural Language Processing (NLP) - Natural Language Processing
Demystified
. Эта тема меня давно интересует, но я никак не могу выделить время, чтобы основательно погрузиться туда. Курс состоит из серии видео роликов на YouTube.

Ссылка на тред с обсуждение на HN.
www.nlpdemystified.org Natural Language Processing Demystified A free, accessible course on Natural Language Processing with 15 modules and 9 notebooks of theory and practice, clearly explained.
  • 👍 4
Post #501 2.94K
Релиз Apache Airflow 2.5.0 🎉

Вчера вечером вышла новая версия Apache Airflow - 2.5. В последнее время меня удивляет с какой скоростью выходят обновления у этого инструмента.

Полный список новых фич смотрите тут.

Из примечательного на мой взгляд:

— Возможность очистить через UI всю таск группу (TaskGroup) для перезапуска всех операторов внутри.

— Декоратор-сенсор (task.sensor). Теперь легко можно превратить функцию в сенсор.

— Поиск по датасетам

— Автообновление логов в UI. Отныне можно забыть про F5 в разделе логов 😎
GitHub Clear TaskGroup by pierrejeambrun · Pull Request #26658 · apache/airflow solves: #14529 If you check at the issue thread, you will notice that there is quite a few concerns/inherent complexity to properly achieve TaskGroup clearing. (especially @potiuk who raised fair c...
  • 👍 13
Post #500 2.68K
Post #499 2.39K
Как использовать легковесные кластеры Apache Spark для гибкого управления ресурсами?

1 декабря мы расскажем о возможностях сервиса Yandex Data Proc, где вы можете развернуть кластеры Apache Spark. Узнайте, как одновременно достичь высокой производительности в пиковые периоды и экономить затраты во время простоя.

Также мы покажем, как организовать хранение данных в S3 и преобразовывать их с помощью SQL-запросов. Поделимся планами и направлениями развития сервиса.

Участие бесплатное.
➡️ Регистрируйтесь на вебинар
  • 👍 6
  • 👎 3
Post #495 3.1K
На ютуб-канале SmartData начали появляться доклады с одноимённой конференции, которая проходила в конце октября: https://bit.ly/3zOHh2h
  • 🔥 8
  • 👍 1
Post #494 3.02K
Ко мне обратилась IT-компания с просьбой провести анонимный опрос среди подписчиков моего канала. Если у вас есть пара минут, порефлексируйте, пожалуйста, с нами о новой реальности в небольшом опросе. Ваши ответы помогут крупной IT-компании понять, где теперь лучше организовывать профессиональные мероприятия и оказывать помощь и поддержку комьюнити.

Пройти опрос.

Опрос актуален для граждан РФ
  • 🤮 14
  • 👍 4
  • 😢 2
Post #493 3.33K
Data Engineer (senior/lead)

🏢 в классном офисе в Москве;
💳 от 300К руб., белая ЗП или ИП;
🗂 большой датасет, интересные задачи, возможность влиять на продукт.

Ищем Data Engineer в команду PREDICTO. Будем разрабатывать CDP (costumer data platform), для сегментации пользователей на аудитории и многих других интересных задач.
Нет долгих согласований, стремимся к быстрому внедрению в production и итеративной работой над улучшениями.

Что нужно делать:

• Проектировать, разрабатывать и поддерживать пайплайны для сбора и обработки данных;
• Обеспечивать SLA и качество данных;
• Готовить данные для моделей машинного обучения и участвовать в их продукционализации совместно с data science командой.

Что ждем от кандидата:

• Хорошее знание технологий из стека: Python, SQL, Spark, Airflow;
• Опыт работы на проектах с большими данными, понимание принципов распределенной обработки данных;
• Опыт продуктовой разработки в технологических компаниях.

Будет плюсом:

• Опыт работы с облаками, особенно, с Яндекс.Облаком;
• Опыт разработки высоконагруженных бэкенд сервисов на Java, Scala или Python;
• Опыт работы с моделями машинного обучения в продакшене;
• Опыт работы с базами данных для аналитики, особенно, с ClickHouse.

Если Вас заинтересовала вакансия, пожалуйста, дайте обратную связь и резюме в Telegram: @fedosovaAS
  • 🤮 5
  • 👍 4
  • 🖕 1
Post #490 2.63K

Forwarded from DevBrain

Релиз Python 3.11

Вчера вышел долгожданный (как минимум мною) релиз Python 3.11
Новая версия быстрее предыдущей на 10-60%, а в среднем на 22%, но помимо буста в производительности релиз содержит ряд крутых фич:

— TaskGroup, можно забыть про asyncio.gather
— ExceptionGroups
— Читабельные traceback с подчеркиваниями

Мне особенно зашла фича с группами исключений, даже накидал небольшой демо-пример.

Когда стоит переводить проект на Python 3.11?
Торопиться не стоит, т.к. далеко не все пакеты в вашем проекте могут иметь работающие колёса (wheel). Прямо сейчас, например, нет колёс для библиотеки psycopg2 для python3.11 под Windows. Я бы рекомендовал подождать пару минорных версий с исправлениями и уже после готовиться к миграции.

Все хорошего кодинга! 🐍
Python.org Python Release Python 3.11.0 The official home of the Python Programming Language
  • 👍 8
  • 🍾 5
  • 🕊 3
  • ❤ 1
  • 👏 1
  • 🤬 1
Post #484 3.34K

Forwarded from How to DWH with Python

#article #ethereum Exporting the full history of Ethereum into S3
https://medium.com/@tony.bryzgaloff/how-to-dump-full-ethereum-history-to-s3-296fb3ad175 (author: @bryzgaloff)

What's inside:
— BigQuery public datasets with Ethereum data: how to transfer to S3 quickly.
— Alternative approach: exporting data from a public Ethereum node. No need to run your own node!
— Processing uint256 with AWS Athena.
— Processing realtime updates from Ethereum.
— Best Data Engineering practices to process Ethereum data.

A short summary inside 👇
Medium How to dump a full history of Ethereum blockchain to S3 An efficient way to export blockchain data to a cloud storage, by Anton Bryzgalov
  • 👍 3
Post #483 2.73K

Forwarded from DevBrain

Прошлый пост касался архитектуры Redis, а сейчас предлагаю вам познакомиться с кишками memcached: https://bit.ly/3czb6eQ

Лет 5-6 назад я был активным пользователем memcached, использовал его во всех проектах как основной кэш-бэкенд, но с бурным развитием Redis я переключился на него. Тем не менее, memcached поддерживается (последняя версия вышла 26 августа 2022 года), видео считаю очень полезным (как и канал автора в целом).
YouTube Memcached Architecture - Crash Course with Docker, Telnet, NodeJS Memcached is an in memory cache with one major feature be a transient cache. Memcached has a very simple design. It was originally designed to help with database load by storing the query result in memory to avoid further querying the database. By default…
  • 👍 4
  • 👎 2
Older posts →
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →