DataSciencePRO

Коллеги, вижу что пришло много новых людейтю. Наберём нового и полезного материала) будет интересно, не переключайтесь

Google починил SQL
Как думаете, что делает запрос ниже?

FROM customer
|> LEFT OUTER JOIN orders ON c_custkey = o_custkey
AND o_comment NOT LIKE '%unusual%packages%'
|> AGGREGATE COUNT(o_orderkey) c_count
GROUP BY c_custkey
|> AGGREGATE COUNT(*) AS custdist
GROUP BY c_count
|> ORDER BY custdist DESC, c_count DESC;

А делает он то же, что вот этот:

SELECT c_count, COUNT(*) AS custdist
FROM
( SELECT c_custkey, COUNT(o_orderkey) c_count
FROM customer
LEFT OUTER JOIN orders ON c_custkey = o_custkey
AND o_comment NOT LIKE '%unusual%packages%'
GROUP BY c_custkey
) AS c_orders
GROUP BY c_count
ORDER BY custdist DESC, c_count DESC;

Главное отличие в том, что первая версия кода — это новый более лучший улучшенный SQL от Google. 👀

А что не так со старым?
У SQL много плюсов, но давайте честно — это не самый простой язык. Иногда даже опытным экспертам бывает сложно разобраться, как написать или прочитать особенно хитрый запрос.

Но и отказываться от него не хочется: во-первых, мы все-таки его любим, а во-вторых, достойной альтернативы ему просто нет. Поэтому ребята из Google предложили решение — конвейерный синтаксис, который вы и видите выше.

Что такое GoogleSQL?
GoogleSQL — это диалект SQL, разработанный в Google.

К нему прикрутили поддержку «конвейерных» запросов (но обычные и смешанные тоже допускаются). Они отмечаются значком |> и в основном выполняют те же функции, что их «тезки» в стандартном SQL. Хотя есть и несколько экспериментальных, у которых нет аналогов.

🔜 Подробнее можно почитать в публикации от команды Google. Самое интересное начинается с 4 страницы — там про операторы, синтаксис и логику работы.

Если совсем кратко (чтобы влезло в пост в Tg), то главный плюс подхода, предложенного Google, — запросы намного проще писать, читать, редактировать, дебажить, добавлять новые операторы и так далее.

Вот такой апдейт для старого доброго SQL. Что скажете?
❤️ — так действительно удобнее
🌚 — это уже не SQL

🖥 Fireducks: Ускорь Pandas в 20 раз, изменив всего одну строчку кода!

https://www.youtube.com/watch?v=3mcs_MDiLwY

@data_analysis_ml

PyGWalker

PyGWalker — это инструмент для удобного анализа данных и визуализации в Jupyter Notebook, который превращает dataframe в интерактивный интерфейс.

Пользователи могут осуществлять визуализацию, очистку и аннотирование данных с помощью перетаскивания и естественных языковых запросов.

Он интегрируется с Graphic Walker и доступен на таких платформах, как Google Colab и Kaggle Code.

https://github.com/Kanaries/pygwalker
================
👁 @open_source_friend

DataSciencePRO pinned «Коллеги, доброго дня) 3 года я веду этот канал и делюсь с вами интересными материалами с статьями. Пишу с чем сталкиваюсь в обучении, а теперь уже и по работе. Хотел бы посоветовать изучить материалы, которые мне помогли максимально быстро поднять уровень…»

Коллеги, доброго дня) 3 года я веду этот канал и делюсь с вами интересными материалами с статьями. Пишу с чем сталкиваюсь в обучении, а теперь уже и по работе. Хотел бы посоветовать изучить материалы, которые мне помогли максимально быстро поднять уровень скиллов. Особенно в прогнозирования временных рядов и прочих интересных темах (например TimeGPT и тд) очень много интересных книг, думаю ни один DS или DA не может пройти мимо.
https://t.me/Gewissta канал блог Артёма Груздева

Продвинутая шпаргалка по SQL

На GitHub слили самую полную шпаргалку по SQL.

Здесь собрано буквально все, с чем можно работать на этом языке программирования.

Она отлично подойдет даже для самых новичков.

Сохраняйте себе и пересылайте изучающим SQL.

2️⃣ TechnoHub Media

SQL в Jupyter ноутбуках

Наткнулись и не могли не поделиться – удобное и и функицонально богатое расширение к магической команде %%sql. Открывает возможности рисовать графики, обрабатывать витрины побольше и создавать временные таблицы. Пример установки и использования выше 👆

GihHub

⚡️ Nvidia показала целых пять бесплатных нейронок прямо в VSCode

Можно фиксить баги, объяснять и создавать код, комбинировать разные проги.

⤷ Регаемся в NVIDIA AI.
⤷ У любой модели по кнопке «Get API key» забираем апишку.
⤷ В редактор VSCode ставим плагин CodeGPT.
⤷ Провайдером выбираем NVIDIA и получаем доступ к крутым моделям.

4️⃣ 4PDA Community | #AI

📈 tfcausalimpact

Библиотека для поиска причинно-следственных связей на Python, основанная на пакете R от Google. Построена с использованием TensorFlow Probability.

Вы проводите маркетинговую кампанию и видите, что количество пользователей увеличивается. Но как узнать, связано ли это с вашей кампанией или это просто совпадение?

Вот тут-то и пригодится tfcausalimpact. Бибилиотека помогает прогнозировать будущие тренды и тенденции в данных и сравнивает ваши показатели с фактическими данными для получения статистических выводов.

pip install tfcausalimpact

📌Github

@data_analysis_ml

9 примеров самых безумных корреляций

– Потребление сыра / Число до смерти запутавшихся в простынях. Корреляция 94,71%

– Общая выручка аркадных игр / Докторские степени по компьютерным наукам в США. Корреляция 98,51%

– Число людей, утонувших в бассейне / Количество фильмов с Николасом Кейджем. Корреляция 95,24%

– И еще несколько подобных примеров

Ну в общем, теории заговора или почему не всегда стоит доверять корреляциям