DataSciencePRO

📊 Matplotlib под рукой: всё главное для графиков и анализа

Сохраняйте, пригодится не раз.

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста

#буст

😰 Python-шпаргалка по работе с датой и временем!

Модуль datetime — твой лучший друг, если нужно работать с датами, временем или таймзонами.

🔥 Форматы путают все. Держи удобный список, который точно пригодится:

📅 Форматирование дат и времени:

* %a → короткий день недели (Mon)
* %A → полный день недели (Monday)
* %b → короткий месяц (Jan)
* %B → полный месяц (January)
* %d → день месяца (01–31)
* %m → месяц (01–12)
* %y → год без века (23)
* %Y → год с веком (2023)
* %j → день в году (001–366)

⏰ Форматирование времени:

* %H → час (24ч, 00–23)
* %I → час (12ч, 01–12)
* %M → минуты (00–59)
* %S → секунды (00–61, да, 61! 😅)
* %f → микросекунды (000000–999999)
* %p → AM/PM
* %z → UTC-смещение (+0300)
* %Z → таймзона (если есть)

* %U → номер недели (с воскресенья)
* %W → номер недели (с понедельника)
* %x → локальная дата
* %X → локальное время
* %% → просто знак %

Примеры:

from datetime import datetime

now = datetime.now()
print(now)  
# 2025-09-03 13:41:30.123456

Примеры форматирования даты:

print(now.strftime("%A, %d %B %Y"))
# Wednesday, 03 September 2025

print(now.strftime("%a, %d.%m.%y"))
# Wed, 03.09.25

print(now.strftime("День года: %j"))
# День года: 246

Примеры форматирования времени:

print(now.strftime("%H:%M:%S"))
# 12:45:30

print(now.strftime("%I:%M %p"))
# 12:45 PM

print(now.strftime("Микросекунды: %f"))
# Микросекунды: 123456

👍 Сохрани, чтобы не гуглить каждый раз!

😁 Лайф | 📲 Зеркало Max

#python #doc #cheatsheet

Lakehouse — новый подход к данным, который убивает DWH и Data Lake

- Высокая вероятность, что массовый переход на Lakehouse начнётся в ближайшие 1-2 года — после того как первые игроки (Т-банк, Магнит, Ламода) уже доказали экономию и масштабируемость. Об этом в интервью «Коммерсанту» рассказал Леонид Савченков, руководитель продуктовой архитектуры платформы данных Yandex Cloud.
- Классические DWH на объёмах от 100 ТБ начинают тормозить: единственный способ — докупать серверы целиком, потому что хранение и вычисления сцеплены.
- Data Lake решал проблему объёма, но не давал нормального управления данными — отчёты строить было сложно.
- Lakehouse разделяет хранение и вычисления: можно нарастить мощности под «Чёрную пятницу» и не платить за лишнее место весь год.
- В отличие от Data Lake, здесь появляются строгие табличные форматы и управление данными как в СУБД.
- Узкое место — нужны спецы по Trino и Spark. Чудес не бывает.
- Для ИИ это идеально: вычисления можно выделить в отдельные мощности, не роняя основные отчёты. X5 уже построил бота по трендам молока в регионах.
- Через пять лет, вероятно, появится новая концепция. Если данных мало — старый DWH всё ещё дешевле и проще.

https://www.kommersant.ru/doc/8691430

Немного классики!)

Exploratory Data Analysis with Python
Cookbook

Автор: Ayodele Oluleye
Год издания: 2023

#python #en

Скачать книгу

pandas 3.0 — самый крупный релиз за годы: новый str dtype по умолчанию вместо object, с поддержкой Arrow‑бекенда (если установлен PyArrow), более предсказуемой типизацией и лучшей экономией памяти.
​

Весь фрейм переведён на Copy‑on‑Write: любой срез/результат операции ведёт себя как копия, chained assignment больше не работает, SettingWithCopyWarning уходит в историю, а лишние df = df.copy() можно выкидывать.
​

Появился pd.col() как выражения поверх колонок: теперь вместо lambda df: df["a"] + df["b"] в assign/loc можно писать pd.col("a") + pd.col("b"), с поддержкой операторов и .str/.dt методов.
​

Для экосистемы важны Arrow PyCapsule/from_arrow()/arrow_c_stream для нулекопийного обмена (передача данных между библиотеками без физического копирования в памяти) с другими датафрейм‑движками, обновлённая политика депрекейтов с семейством PandasChangeWarning, а также пачка I/O‑улучшений (Iceberg, SQL DatabaseError, доработки Excel/Parquet/CSV).

Анализ проекта VictoriaMetrics

Мальчишки и девчонки, а также их родители, как устроена VictoriaMetrics узнать не хотите ли? В этой статье вы узнаете структуру каталогов проекта и о предназначении различных файлов. А ещё там описаны некоторые проектные решения при разработке продукта.

Эту статью можно назвать продолжением цикла. Есть еще одна похожая, которую я уже публиковал в канале. Но там рассмотрено все немного под другим углом.

🆕 CUDA 13.1 переворачивает GPU-программирование

Наконец-то NVIDIA выпустила CUDA 13.1, и это не просто очередное обновление — это настоящий сдвиг парадигмы. Если вы когда-то пытались объяснить GPU, что делать с тысячами маленьких потоков (да-да, тот самый SIMT-модель), то знаете, что это сродни попытке управлять тысячью муравьёв одновременно.

💡 Что нового

CUDA 13.1 вводит tile-based programming. Вместо того чтобы двигать песчинку за песчинкой, теперь можно управлять целыми плитками данных. Представьте: вместо того чтобы таскать каждую песчинку в отдельности, вы берёте целый холм и переносите его за один раз. Магия, правда?

Что это значит для нас, Python-разработчиков и исследователей AI:
✔️ Прощай, C++ барьер: с CuTile можно писать высокопроизводительные ядра на чистом Python. Не нужен диплом магистра по C++.
✔️ Синхронизация с железом: современные тензорные ядра уже «думают» блоками данных, а софт теперь догнал железо.
✔️ Будущее уже здесь: поддержка Blackwell архитектуры и новых FP4/FP6 форматов ускоряет и делает эффективнее LLM.

Иными словами, программировать ускорители стало логичнее, чище и мощнее.

🔗 Ссылка на новость

🔹 Курс «Специалист по ИИ»
🔹 Получить консультацию менеджера
🔹 Сайт Академии 🔹 Сайт Proglib

🐸 Библиотека дата-сайентиста

#свежак

Кажется, Google готовится объединить SQL, Python и Spark в рамках Colab Enterprise

По слухам, поисковый гигант намерен создать единую среду для специалистов по машинному обучению, объединив SQL, Python и Apache Spark в одном месте.

Ясмин Ахмад, управляющий директор Google Cloud по обработке данных, отметил, что главным препятствием для эффективности в ML является необходимость переключаться между средами: получать данные с помощью SQL в базах данных и хранилищах, затем экспортировать их, загружать в блокнот и настраивать отдельный кластер Spark.

Как вы понимаете, это крайне неудобно. Поэтому Google представляет ряд улучшений для своих блокнотов Colab Enterprise в BigQuery и на платформе Vertex AI.

Кроме того, компания анонсировала следующие преимущества для разработчиков в блокнотах Colab Enterprise:
➖ Предварительный просмотр собственных ячеек SQL.
➖ Интеграцию собственного Data Science Agent, призванного помогать в анализе и разработке моделей.

📢 NVIDIA представила nvmath-python — библиотеку для Python, которая открывает доступ к возможностям фирменных математических библиотек (например, cuBLASLt) через удобный API.

Что умеет:
- работает с массивами из NumPy, CuPy, PyTorch и других экосистем;
- поддерживает тонкую настройку вычислений (precision, режимы умножений, epilog-операции);
- позволяет использовать расширенные оптимизации NVIDIA для ускоренной математики и ML-задач.

Проект пока в бета-версии, но уже можно попробовать:
https://github.com/NVIDIA/nvmath-python

Айтишники, забираем: open-source программу для просмотра таблиц В ТЕРМИНАЛЕ нашли в сети.

Она открывает файлы CSV, JSON, Excel и других таблиц прямо в терминале. Кроме того, у нее есть встроенный SQL-движок для фильтрации, джойнов и анализа прямо в терминале. И быстрый поиск с мульти-табличными операциями.

Пользуемся тут.

DevHub

Просто ГИГАНТСКУЮ коллекцию ИИ-агентов выгрузили на GitHub: это не просто шаблонные сервисы, а реальные, готовые к запуску инструменты.

С ними можно:

— Автоматизировать соцсети.
— Создавать CRM-системы и базы данных.
— Настраивать чат-боты.
— Генерировать картинки и тексты.

Забираем — ТУТ

🐼 Pandas тормозит на больших данных?

NVIDIA показала, как ускорить его в 40 раз — без переписывания кода.

Команда NVIDIA провела эксперимент с 18 миллионами строк данных с фондовых рынков: они выполнили типичный анализ данных с помощью pandas на CPU, а затем тоже самое — на GPU, используя cudf.pandas.

Для примеры были взяты:
📉 Скользящие средние (50D и 200D)
📅 Недельная статистика закрытия рынков
🧊 В общей сложности ~18M строк

Результат впечатляет : удалось добиться**ускорения обработки данных в 20–40 раз

Код скрипта не менялся вообще — тот же pandas, но на GPU.

Это один из примеров, где ускорение достигается без переписывания логики кода.

🟡 Потестить самому можно в Colab
🟡 Другие примеры с кодом — здесь

@ai_machinelearning_big_data


#datasckience #ml #nvidia #gpu #pandas #python

Книга Kaggle

Автор: Конрад Банахевич
Год издания: 2024

#ml #ru

Скачать книгу

✔️ СuML от NVIDIA: Scikit-learn на скорости GPU – без единой строчки нового кода!

Все мы любим scikit-learn за его простоту и мощь. Но что если ваши модели обучаются слишком долго на больших данных? 🤔 NVIDIA предлагает решение!

Вы берете свой обычный скрипт cо scikit-learn, добавляете всего две строки в начало, и он начинает работать в 10, 50, а то и 100+ раз быстрее на NVIDIA GPU! 🔥

✨ Как это работает?

Библиотека cuml от NVIDIA содержит супероптимизированные для GPU версии многих алгоритмов машинного обучения. С помощью простого вызова cuml.patch.apply() вы "патчите" установленный у вас scikit-learn прямо в памяти.

Теперь, когда вы вызываете, например, KNeighborsClassifier или PCA из sklearn:

▶️Патч проверяет, есть ли у вас GPU NVIDIA.
▶️Проверяет, есть ли в cuml быстрая GPU-версия этого алгоритма.
▶️Если да – запускает ускоренную версию на GPU! 🏎️
▶️Если нет (нет GPU или алгоритм не поддерживается) – спокойно запускает обычную CPU-версию scikit-learn.

Ключевые преимущества:

✔️ Нулевые изменения кода: Ваш scikit-learn код остается прежним. Добавляете только 2 строчки:
import cuml.patch и cuml.patch.apply().
✔️ Колоссальное ускорение: Получите прирост производительности на порядки для поддерживаемых алгоритмов (KNN, PCA, линейные модели, Random Forest (инференс), UMAP, DBSCAN, KMeans и др.) за счет мощи GPU.
✔️Автоматическое переключение между GPU и CPU. Ваш скрипт будет работать в любом случае.

Топ инструмент для всех, кто работает с scikit-learn на задачах, требующих значительных вычислений, и у кого есть GPU от NVIDIA.

👇 Как использовать:

Установите RAPIDS cuml (лучше через conda, см. сайт RAPIDS):

python 
conda install -c rapidsai -c conda-forge -c nvidia cuml rapids-build-backend

Добавьте в начало скрипта:

import cuml.patch
cuml.patch.apply()

Используйте scikit-learn как обычно!

Попробуйте и почувствуйте разницу! 😉

▪Блог-пост
▪Colab
▪Github
▪Ускоряем Pandas

@ai_machinelearning_big_data


#python #datascience #machinelearning #scikitlearn #rapids #cuml #gpu #nvidia #ускорение #машинноеобучение #анализданных

🐼 Pandas умирает медленной и мучительной смертью.

Это самая популярная в мире библиотека обработки данных, но она медленная, и многие библиотеки значительно превзошли ее.

Проблема альтернатив Pandas в том, что никто не хочет изучать новый API.

Давайте посмотрим правде в глаза: люди не будут переносить свои проекты, га другие фреймворки, без особой причины.

Я уже давно работаю с FireDucks 🦆

Эта библиотека в разы быстрее Pandas, и вам не придется менять код старых проектов для перехода на нее.

Вы можете изменить *одну* строку кода и весь остальной код будет работать на FireDucks :

import fireducks.pandas as pd

Вы также можете запустить свой код *не* изменяя ни одной строки, используя хук:

python 
$ python -mfireducks.imhook yourfile[.]py

FireDucks — это многопоточная библиотека с ускорением компилятора и полностью совместимым с pandas API.

Она быстрее, чем Polars. Ниже приведена ссылка на некоторые бенчмарки, сравнивающие Pandas, Polars и FireDucks.

FireDucks побеждает с отрывом.

⛓️Здесь находится репозиторий FireDucks на GitHub:
https://github.com/fireducks-dev/fireducks

⛓️Если вы хотите пощупать либу, откройте этот пример:
https://github.com/fireducks-dev/fireducks/tree/main/notebooks/nyc_demo

⛓️Если вы хотите сравнить FireDucks с Polars и Pandas, вот еще один блокнот:
https://github.com/fireducks-dev/fireducks/blob/main/notebooks/FireDucks_vs_Pandas_vs_Polars.ipynb

⛓️И наконец, бенчмарки, с которыми стоит ознакомиться:
https://fireducks-dev.github.io/docs/benchmarks/

⭐️ Подписаться: @data_analysis_ml

#fireducks #Pandas #dataanalysis #datascience #python #opensource

PandasGUI — графический интерфейс для работы с DataFrame

PandasGUI — это удобный инструмент, который предоставляет графический интерфейс для работы с Pandas DataFrame. Он позволяет визуализировать, фильтровать и редактировать данные прямо в интерактивном окне, что делает анализ данных более интуитивным и быстрым.

Python Education | #Python

🐼Сложная агрегация в Pandas с MultiIndex

В новой статье на «Хабре» объясняется, как

▫️создать мультииндекс и управлять его уровнями;
▫️проводить агрегацию данных с его помощью;
▫️работать со срезами данных по уровням.

🔗 Читать статью

🐼Сложная агрегация в Pandas с MultiIndex

В новой статье на «Хабре» объясняется, как

▫️создать мультииндекс и управлять его уровнями;
▫️проводить агрегацию данных с его помощью;
▫️работать со срезами данных по уровням.

🔗 Читать статью