Python/ django

🐼 Pandas тормозит на больших данных?

NVIDIA показала, как ускорить его в 40 раз — без переписывания кода.

Команда NVIDIA провела эксперимент с 18 миллионами строк данных с фондовых рынков: они выполнили типичный анализ данных с помощью pandas на CPU, а затем тоже самое — на GPU, используя cudf.pandas.

Для примеры были взяты:
📉 Скользящие средние (50D и 200D)
📅 Недельная статистика закрытия рынков
🧊 В общей сложности ~18M строк

Результат впечатляет : удалось добиться**ускорения обработки данных в 20–40 раз

Код скрипта не менялся вообще — тот же pandas, но на GPU.

Это один из примеров, где ускорение достигается без переписывания логики кода.

🟡 Потестить самому можно в Colab
🟡 Другие примеры с кодом — здесь

@ai_machinelearning_big_data


#datasckience #ml #nvidia #gpu #pandas #python

🖥 Что выведет код ниже?

def append_to_list(val, my_list=[]):
    my_list.append(val)
    return my_list

print(append_to_list(1))
print(append_to_list(2))
print(append_to_list(3))

🤯 Подвох
Многие думают, что каждый вызов append_to_list() создаёт новый список, и ожидают вывод:

[1]
[2]
[3]

Но на самом деле Python выведет:

[1]
[1, 2]
[1, 2, 3]

🧠 Почему так происходит?
В Python значения аргументов по умолчанию вычисляются один раз — при определении функции, а не при каждом вызове.

Значение my_list=[] создаётся один раз и сохраняется между вызовами. Это работает как статическая переменная внутри функции.

✅ Как это исправить?
Используй None как значение по умолчанию:

def append_to_list(val, my_list=None):
    if my_list is None:
        my_list = []
    my_list.append(val)
    return my_list

print(append_to_list(1))  # [1]
print(append_to_list(2))  # [2]
print(append_to_list(3))  # [3]

💡 Вывод
Не используйте изменяемые объекты (например, list, dict, set) как значения по умолчанию для аргументов функций в Python.


@pythonl

👩‍💻 MegaParse — высокопроизводительный парсер, который способен преобразовывать всевозможные типы документов (Word документы, PDF-файлы или даже презентации PowerPoint)!

🌟 Его основная цель — преобразовывать информацию из документов в текст для LLM, при этом минимизируя различные потери данных.

🔐 Лицензия: Apache-2.0

🖥 Github

@pythonl

📘 Потерянная глава Automate the Boring Stuff

Автор культовой книги выложил бесплатно новую главу книги, которая не попала в издание — про автоматизацию работы с аудио и видео.

🎧 Что внутри:
— Конвертация и обрезка видео с помощью moviepy
— Преобразование аудио в текст через SpeechRecognition
— Извлечение субтитров
— Автоматизация задач с файлами .mp3, .wav, .mp4 и .avi

🛠 Глава написана в привычном стиле — просто, на примерах, с пояснениями к коду. Идеально подойдёт для тех, кто хочет быстро научиться обрабатывать медиафайлы на Python без сложных фреймворков.

📎 Читать

@Pythonl

💡 STUMPY — библиотека для анализа временных рядов. Этот проект предлагает мощный инструмент для работы с временными последовательностями через вычисление matrix profile — специальной метрики, которая автоматически находит схожие паттерны в данных.

Инструмент поддерживает распределённые вычисления через Dask и GPU-ускорение через Numba. Технология особенно полезна для обнаружения аномалий, повторяющихся фрагментов и семантической сегментации. Библиотека одинаково хорошо работает как на небольших наборах данных, так и на временных рядах длиной в миллионы точек.

🤖 GitHub

@pythonl

🌀 Cirq — Python-фреймворк для работы с квантовыми схемами, разработанный командой Google Quantum AI. Этот проект предоставляет инструменты для создания параметризованных квантовых цепей, их трансформации и симуляции на различных бэкендах.

Инструмент имеет встроенную поддержку аппаратно-зависимых операций и интеграция с высокопроизводительными симуляторами вроде qsim. Позволяет описывать квантовые алгоритмы с учетом шумовых характеристик реальных процессоров.

🤖 GitHub

@pythonl

🐍 Хитрый совет по Python: как ускорить in в 1000 раз

Когда ты проверяешь, есть ли элемент в списке, Python делает это медленно — он пробегает по списку полностью.
А если ты проверяешь элемент в множестве (set), это работает в сотни раз быстрее.

📌 Пример:

data = [1, 2, 3, ..., 1000000]  # большой список
queries = [42, 9999, 123456]

# Медленно:
for q in queries:
    if q in data:
        print(q)

🔁 Каждый q in data проходит весь список → медленно.

✅ Правильный способ:

Преобразуй список в set один раз — и все станет быстро:

data_set = set(data)

for q in queries:
    if q in data_set:
        print(q)

💡 Проверка in в set работает мгновенно (как в словаре).
Такой трюк особенно полезен, если:

-у тебя много данных
-ты делаешь много проверок на вхождение

📌 Запомни: if x in список: — медленно
Лучше: if x in set(список): — быстро!

@pythonl

🛠️ AI + SQL = мгновенный доступ к данным в базе

На картинке — простой пример, как с помощью FastMCP и SQLAlchemy можно подключить инструмент к базе данных, который по человеческому запросу выводит список всех таблиц.

📦 Что происходит:
1. Человек пишет: *"Show me all tables in the ecommerce database"*
2. AI вызывает list_tables(), получает список через SQLAlchemy
3. Возвращается JSON и сгенерированный ответ на естественном языке

⚙️ Используемые технологии:
- FastMCP — для регистрации инструментов и взаимодействия с агентами
- @mcp.tool — декоратор, позволяющий превращать функции в доступные действия для ИИ
- inspect() из SQLAlchemy — безопасный способ получить метаданные БД

🧠 Это база для создания умных ботов-помощников, которые умеют работать с реальными базами данных и выдавать ответы, понятные человеку.

Интерфейс будущего уже здесь — не SQL-запрос, а обычный вопрос на английском.

@pythonl

📊 OpenBB — это платформа для инвестиционных исследований, предоставляющая доступ к акциям, опционам, криптовалютам, форексу и макроэкономическим данным. Платформа ориентирована на пользователей всех уровней и включает в себя как командную строку, так и графический интерфейс. 🌟 OpenBB предлагает бесплатный и открытый доступ к аналитическим инструментам и может быть расширен через различные плагины. Проект также поддерживает автоматизацию процессов и интеграцию с внешними сервисами

🔥 Инструмент является бесплатным аналогом Bloomberg terminal (подписка на который стоит $20 тыс. в год!)

👩‍💻 Язык: Python

🔐 Лицензия: GNU

▪ Github

@pythonl

🛠 Вышел новый генератор CAD‑моделей по чертежам — и он реально работает!

GenCAD умеет превращать чертежи в 3D‑модели и сразу генерирует параметрический CAD‑код. Для сложных и детализированных объектов он пока не подойдет, но с простыми деталями вроде винтиков и креплений справляется отлично.

📎 Идеально для быстрого прототипирования стандартных элементов.

📄 Статья: https://openreview.net/pdf?id=e817c1wEZ6
🔗 Сайт: https://gencad.github.io
💻 Код: https://github.com/ferdous-alam/GenCAD

@pythonl - погружение в Python

📊 Python for Nonprofits — книга и код для анализа данных в НКО

Это полноценное учебное пособие по Python, заточенное под нужды некоммерческих организаций.

Автор — Kenneth Burchfiel — собрал в одном репозитории и книгу, и рабочие блокноты для реального анализа данных.

▪ Импорт и очистка данных (CSV, API, Google Sheets)
▪ Описательная статистика, линейные регрессии
▪ Визуализация: графики, интерактивные карты (Plotly, Folium)
▪ Dash-приложения и публикация дашбордов
▪ Всё оформлено как Jupyter-книга: можно читать, запускать, менять

Кому подойдёт:
– начинающим дата-аналитикам, которые хотят делать полезные проекты
– НКО, работающим с открытыми данными и отчётами
– преподавателям, ищущим учебный курс по Python с практикой

💡 Можно читать онлайн или скачать как книгу. Лицензия MIT — можно использовать где угодно.

📘 Подробнее и исходники: https://github.com/kburchfiel/pfn

@pythonl

🖥 Полезный, но редко используемый приём: динамическое управление множеством контекст-менеджеров через `contextlib.ExitStack`

Если вам нужно открыть *N* файлов, захватить *M* блокировок или временно изменить кучу настроек, а их количество известно только во время выполнения, традиционный with … as …: не подойдёт. Вместо «пирамиды» вложенных with воспользуйтесь ExitStack:

from contextlib import ExitStack

filenames = ["a.log", "b.log", "c.log"]

with ExitStack() as stack:
    files = [stack.enter_context(open(name)) for name in filenames]

    # теперь у вас список открытых файлов, с которыми можно работать
    for f in files:
        print(f.readline())
# здесь ExitStack автоматически закроет все файлы, даже если их было 1000

Почему это круто

- Управляет произвольным числом контекстов: добавляете их в цикл, условно, через функции-фабрики.
- Гарантирует корректный rollback при исключениях: всё, что добавлено в ExitStack, будет закрыто в обратном порядке.
- Упрощает сложную инициализацию: можно динамически «подключать» то, что нужно именно сейчас (файлы, блокировки, сетевые соединения).

🔧 Где пригодится

- Пакетная обработка файлов и архивов.
- Тестовые стенды с кучей временных ресурсов.
- Плагины, которые могут регистрировать собственные контекст-менеджеры.

Теперь никакого «каскада из with» — один аккуратный ExitStack.

@pythonl

🐍 Продвинутый Python‑совет дня

💡 Используй слоты (`__slots__`) для оптимизации классов, когда тебе нужно много однотипных объектов.

По умолчанию Python хранит атрибуты объектов в словаре (`__dict__`), что удобно, но неэффективно по памяти. Если ты точно знаешь, какие поля будут у объекта — зафиксируй их:


class Point:
slots = ("x", "y") # только эти атрибуты допустимы

def __init__(self, x, y):
self.x = x
self.y = y```

📈 Выгода:

- Уменьшает использование памяти до 30–50% для миллионов объектов
- Ускоряет доступ к полям (нет __dict__)
- Запрещает создание произвольных новых атрибутов (меньше багов)

🧠 Подходит:

- Для численных расчётов (вместо namedtuple)
- При генерации большого количества однотипных объектов
- В data-heavy структурах (например, парсеры, AST, графы и т.п.)

Python — динамичный язык, но когда знаешь структуру данных заранее, slots дают тебе контроль и производительность.

👉 Видео

🐍 20 ещё более продвинутых однострочников на Python — часть 3

Если ты уже пишешь на Python профессионально, вот ещё приёмы, которые реально экономят строки и читаются на лету:

1. 🗃️ Группировка по ключу без pandas

groups = defaultdict(list); [groups[k].append(v) for k, v in data]

2. 🪄 Быстрое глубокое копирование объекта

copy = pickle.loads(pickle.dumps(obj, -1))

3. 📤 Отправка JSON через POST

r = requests.post(url, json=payload)

4. 📌 Проверка, что файл — это символическая ссылка

is_symlink = Path(p).is_symlink()

5. 🧩 Быстрое объединение нескольких словарей

merged = {**d1, **d2, **d3}

6. 🧪 Проверить, что список отсортирован

is_sorted = all(a <= b for a, b in zip(lst, lst[1:]))

7. 🔍 Найти все подстроки по регулярке

matches = re.findall(r'\d+', text)

8. 🌐 Извлечь домен из URL

domain = urlparse(url).netloc

9. 🧬 Преобразовать список строк в int

nums = list(map(int, str_list))

10. 📚 Считать CSV в список словарей

rows = list(csv.DictReader(open('file.csv')))

11. 🔄 Превратить int в побитовую строку

bits = f'{num:08b}'

12. 📤 Сохранить объект в JSON-файл

json.dump(obj, open('data.json', 'w'), indent=2)

13. 🧮 Убрать пустые строки из списка

lines = [l for l in lines if l.strip()]

14. 🧾 Распарсить query string в словарь

params = dict(parse_qsl('a=1&b=2'))

15. 🧰 Получить уникальные строки, сохранив порядок

seen = set(); uniq = [s for s in seq if not (s in seen or seen.add(s))]

16. 📈 Получить индекс максимального значения

idx = max(range(len(lst)), key=lst.__getitem__)

17. 🪛 Проверить, что список вложенный (2D)

is_nested = all(isinstance(i, list) for i in lst)

18. 🧱 Убрать все символы кроме букв и цифр

clean = re.sub(r'\W+', '', text)

19. ⌛ Ограничить время выполнения кода

signal.alarm(2); try: ... except: ...

20. 📦 Получить структуру всех полей dataclass

fields = [f.name for f in dataclasses.fields(MyClass)]

📌 Часть 1
📌 Часть 2

@pythonl