Just Python

sqlite 3 для специалистов по данным & инженеров

К радости специалистов по данным и инженеров, Python поставляется со встроенной поддержкой баз данных и SQL через библиотеку sqlite3.

Просто подключитесь к любой базе данных (или создайте её) с помощью объекта подключения и запускайте SQL-запросы.

Ссылочка на доку

#theory // Just Python

howdoi

Зависли над какой-то проблемой и не можете вспомнить её решение? Нужно зайти на StackOverflow, но не хочется покидать терминал?

Тогда вам не обойтись без этого инструмента командной строки:

$ pip install howdoi

Задайте любой вопрос, и он постарается найти ответ на него:

$ howdoi vertical align css
$ howdoi for loop in java
$ howdoi undo commits in git

Но будьте осторожны: он извлекает код из топовых ответов на StackOverflow и не всегда даёт полезную информацию:

$ howdoi exit vim

#theory // Just Python

Jedi

Библиотека Jedi предназначена для автодополнения и анализа кода. Она ускоряет процесс написания кода и делает его более продуктивным.

Если вы не разрабатываете свою IDE, то вам, наверное, будет более интересно использовать Jedi в качестве расширения редактора. К счастью, уже есть много вариантов.

Возможно, вы уже встречались с Jedi — IPython использует эту библиотеку для автодополнения.

Ссылочка на доку

#theory // Just Python

Использование функции sorted()

В Python очень легко сортировать некие последовательности данных с использованием встроенной функции sorted(), которая берёт на себя решение всех сопутствующих задач.

Эта функция сортирует любые последовательности (списки, кортежи) и всегда возвращает список с отсортированными элементами. Рассмотрим пример сортировки списка чисел в порядке возрастания:

sorted([3,5,2,1,4]) # [1, 2, 3, 4, 5]

А вот — пример сортировки списка строк в порядке убывания:

sorted(['france', 'germany', 'canada', 'india', 'china'], reverse=True) # ['india', 'germany', 'france', 'china', 'canada']

#theory // Just Python

Возврат из функции нескольких значений

В Python есть возможность возврата из функции нескольких значений. Этого нет во многих других популярных языках программирования.

Для возврата из функции нескольких значений их нужно разделить запятыми. На основе этого списка значений Python создаст кортеж и вернёт его туда, откуда была вызвана функция.

#theory // Just Python

Преобразование двух списков в словарь

Предположим, у нас имеется два списка. Один из них содержит имена студентов, а второй — их оценки. Как преобразовать эти два списка в словарь?

Для решения задачи можно прибегнуть к функции zip().

#theory // Just Python

Использование коллекций Python

Коллекции Python — это контейнерные типы данных. В частности, это списки, множества, кортежи, словари. Модуль collections даёт в распоряжение разработчика высокопроизводительные типы данных, которые помогают улучшить код, сделать его чище и облегчить работу с ним. Этот модуль содержит множество полезных методов. Здесь мы рассмотрим метод Counter().

Этот метод принимает итерируемый объект, такой, как список или кортеж, и возвращает словарь, содержащий сведения о количестве различных объектов в исследуемом списке (Counter Dictionary). Ключами такого словаря являются уникальные элементы, представленные в итерируемом объекте, а значениями — количества таких элементов.

Для создания объекта Counter нужно передать итерируемый объект (список, например) методу Counter()

#theory // Just Python

Оптимизация памяти в Python: Использование генераторов вместо списков

Когда мы работаем с большими наборами данных, важно помнить об эффективном использовании памяти. Одной из полезных фишек Python для оптимизации памяти является использование генераторов вместо списков.

Пример кода

Допустим, у нас есть задача найти квадраты чисел от 1 до 1 000 000. Сначала посмотрим, как это сделать с помощью списка:

# Плохая практика: использование списка
squares = [x**2 for x in range(1, 1000001)]

Этот код создает список квадратов чисел, что требует значительного объема памяти. Вместо этого можно использовать генератор, который создаст объекты по мере их запроса, не занимая много памяти:

# Лучшая практика: использование генератора
squares = (x**2 for x in range(1, 1000001))

Теперь squares - это генератор, который генерирует квадраты чисел по мере необходимости, занимая минимальное количество памяти.

#theory // Just Python

clean-text для нормализации и очистки текста

Отличный однострочный код для нормализации и очистки текста — идеально для проектов по обработке естественного языка.

Контент, созданный пользователями в Интернете и в социальных сетях, часто бывает грязным. Предварительно обработайте свои данные с помощью clean-text, чтобы создать нормализованное текстовое представление. Например, преобразуйте этот испорченный ввод:

A bunch of \\u2018new\\u2019 references, including [Moana](https://en.wikipedia.org/wiki/Moana_%282016_film%29).
»Yóù àré     rïght <3!«

в этот чистый вывод:

A bunch of 'new' references, including [moana](<URL>).
"you are right <3!"

Ссылочка на доку

#theory // Just Python

Autoviz: Автоматическая визуализация любого набора данных одной командой

Визуализация используется для показа данных с помощью графиков и диаграмм. В Data Science визуализация помогает понять наборы данных и найти связи между ними. Она также помогает выявить закономерности для дальнейшего анализа.

Для визуализации данных в Python часто используют Matplotlib, Seaborn, Plotly и другие. Но перед использованием этих библиотек нужно определить тип графика и аргументы. AutoViz решает эту проблему, быстро предоставляя нужную информацию.

Ссылочка на доку

#theory // Just Python

PyForest: Один импорт для всех важных модулей

Импортируйте все ключевые библиотеки Python одной строкой. Это удобно для всех ваших проектов по Data Science и при создании нового окружения в Conda.

При работе с данными вы используете библиотеки, такие как pandas, matplotlib, seaborn, numpy и sklearn. Прежде чем приступить к работе, нужно их импортировать.

Библиотека решает несколько проблем:
• Однообразие: импорт всегда одинаковый и скучный.
• Пропущенные импорты мешают работе.
• Иногда нужно искать точные строки импорта, например, import matplotlib.pyplot as plt или from sklearn.ensemble import GradientBoostingRegressor.

Ссылочка на доку

#theory // Just Python

XlsxWriter для записи файлов в формате Excel

XlsxWriter — это очень мощный модуль Python для записи файлов в формате Excel. Он поддерживает добавление текста, чисел, формул, изображений и макросов Excel — среди прочих функциональных возможностей.

XlsxWriter даже интегрируется с pandas, известным пакетом Python для работы с данными.

Ссылочка на доку

#theory // Just Python

Fabulous — вывод картинок в консоль

Вам не достаточно красивого вывода таблиц в консоль? А как насчёт вывода текста с тенями или даже картинок? Теперь это возможно!

Использовать только в небольших количествах во избежание перелома чувства прекрасного

Ссылочка на доку

#theory // Just Python

Temporian для предварительной обработки временных данных

Temporian предлагает новую парадигму для работы с временными данными. Будучи специально разработанными для него, плюс его основные вычисления, выполняемые как высокооптимизированный код C ++, позволяют ему сделать обычные временные операции более безопасными, простыми в написании и намного, намного быстрее в выполнении - с бенчмарками, показывающими ускорение более чем в 100 раз по сравнению с эквивалентным кодом pandas.

Ссылочка на доку

#theory // Just Python

Unstructured для предварительной обработки текста

Unstructured - это доступная библиотека Python для легкого извлечения текста из документов. Она упрощает очистку текста, обрабатывая все, от удаления маркеров до управления эмодзи и языкового перевода.

Ссылочка на доку

#theory // Just Python

Taipy для создания пользовательских интерфейсов

Taipy - это библиотека Python, которая позволяет специалистам по обработке данных создавать увлекательные повествования на основе своих данных.

Магия Taipy заключается в его способности привязывать переменные и выражения к состоянию визуальных компонентов в пользовательском интерфейсе.

Ссылочка на доку

#theory // Just Python

TorchAudio для обработки аудиосигнала

Библиотека машинного обучения для обработки звука и сигналов с помощью PyTorch.

TorchAudio предоставляет функции ввода-вывода, обработки сигналов и данных, наборы данных, реализации моделей и компоненты приложений.

Ссылочка на доку

#theory // Just Python

Самая лучшая работа сегодня — у владельца телеграм-канала.

В этом году они в среднем получают 300 000 рублей в месяц, работая сидя дома, в путешествии или загородном домике. А самые смышленые доходят и до миллионов.

Хотите также? Чтобы зарабатывать с телеграм-канала не нужно быть гением маркетинга, просто начните читать Машу Полуянову.

Она уже три года работает в телеграме и без пафоса объясняет, как за первую неделю набрать 1000 читателей, откуда брать контент на месяц вперёд и как заработать первые 100 000 рублей с нуля даже новичку.

Подписывайтесь, такие блоги редко встретишь: @mashapoluyanova

NLTK для обработки естественного языка

NLTK (Natural Language Toolkit) — один из наиболее популярных инструментов для обработки естественного языка.

Особенности NLTK:
• Поддерживает более 50 языковых наборов данных и обученных языковых моделей.
• Предлагает классификацию текста, выделение корней, токенизацию, тегирование, синтаксический анализ.
• Функции для анализа настроений или мнения, выраженного во фрагменте текста.

Ссылочка на доку

#theory // Just Python

Gensim для извлечения семантических тем

Пакет Python с открытым исходным кодом, смоделированный для извлечения семантических тем из больших документов и текстов для обработки, анализа и прогнозирования поведения человека с помощью статистических моделей и лингвистических вычислений.

Gensim имеет возможность обрабатывать огромные данные, независимо от того, являются ли они необработанными и неструктурированными.

Ссылочка на доку

#theory // Just Python