Python tricks | Хитрости Питона

Перечисление

Функция enumerate() добавляет счетчик к итерируемому объекту и возвращает его в виде объекта перечисления.

Этот перечисляемый объект затем может быть использован непосредственно для циклов или преобразован в список кортежей с помощью функции list().

🔗 Python tricks

Что такое магические методы dunder

Магические методы, также известные как «dunder» (double underscore) методы в Python, это специальные методы, которые начинаются и заканчиваются двойным подчеркиванием. Они позволяют определить, как объекты этого класса будут вести себя в различных контекстах, например, при использовании операторов Python, таких как +, -, *, / и т.д., при вызове функций и методов, при сериализации и многое другое.

🔗 Python tricks

SHAP

SHAP (SHapley Additive exPlanations) — это игровой подход к объяснению вывода любой модели машинного обучения. Он соединяет оптимальное распределение кредитов с локальными объяснениями, используя классические значения Шэпли из теории игр и связанные с ними расширения.

В этом примере мы загружаем модель бостон и разделяем ее на тренировочные и тестовые. Затем мы обучаем модель градиентного бустинга xgboost на тренировочных данных. Далее мы создаем объект Explainer из библиотеки shap, который используется для интерпретации предсказаний модели. Вызываем метод __call__ у объекта explainer с тестовыми данными в качестве аргумента для получения значений SHAP для этих данных.

🔗 Python tricks

Объясните, почему такое возможно

Это возможно из-за того, что Python имеет функцию под названием «name mangling», которая изменяет имена атрибутов класса или методов путем добавления двойного подчеркивания «__» в начале их имен. Это сделано для того, чтобы предотвратить случайное переименование атрибутов в подклассах, которые будут унаследованы суперклассом.

🔗 Python tricks

H2Oai

H2O.ai предоставляет модуль Python, который дает доступ к H2O JVM, а также к его расширениям, объектам, алгоритмам машинного обучения и возможностям поддержки моделирования, таким как базовое преобразование данных и генерация признаков.

H2O JVM предоставляет веб-сервер, чтобы все общение происходило через сокет (указанный IP-адресом и портом) с помощью серии вызовов REST.

В этом примере мы импортируем H2OGradientBoostingEstimator из библиотеки h2o и инициализируем H2O с помощью init. Затем загружаем данные и разделяем их на тренировочные и тестовые. Далее мы определяем признаки и целевую переменную для обучения модели.

Затем мы создаем экземпляр H2OGradientBoostingEstimator и обучаем его на тренировочных данных с помощью метода train. После обучения мы можем использовать метод model_performance для оценки качества модели на тестовых данных.

🔗 Python tricks

LIME

LIME (Local Interpretable Model-agnostic Explanations) - это проект, который объясняет, что делают модели машинного обучения. lime поддерживает объяснения для табличных моделей, текстовых классификаторов и классификаторов изображений.

В этом примере мы загружаем данные о качестве вина и разделяем их на тренировочные и тестовые. Затем мы обучаем модель RandomForestClassifier на тренировочных данных. Далее мы создаем объект LimeTabularExplainer из библиотеки lime, который используется для интерпретации предсказаний модели. Мы выбираем индекс объекта из тестовых данных и используем метод explain_instance для получения объяснения предсказания модели для этого объекта.

🔗 Python tricks

Catboost

CatBoost это быстрая, масштабируемая и высокопроизводительная библиотека градиентного бустинга на деревьях решений, используемая для ранжирования, классификации, регрессии и других задач машинного обучения для Python, R, Java, C++. Поддерживает вычисления на CPU и GPU.

В этом примере мы импортируем CatBoostClassifier из catboost и создаем экземпляр классификатора с определенными параметрами. Затем мы обучаем модель на тренировочных данных и метках с помощью метода fit. После обучения мы можем использовать методы predict и predict_proba для получения предсказаний классов и вероятностей соответственно.

Результат работы кода будет зависеть от входных данных. В этом примере используются случайные данные для обучения и тестирования. В реальных ситуациях данные будут отличаться.

🔗 Python tricks

Dask

Dask — это гибкая библиотека для параллельных вычислений. Dask состоит из двух частей: динамического планирования задач, оптимизированного для вычислений, и коллекций "больших данных", таких как параллельные массивы, фреймы данных и списки, которые расширяют общие интерфейсы, такие как NumPy, Pandas или итераторы Python, до сред больше памяти или распределенных сред.

В этом примере мы создаем массив Dask x размером 10000x10000 с чанками размером 1000x1000. Затем мы выполняем несколько операций над массивом x, включая транспонирование, срез и вычисление среднего значения. Наконец, мы вызываем метод compute() для вычисления результата.

Результат работы кода - массив NumPy со средними значениями по строкам для каждой второй строки в срезе y[::2, 5000:].

🔗 Python tricks

dict.items

Метод items() возвращает объект представления, который отображает список пар кортежей словаря (ключ, значение). Если список обновляется в любое время, изменения отражаются на самом объекте представления, как показано в приведенном выше примере.

🔗 Python tricks

Объясните, что такое monkey patching и приведите пример

Monkey patching — это техника изменения поведения кода во время выполнения путем динамической замены или добавления методов или атрибутов в существующем объекте. Эта техника может быть полезна в том случае, когда изменения не могут быть внесены в существующий код, и требует минимальных изменений в существующем коде.

🔗 Python tricks

VisPy

VisPy — это высокопроизводительная интерактивная библиотека визуализации данных 2D/3D. VisPy использует вычислительную мощность современных графических процессоров через библиотеку OpenGL для отображения очень больших наборов данных.

VisPy способна создавать высококачественные интерактивные научные графики с миллионами точек.

В этом примере мы создаем данные для точечного графика с N точками и цветами. Затем мы создаем канвас и добавляем на него точечный график с помощью класса Markers. Наконец, мы запускаем приложение с помощью app.run().

Результат работы кода - отображение окна с интерактивным точечным графиком.

🔗 Python tricks

Auto-sklearn

Auto-sklearn — это автоматизированный инструмент машинного обучения и замена для оценщика scikit-learn. Он предназначен для автоматического обнаружения хорошо работающих моделей для задач прогнозного моделирования с минимальным участием пользователя.

В этом примере мы создаем экземпляр классификатора AutoSklearnClassifier и обучаем его на тренировочных данных X_train и y_train. Затем мы используем обученный классификатор для предсказания меток классов для тестовых данных X_test.

Результат работы кода — массив предсказанных меток классов для тестовых данных X_test.

🔗 Python tricks

Annoy

Annoy (Approximate Nearest Neighbors Oh Yeah) — это библиотека, которая используется для поиска точек в пространстве, близких к заданной точке запроса. Она также создает большие файловые структуры данных только для чтения, которые отображаются в память, чтобы многие процессы могли использовать одни и те же данные.

В этом примере мы создаем индекс Annoy с длиной вектора элемента f и используем расстояние angular. Затем мы добавляем 1000 элементов со случайными значениями в индекс и строим его с использованием 10 деревьев. После этого мы сохраняем индекс в файл test.ann. Затем мы загружаем индекс из файла и выполняем поиск 1000 ближайших соседей для элемента с индексом 0.

Результат работы кода - список из 1000 индексов элементов, которые являются ближайшими соседями для элемента с индексом 0.

🔗 Python tricks

Как работать с транзитивными зависимостями

Для работы с транзитивными зависимостями можно использовать систему управления зависимостями, например, pipenv, poetry или pip. Эти системы позволяют устанавливать зависимости и их транзитивные зависимости, а также контролировать версии зависимостей.

🔗 Python tricks

Eve

Eve — это фреймворк для создания REST API на языке Python с открытым исходным кодом. Он позволяет легко создавать и развертывать высоко настраиваемые, полнофункциональные RESTful веб-сервисы. Eve предлагает встроенную поддержку для MongoDB и SQL-бэкендов через расширения сообщества.

В этом примере мы импортируем класс Eve из модуля eve, создаем экземпляр приложения Eve и запускаем его. Теперь API активен и готов к использованию.
В результате — запущенный веб-сервер с RESTful API, который можно использовать для обмена данными между клиентом и сервером.

*REST API — это API, построенный с учетом ограничений REST. Это означает, что REST API использует HTTP-методы (GET, POST, PUT, DELETE и т. д.) для выполнения операций над ресурсами (данными), представленными в виде URI (Uniform Resource Identifier).

🔗 Python tricks

Prophet

Prophet — это библиотека прогнозирования временных рядов с открытым исходным кодом, разработанная командой Facebook. Она доступна как для Python, так и для R.

Prophet предназначен для создания высококачественных прогнозов для принятия решений, не требуя от пользователя экспертных знаний по прогнозированию временных рядов.

В этом примере мы загружаем данные о пассажирах авиакомпании, подготавливаем их для использования в модели Prophet, создаем и обучаем модель, создаем будущие даты для прогнозирования, делаем прогноз и визуализируем его.

Результат работы этого кода — график с прогнозом количества пассажиров авиакомпании на будущий период. Визуализация также показывает компоненты прогноза: тренд, сезонность и праздники.

🔗 Python tricks

Pyro4

Это библиотека, которая позволяет вам создавать приложения, в которых объекты могут общаться друг с другом через сеть с минимальными усилиями по программированию.
Он разработан таким образом, чтобы быть очень простым в использовании и, как правило, не мешать вам. Но он также предоставляет набор мощных функций, которые позволяют вам быстро и без усилий создавать распределенные приложения.

В этом примере мы используем Pyro4 для создания распределенного приложения, в котором объекты могут общаться друг с другом через сеть. Мы создаем удаленный объект GreetingMaker, который имеет метод get_fortune, который возвращает случайное приветствие. Затем запускаем сервер Pyro4, который предоставляет доступ к этому объекту через сеть.

🔗 Python tricks

Twisted

Twisted — это асинхронный фреймворк, написанный на Python. Это мощное средство для быстрой разработки сетевых (и не только) сервисов. Он разработан с использованием паттерна проектирования Reactor.

Фреймворк включает в себя следующие модули: twisted.web; twisted.conch; twisted.words; twisted.mail; twisted.positioning; twisted.names; twisted.trial.

В этом примере мы создаем класс Echo, который переопределяет метод dataReceived. Этот метод вызывается каждый раз, когда сервер получает данные от клиента.
Затем мы создаем класс EchoFactory, который переопределяет метод buildProtocol. Этот метод вызывается каждый раз, когда сервер принимает новое соединение.
Наконец, мы используем реактор Twisted для прослушивания входящих соединений на порту 1234 и запускаем реактор. Когда клиент подключается к серверу и отправляет данные, сервер отправляет эти данные обратно клиенту.

🔗 Python tricks

Почему иногда Python так долго запускается в Windows

Запуск Python может занимать длительное время на компьютерах с операционной системой Windows по нескольким причинам. Вот некоторые из них:

Перезагрузка компьютера может занять длительное время и затормозить работу Python;

Некоторые антивирусные программы и брандмауэры могут занимать ресурсы и замедлять выполнение команд в Python;

Операционная система Windows может использовать много ресурсов, когда запускаются приложения, и это может сказаться на производительности Python;

Зависимости и модули Python, которые используются в приложении, могут занимать много времени на импорт и загрузку;

Неэффективный код Python может приводить к значительным задержкам и замедлениям;

Другие приложения, работающие на компьютере, могут занимать много времени на выполнение задач и затруднять работу Python;

🔗 Python tricks