Just Python

Что такое регулярные выражения и как их использовать в Python

Регулярные выражения являются мощным инструментом для работы с текстом. Они позволяют искать, заменять и манипулировать строками на основе определенных шаблонов.

Некоторые основные символы и конструкции в регулярных выражениях:

▪️. (точка) — соответствует любому одному символу
▪️* (звездочка) — указывает, что предыдущий символ может повторяться 0 или более раз
▪️+ (плюс) — указывает, что предыдущий символ может повторяться 1 или более раз
▪️{n} — указывает, что предыдущий символ должен повториться ровно n раз
▪️[abc] — соответствует любому символу из указанных в квадратных скобках
▪️[^abc] — соответствует любому символу, кроме указанных в квадратных скобках
▪️\d — соответствует любой цифре
▪️\w — соответствует любому буквенно-цифровому символу
▪️\s — соответствует любому пробельному символу

Регулярные выражения (или regex) — это последовательность символов, которая определяет шаблон поиска в тексте. Они используются в различных языках программирования, включая Python.

В Python для работы с регулярными выражениями используется модуль re.
Вот некоторые основные функции этого модуля:

▪️re.search(pattern, string) — ищет в строке первое совпадение с шаблоном и возвращает объект Match или None, если совпадений нет
▪️re.findall(pattern, string) — возвращает список всех непересекающихся совпадений с шаблоном в строке
▪️re.sub(pattern, replacement, string) — заменяет все совпадения с шаблоном в строке на указанную замену

#theory // Just Python

Gensim - это библиотека для неконтролируемого тематического моделирования и анализа сходства документов на Python.

Она широко используется для таких задач, как обобщение текста, кластеризация документов и тематическое моделирование. Gensim обладает широким спектром инструментов для работы с текстовыми данными, включая word2vec и LDA (скрытое распределение Дирихле).

Как использовать Gensim для обучения модели word2vec представлено на фото

Ставится командой pip install --upgrade gensim
Документация и примеры кода здесь

#theory // Just Python

Что такое веб-скрапинг и как его использовать в Python

Изучите основы веб-скрапинга и примеры его использования в Python с помощью популярных библиотек BeautifulSoup и Scrapy.

Веб-скрапинг — это процесс извлечения данных из веб-страниц путем скачивания и анализа их содержимого. В Python для этого используются различные библиотеки, такие как BeautifulSoup и Scrapy. В этой статье мы рассмотрим основы веб-скрапинга и примеры его использования на языке Python.

Зачем нужен веб-скрапинг?

Веб-скрапинг может использоваться для различных целей, таких как:

💖сбор данных для анализа (например, статистика посещаемости сайтов)
💖мониторинг цен на товары и услуги
💖создание баз данных контента для исследований
💖автоматизация рутинных задач, связанных с работой в интернете

Основные библиотеки для веб-скрапинга в Python

💖BeautifulSoup: удобная библиотека для парсинга HTML и XML документов. Позволяет извлекать данные из веб-страницы с помощью селекторов, таких как CSS и XPath.
💖Scrapy: мощный фреймворк для веб-скрапинга, который позволяет создавать и настраивать «пауков» (специальные программы для автоматического обхода и скачивания веб-страниц).

Веб-скрапинг — это мощный инструмент для работы с данными в интернете. Python предлагает множество библиотек для упрощения этого процесса, таких как BeautifulSoup и Scrapy. Начните с изучения основ и постепенно переходите к более сложным задачам, чтобы стать опытным веб-скрапером.

В примере на картинке мы используем requests для скачивания HTML-кода страницы, затем передаем его в BeautifulSoup для парсинга. После этого мы находим все элементы <article> и извлекаем из них текст заголовка (элемент <h2>).

#theory // Just Python

Pandas - это библиотека для обработки и анализа данных на Python.

Она широко используется для работы со структурированными данными и отлично подходит для очистки, преобразования и анализа данных. Pandas имеет широкий спектр инструментов для работы с данными, включая объекты dataframe и series, которые похожи на таблицы и столбцы в SQL.

Как использовать Pandas для загрузки и изучения набора данных представлены на фотографии

Ставится командой ⚙️ pip install cython
Документация и примеры кода здесь

#theory // Just Python

Keras - это высокоуровневая библиотека нейронных сетей для Python.

Она создана поверх TensorFlow и предназначена для того, чтобы максимально упростить построение и обучение нейронных сетей.
Keras отлично подходит для построения моделей глубокого обучения и обладает широким спектром инструментов для построения и обучения моделей.

Как использовать Keras для построения простой нейронной сети представлено на картинке

Ставится командой ⚙️ pip install keras-core
Документация и примеры кода здесь

#theory // Just Python

📌 Что такое асинхронное программирование в Python

Асинхронное программирование является подходом в разработке программного обеспечения, который позволяет одновременно выполнять несколько задач без блокирования основного потока выполнения. В Python это достигается с помощью асинхронной библиотеки asyncio и ключевых слов async и await.

Преимущества асинхронного программирования

Асинхронное программирование позволяет улучшить производительность приложения, особенно при работе с вводом-выводом (I/O), таким как чтение и запись файлов, обращение к базам данных и веб-сервисам.

Преимущества асинхронного программирования включают:

💖 Более эффективное использование ресурсов
💖 Улучшенная отзывчивость приложений
💖 Упрощение кода для параллельного выполнения задач

Основы асинхронного программирования в Python

Для использования асинхронного программирования в Python, необходимо знакомство с ключевыми словами async и await:

💖 async используется для объявления асинхронной функции. Это означает, что функция будет возвращать объект coroutine, который можно выполнить асинхронно.
💖 await используется внутри асинхронной функции для ожидания результата другой асинхронной операции. Это позволяет основному потоку продолжить выполнение других задач, пока ожидается результат.

#theory // Just Python

Scikit-learn - это широко используемая библиотека для машинного обучения на Python. Она построена поверх NumPy и SciPy и предлагает широкий спектр инструментов для создания и оценки моделей машинного обучения. Scikit-learn отлично подходит для построения традиционных моделей машинного обучения, таких как линейная регрессия, деревья решений и кластеризация k-средних.

Как использовать scikit-learn, чтобы построить простую модель линейной регрессии представлено на картинке

Ставится командой ⚙️ pip install -U scikit-learn
Документация и примеры кода здесь

#theory // Just Python

Как парсить данные из HTML и XML в Python

Узнайте, как парсить данные из HTML и XML в Python с помощью популярных библиотек BeautifulSoup и lxml, с примерами кода!

Парсинг данных из HTML и XML является распространенной задачей в области Python-разработки. Мы рассмотрим основные инструменты и подходы для решения этой задачи.

BeautifulSoup

BeautifulSoup — это популярная библиотека для парсинга HTML и XML документов. Она предоставляет простой и удобный интерфейс для извлечения данных из веб-страниц.

Установка

Для установки библиотеки BeautifulSoup выполните следующую команду:

⚙️ pip install beautifulsoup4

lxml

lxml — это еще одна мощная библиотека для парсинга HTML и XML документов. Она предоставляет быстрый и эффективный парсер, основанный на C-библиотеках libxml2 и libxslt.

Установка

Для установки библиотеки lxml выполните следующую команду:

⚙️ pip install lxml

#theory // Just Python

TensorFlow - это библиотека с открытым исходным кодом, разработанная Google для создания и развёртывания моделей машинного обучения.

Это одна из самых популярных библиотек для искусственного интеллекта и машинного обучения, которая используется такими компаниями, как Airbnb, Intel и Twitter.

TensorFlow отлично подходит для построения нейронных сетей и моделей глубокого обучения, а также обладает широким спектром инструментов для построения и обучения моделей.

Как использовать TensorFlow для построения простой нейронной сети представлено на картинке.

Также у нас был часовой урок на ютубе про TensorFlow, — тык.

Ставится командой ⚙️ pip install tensorflow
Документация и примеры кода здесь

#theory // Just Python

rembg - это библиотека для удаления фона у любого изображения.
Работает с помощью нейронной сети.
И также является консольной утилитой.

Открыть изображение можно как массив байтов, либо через PIL.
Оба варианта rembg понимает.
А для удаления фона достаточно импортировать и вызвать метод remove(input).

Ставится командой ⚙️ pip install rembg[gpu,cli]
Документация и примеры кода здесь.

#theory // Just Python

Faker — полезная библиотека, которая поможет вам создавать реалистичные тестовые данные.

Независимо от того, нужны ли вам данные для тестирования, заполнения базы данных или демонстрации функционала, Faker делает процесс генерации данных простым и эффективным.

Faker предоставляет генераторы для различных типов данных, таких как имена, адреса, номера телефонов, электронные почты, даты, текст и многое другое. Это идеальное решение для тех, кто хочет ускорить процесс тестирования.

На примере выше мы написали функцию generate_fake_user, которая использует различные методы Faker, чтобы создать случайные данные для имени, электронной почты, номера телефона и адреса. Затем мы выводим полученные данные о пользователе.

Ставится командой ⚙️ pip3 install faker
Документация и примеры кода здесь :3

#theory // Just Python

art — модуль, который предоставляет возможности для создания ASCII-текста из обычного текста.

art позволяет превратить обычные строки в ASCII-арты, что может быть интересным способом оформления текстовых сообщений.

В примере выше мы использовали модуль art, чтобы преобразовать текст "xo_py" в ASCII-арт. Функция text2art принимает текстовую строку и возвращает ASCII-арт, который представляет собой стилизованный вариант этого текста в виде символов.

Ставится командой ⚙️ pip3 install art
Документация и примеры кода здесь :3

#theory // Just Python

cmd — встроенная библиотека для создания интерактивных командных интерфейсов.

cmd предоставляет удобные инструменты для создания интерактивных командных интерфейсов (CLI). Он позволяет создать собственную командную оболочку с поддержкой пользовательских команд, автодополнения, подсказок и истории команд, что делает взаимодействие с программой более удобным и эффективным.

Класс Cmd модуля cmd предоставляет основу для создания пользовательских командных интерфейсов. Он обрабатывает пользовательский ввод и вызывает соответствующие методы для выполнения команд. Вы можете определить собственные методы для обработки команд, а также использовать декораторы для добавления дополнительных функциональностей к командам.

В примере выше мы создаем простой командный интерфейс с помощью класса Cmd. Мы определяем две команды: hello и quit. Команда hello принимает один аргумент name и выводит приветствие с использованием аргумента. Команда quit печатает сообщение "Exiting..." и возвращает True, что приведет к выходу из командного интерфейса.

При запуске скрипта, он будет ожидать пользовательского ввода с приглашением >>>. Пользователь может ввести команды hello <имя> для приветствия или quit для выхода из интерактивной оболочки.

Подробнее тут :3

#theory // Just Python

collections — встроенный модуль, который предоставляет удобные и эффективные инструменты для обработки и работы с различными типами данных.

collections включает в себя специализированные контейнеры, которые расширяют функциональность встроенных типов данных и позволяют более эффективно решать различные задачи.

Недавно мы показывали некоторые классы из модуля collections, однако про сам модуль не рассказали.

Подробнее тут :3

#theory // Just Python

Counter — класс из модуля collections, предоставляющий удобный способ подсчета элементов в коллекции.

Counter позволяет быстро и легко определить количество вхождений каждого элемента в списке, строке или любой другой итерируемой коллекции. Этот класс имеет множество полезных методов для работы с подсчетом элементов и позволяет легко решать различные задачи, связанные с анализом данных.

#theory // Just Python

captcha — модуль, который представляет собой защитный механизм, используемый для определения, является ли пользователь человеком или ботом

В реальных проектах, вместо сохранения на диск, captcha обычно передается напрямую и отображается пользователю. Для этого у captcha есть метод tobytes()

Таким образом, использование модуля captcha позволяет легко реализовать защиту от ботов, требуя от пользователей выполнить простую задачу, но при этом значительно затрудняя автоматизированные атаки и спам.

Ставится командой ⚙️ pip3 install captcha
Документация и примеры кода здесь :3

#theory // Just Python

pynacl — библиотека, обеспечивающая простой и безопасный доступ к криптографическим функциям, основанным на библиотеке Networking and Cryptography (NaCl).

pynacl предоставляет надежные инструменты для решения задач, связанных с криптографией, такие как шифрование, подпись сообщений, хэширование и генерация случайных чисел. Она обеспечивает высокий уровень безопасности и надежности, что делает ее идеальным выбором для приложений, требующих защиты данных и обеспечения целостности информации.

На примере выше у нас есть два скрипта: один для шифрования сообщения, а другой для его расшифровки. Используя pynacl, мы можем безопасно передать зашифрованное сообщение от отправителя к получателю.

#theory // Just Python

argparse — модуль обработки аргументов командной строки

argparse является частью стандартной библиотеки и предоставляет удобный способ обработки аргументов, переданных через командную строку. Он позволяет создавать гибкие интерфейсы командной строки с опциями, флагами и аргументами, что делает написание скриптов и приложений более удобным и управляемым.

В примере выше функция main() определяет два аргумента: username и age, а также добавляет описание для них. Затем, когда скрипт запускается, argparse обрабатывает переданные аргументы командной строки и передает их в функцию greet_user(). Функция greet_user() форматирует приветствие с указанием имени пользователя и его возраста, а затем выводит результат в консоль.

Подробнее здесь :3

#theory // Just Python