Python/ django

🖥 Crawlee-Python: Библиотека для Веб-Скрапинга.

Crawlee-Python — это мощная библиотека, разработанная для выполнения задач веб-скрапинга. Она предоставляет пользователям набор инструментов и функциональности для эффективного извлечения данных из веб-страниц.

Преимущества Crawlee-Python:
- Легкость использования: Crawlee-Python разработан с акцентом на простоту и удобство использования, что позволяет даже начинающим разработчикам быстро освоить основные принципы веб-скрапинга и кроулинга.

- Поддержка современных технологий: Библиотека поддерживает работу с современными веб-технологиями, что позволяет ей эффективно справляться с динамическими веб-страницами, используя инструменты для работы с JavaScript, такие как Puppeteer и Playwright.

- Асинхронное выполнение задач: Crawlee-Python поддерживает асинхронное выполнение задач, что значительно ускоряет процесс скрапинга и позволяет одновременно обрабатывать множество запросов.

- Расширяемость: Библиотека легко расширяется благодаря модульной архитектуре, что позволяет пользователям добавлять и настраивать функциональность под свои специфические нужды.

- Управление сессиями и прокси: Crawlee-Python предоставляет встроенные инструменты для управления сессиями и прокси-серверами, что помогает обходить блокировки и ограничения, накладываемые веб-сайтами.

- Автоматическое управление очередями: Библиотека автоматизирует процесс управления очередями задач, что упрощает организацию большого количества запросов и их выполнение.

- Гибкость конфигурации: Пользователи могут гибко настраивать параметры скрапинга, такие как частота запросов, задержки между запросами, обработка ошибок и многое другое.

Примеры использования:
- Извлечение данных для анализа: С помощью Crawlee-Python можно автоматически собирать данные с различных веб-сайтов для последующего анализа и визуализации.
- Мониторинг изменений на веб-страницах: Библиотека позволяет отслеживать изменения на веб-страницах и уведомлять пользователей о важных обновлениях.
- Сбор данных для обучения моделей машинного обучения: Crawlee-Python может быть использован для сбора большого объема данных, необходимых для обучения и тестирования моделей машинного обучения.

Crawlee-Python представляет собой мощный инструмент для веб-скрапинга и кроулинга, предоставляющий множество возможностей для автоматизации процесса извлечения данных из интернета.

Crawlee-Python предлагает два основных типа краулеров: BeautifulSoupCrawler и PlaywrightCrawler.

BeautifulSoupCrawler отлично подходит для проектов, которые требуют эффективного извлечения данных из HTML-контента без необходимости выполнения JavaScript на стороне клиента. С другой стороны,

PlaywrightCrawler использует безголовый браузер для обработки веб-страниц, которые зависят от клиентского JavaScript или требуют взаимодействия с JavaScript-контентом.

pipx run crawlee create my-crawler

🖥 Github

@pythonl

🌟 ggshield — CLI-утилита, которую можно интегрировать в CI-конвейер для обнаружения 400+ типов захардкоженных секретов и не только

— brew install gitguardian/tap/ggshield

Также ggshield позволяет выявить нарушения безопасности и 70+ типов неправильно написанных конфигов в подходе IaaC.
Для сканирования репозитория достаточно просто выполнить:

ggshield secret scan repo /path/to/your/repo

🖥 GitHub
🟡 Доки

@pythonl

🖥 Tach

Крутой и полезный инструмент: контроля вызова модулей и зависимостей для Python, напсианная на Rust.

С помощью Tach вы можете управлять тем, какие модули Python полагаются на какие другие. Чтобы избежать жесткой зависимости, модули также могут указывать общедоступный интерфейс.
В результате получается модульная, разделенная конструкция, которая упрощает разработку и обслуживание.

Любая попытка одного модуля импортировать другой, который явно не объявлен как зависимость, приведет к сообщению об ошибке от Tach. Когда для модуля установлен «строгий режим», Tach выдаст ошибку, если другой модуль попытается импортировать из него без использования его общедоступного интерфейса.

1. Он может показать что откуда кого вызывает и обращается в масштабе проекта, например (особенно, если он чужой)
2. Для CI процесса важно проверить перед деплоем, все ли ок, эта штука помогает это сделать
3. Контроль при коллективной разработке. Ставите ограничения на main например и фиг кто добавит в вызовы туда лишнее

pip install tach

▪ Github

@pythonl

🖥 Colour — библиотека Python от JetBrains, которая предоставляет большое количество алгоритмов для исследований, связанных с восприятием цветов

— $ pip install colour-science

Colour позволяет просто работать с цветами/палитрами и т.д.
К примеру, вот команда для построения спектра видимого света:

import colour
colour.plotting.colour_style()
colour.plotting.plot_visible_spectrum()

🖥 GitHub
🟡 Доки

@pythonl

⚡️ Обход капчи с GPT4o

Мощный инструмент для обхода различных капч (головоломок, текста, рекапчи) с использованием Python, Selenium и Open air GPT-4o.


📌 Github

#Python #Selenium #OpenAI #GPT4


@pythonl

🖥 Django Unicorn добавляет функциональность реактивных компонентов в шаблоны Django без необходимости изучать новый язык или со сложные JavaScript-фреймворки

— pip install django-unicorn

Django Unicorn плавно расширяет Django за пределы его базовых возможностей, не заставляя переделывать готовое приложение.
С помощью Django Unicorn можно легко добавлять в свои шаблоны фронтенд-взаимодействия, не отказываясь от Django.

🖥 GitHub
🟡 Доки

@pythonl

🖥 Open3D — современная библиотека Python для 3D моделирования

— pip install open3d

Open3D — это open-source библиотека, которая поддерживает быструю разработку ПО, работающего с 3D-данными.
Фронтенд Open3D предоставляет набор тщательно отобранных структур данных и алгоритмов на языках C++ и Python. Бэкэнд высоко оптимизирован и настроен на распараллеливание.

Основные возможности Open3D:
— поддержка структур 3D-данных
— алгоритмы обработки 3D-данных
— реконструкция сцены
— Выравнивание поверхностей
— 3D-визуализация
— рендеринг с учётом физики (PBR)
— поддержка машинного 3D-обучения с помощью PyTorch и TensorFlow
— ускорение GPU для основных 3D-операций

🖥 GitHub
🟡 Доки

@pythonl

🖥 Как построить полигональную сетку по изображению с помощью Python?

— pip install numpy mediapipe supervision pillow

В целом ничего сложного, нам понадобятся библиотеки numpy, mediapipe, supervision и pillow
Пробуйте)

@pythonl

🖥 Robyn — асинхронный веб-фреймворк Python с Rust-рантаймом

— pip install robyn

Robyn — это очень быстрый веб-фреймворк, который объединяет асинхронные возможности Python и скорость Rust для создания высокопроизводительных веб-приложений. Быстрое построение проектов, удобное использование и надежная поддержка плагинов.

Robyn отличается от остальных фреймворков.
Обычно для запуска какого-то фреймворка нужен WSGI/ASGI-сервер: Gunicorn, uWSGI или Uvicorn, например. У Robin этого нет. Сразу идет рантайм, написанный на Rust, который реализует WSGI-сервер. С помощью PyO3 он интегрируется с Python и вызывает его функции.
Robyn делает разбор и роутинг запроса на Rust, что ожидаемо работает быстро

🖥 GitHub
🟡 Доки

@pythonl

🖥 Code 2 Prompt

Мощный инструмент командной строки, который генерирует качественные промпты и предназначен для упрощения взаимодействия между разработчиками и LLM для генерации и анализа кода, документирования и выполнения задач по улучшению существующего кода.

Ключевые особенности:

- Поддержка нескольких языков программирования
- Интеграция с .gitignore
- Настраиваемое форматирование вывода с помощью шаблонов Jinja2
- Автоматический обход каталогов


Code2Prompt упрощает создание информативных комментариев по коду, что делает его ценным инструментом для разработчиков, желающих улучшить документацию и совместную работу по своим проектам.

▪ Github

@machinelearning_ru

🖥 Интересная идея для пет-проекта на Python — визуализация алгоритма сортировки в терминале

wget https://github.com/dormant-chicken/sortty/releases/latest/download/sortty.tar.gz
tar -xzvf sortty.tar.gz
cd sortty/
chmod +x install.sh
./install.sh

Пример использования:
sortty --algorithm insertion --text --bar_character o

🖥 GitHub

@pythonl

🖥 Testcontainers — библиотека Python, облегчающая использование Docker-контейнеров для функционального и интеграционного тестирования

— pip install testcontainers[postgres] (postgres как пример)

Testcontainers — это библиотека тестирования, которая позволяет писать тесты с использованием реальных зависимостей с помощью контейнеров Docker.

🖥 GitHub
🟡 Доки

@pythonl