Python/ django

🖥 Repo2txt — утилита на Python, которая позволяет сохранить любой репозиторий в виде текстового файла

Repo2txt может пригодиться для интеллектуального анализа текстов или обучения LLM.
При написании Repo2txt автор не использовал сторонние зависимости и уместил всё в один файл. Для лучшей производительности применяется многопоточность. Кроме того, Repo2txt учитывает файлы в .gitignore, чтобы исключать их из вывода, поддерживается вывод двоичных файлов (аудио, изображений). Сам исходный файл понятен человеку и может легко токенизироваться для обучения моделей.

Кроме возможности обучать на полученных данных нейросети, разработчик приводит и другие сценарии использования Repo2txt:
— анализ данных;
— резервное копирование;
— локальное версирование.

Сперва утилиту необходимо скачать, локально клонировав исходный репозиторий. После этого для копирования репозиториев надо выполнить файл main.py с указанием пути к репозиторию и флагами:
— -d, --directory — путь к каталогу (обязательно).
— -t, --tree — вывод дерева репозитория (без содержимого файлов, отключен по умолчанию).
— -e, --embed — включить дерево в начале вывода.
— -b, --binary — ключить двоичные файлы (отключен по умолчанию).
— -g, --gitignore — использовать .gitignore для исключения файлов.
— -i, --ignore — можно через запятую указать дополнительный шаблон для исключения файлов.
— -o, --output — имя файла на выходе.

🖥 GitHub

@pythonl

🖥 PyTorch-Ignite — библиотека Python, помогающая гибко и прозрачно обучать и оценивать нейросети в PyTorch

— pip install pytorch-ignite

Особенности PyTorch-Ignite:

— позволяет запускать любые обработчики на любые встроенные или кастомные события

— даёт возможность устанавливать контрольные точки, делать раннюю остановку, выполнять профилирование, планирование параметров и многое другое

— позволяет без проблем подключать дополнительные CPU, GPU и TPU

— имеет 50+ метрик, позволяющих легко оценивать модели

— бесшовно интегрируется с Tensorboard, MLFlow, WandB, Neptune

🖥 GitHub
🟡 Доки
🟡 Google Colab для экспериментов

@pythonl

🖥 Pyre — отличная библиотека для добавления статической типизации в Python (а вернее проверки типов)

sudo apt-get install python3 python3-pip python3-venv watchman
pip install pyre-check

Особенности Pyre:
— эффективно работает на больших кодовых базах с миллионами строк Python.

— может отмечать ошибки типов интерактивно в терминале или в рантайме в IDE

— следует стандартам PEPs 484, 526, 612, активно развивается и постоянно улучшается

— Pyre поставляется с Pysa, инструментом статического анализа, ориентированным на безопасность

🖥 GitHub
🟡 Доки

@pythonl

🖥 Как легко вырезать фон на изображении с помощью Python

# pip install rembg pillow

from rembg import remove
from PIL import Image

input_path = "in.png"
output_path = "out.png"

input = Image.open(input_path)
output = remove(input)
output.save(output_path)

Перед началом ставим rembg и pillow, конечно же
В процессе подтянется моделька https://github.com/danielgatis/rembg/releases/download/v0.0.0/u2net.onnx

@pythonl

🖥 Dataherald — движок для преобразования естественного языка в запросы SQL

Позволяет создать API, чтобы получать ответы на вопросы по БД; при этом вопросы можно будет задавать на простом английском языке.

🖥 GitHub
🟡 Доки

@pythonl

🖥 PyRIT — библиотека Python для оценивания безопасности LLM

conda create -y -n <environment-name> python=3.11
pip install pyrit

PyRIT автоматизирует задачи AI Red Team, помогает выявлять такие нарушения безопасности, как неправомерное использование LLM, нарушение конфиденциальности — в общем позволяет проактивно находить риски в ИИ-системах.

🖥 GitHub
🟡 How-to гайд для PyRIT

@pythonl

⭐️ LM-Studio. Запускаем у себя на ПК АНАЛОГ GPT. Генерируем Flask приложение с помощью ИИ.

https://www.youtube.com/watch?v=bsbW8UoA0zA

@pythonl

🖥 Celery — open-source распределенная очередь задач, написанная на Python

— pip install -U Celery

Celery — это гибкая и надежная распределенная система для обработки огромного количества сообщений.
Ориентирована на обработку в реальном времени, а также поддерживающает планирование задач.

Для отправки и получения сообщений Celery требуется решения типо RabbitMQ и Redis.
Помимо полноценной поддержки RabbitMQ и Redis есть и поддержка множества других экспериментальных решений, включая использование SQLite для локальной разработки.

Celery может работать на одной машине, на нескольких машинах или даже в разных ЦОДах.

В дополнение к Python-версии существуют node-celery и node-celery-ts для Node.js, а также PHP-клиент.

🖥 GitHub
🟡 Доки

@pythonl

🖥 Rich — библиотека Python для отображения текста в терминале с поддержкой цвета, разных стилей и форматирования

— pip install rich

Rich позволяет сделать CLI-утилиты более информативными и удобными в использовании.
Также поддерживает подсветку синтаксиса структур данных.

Rich работает везде — в macOS, Linux и Windows.

🖥 GitHub
🟡 Доки

@pythonl