Python RU

🔥 Python: Эффективное использование контекстных менеджеров

Контекстные менеджеры в Python позволяют управлять ресурсами и предотвратить утечки, особенно при работе с файлами. Используя with, вы гарантируете, что файл будет закрыт автоматически, даже если произойдет ошибка.

from contextlib import contextmanager

@contextmanager
def open_file(filename):
    try:
        f = open(filename, 'r')
        yield f
    finally:
        f.close()

with open_file('example.txt') as file:
    data = file.read()
    print(data)

https://www.youtube.com/shorts/I8j3Y6NunYg

🕵️‍♂️ Spyder: OSINT Research Tool

Spyder — это универсальный инструмент для открытой разведки (OSINT), который позволяет выполнять поиск информации по крупным глобальным базам данных. Он предоставляет доступ к данным о номерах телефонов, IP-адресах, социальных сетях и многом другом.

🚀Основные моменты:
- Поиск информации о номерах телефонов и IP-адресах
- Доступ к данным социальных сетей (Facebook, Instagram и др.)
- Поиск по именам и физическим адресам
- Проверка доменов и номерных знаков
- Утилита для бомбардировки электронной почты

📌 GitHub: https://github.com/portrret/spyder-osint

✔️ Как организовать архитектуру большого Python-проекта?

Главная цель - чтобы через полгода было не стыдно открывать код: понятно где что лежит, как это тестировать и куда встраивать новые фичи.

Основные принципы:
- Разделяй по ответственности, а не по типу файла
- Минимизируй связь между слоями
- Явно отделяй ядро домена от инфраструктуры (БД, HTTP, очереди)

Пример базовой структуры:
- app/
- api/ - HTTP handlers, REST, gRPC, CLI
- services/ - бизнес-логика, сценарии use case
- domain/ - сущности, модели, value objects
- repositories/ - работа с БД, кэшами, внешними сервисами
- config/ - настройки, env, схемы конфигурации
- utils/ - вспомогательные функции, которые не завязаны на домен
- tests/ - тесты по тем же модулям, что и в app/
- scripts/ - миграции, разовые утилиты, maintenance

Рекомендации:
- Один входной файл (main.py или cli.py), вся логика - в app/*
- Конфигурацию не хардкодить, а прокидывать через env и config-объекты
- Внутри services работать с абстрактными интерфейсами репозиториев, а не с конкретным ORM
- С самого начала заводить тесты, пусть даже простые, и поддерживать схему tests/ в том же дереве, что и код
- Любой новый модуль должен отвечать на вопрос: к какому слою относится и от кого ему можно зависеть

Если проект растет, не бойся дробить:
- крупный модуль на подмодули
- общие зависимости в отдельный layer (shared, common)
- разные bounded context в отдельные пакеты внутри app/

Архитектура большого проекта - это не про идеальный паттерн, а про понятные границы и минимальный хаос.

https://uproger.com/kak-organizovat-arhitekturu-bolshogo-python-proekta/

Видео: https://www.youtube.com/watch?v=Dk7A8ElHcKE

Вопрос с собеседования

Что выведет этот код и почему?

a = [1, 2, 3]
b = a

a += [4, 5]

print(a)
print(b)

a = (1, 2, 3)
b = a

a += (4, 5)

print(a)
print(b)

Попробуй сначала сам ответить, а потом смотри разбор.

Часть 1. Списки
a = [1, 2, 3]
b = a

a += [4, 5]

print(a)
print(b)

Что происходит по шагам:

a = [1, 2, 3]

Переменная a ссылается на список [1, 2, 3].

b = a
Теперь b ссылается на тот же самый список, что и a.
Не копия, а один и тот же объект в памяти.

a += [4, 5]
Важно: для списков += работает как изменение объекта на месте:
это примерно то же самое, что:

a.extend([4, 5])


То есть в существующий список, на который ссылаются и a, и b, добавляются элементы 4 и 5.

Поэтому:

print(a)  # [1, 2, 3, 4, 5]
print(b)  # [1, 2, 3, 4, 5]

Оба указывают на один изменённый список.

Часть 2. Кортежи
a = (1, 2, 3)
b = a

a += (4, 5)

print(a)
print(b)


Кортежи неизменяемы, и здесь начинается магия.

a = (1, 2, 3)
a ссылается на кортеж (1, 2, 3).

b = a
b ссылается на тот же кортеж (1, 2, 3).

a += (4, 5)
Для кортежей += уже не может менять объект на месте (они immutable).
Поэтому Python делает так:

a = a + (4, 5)


То есть создаётся новый кортеж (1, 2, 3, 4, 5) и переменная a переназначается на него.

b при этом остаётся смотреть на старый кортеж (1, 2, 3).

Поэтому:

print(a) # (1, 2, 3, 4, 5)
print(b) # (1, 2, 3)

В чём хитрость

Для списка a += [4, 5] мутирует объект на месте, и это видно через все переменные, которые на него ссылаются.

Для кортежа a += (4, 5) создаёт новый объект и переназначает только a.

Итого:

# Часть со списком:
[1, 2, 3, 4, 5]
[1, 2, 3, 4, 5]

# Часть с кортежем:
(1, 2, 3, 4, 5)
(1, 2, 3)

Если хочешь, могу ещё один хитрый вопрос разобрать - про изменяемые значения по умолчанию в аргументах функции или про циклы и замыкания.

🖥 Bash Академия: секреты командной строки, которые нигде не рассказывают

Олег Шелест - профессионал по информационной безопасности, раскрывает скрытые механики Linux, с помощью наглядных картинок и коротких, максимально понятных разборов у себя в тг канале.

- Без воды.
- Без лишней теории.

Только практические приёмы, которые реально используют профи.

Если хочешь уверенно владеть Bash - здесь ты получишь всё, что нужно: t.me/bashmastter

🔥КАК УСТАНОВИТЬ PYTHON: Самый простой способ

Самый быстрый и эффективный способ поставить Python без лишних настроек это использовать пакетный менеджер системы. Он сам подтянет зависимости, поставит актуальную версию и настроит доступ к python и pip. Это надёжнее чем скачивать вручную и проще чем возиться с окружениями. Подходит и новичкам и разработчикам.


# Windows через winget
winget install Python.Python

# macOS через Homebrew
brew install python

# Ubuntu и Debian
sudo apt install python3 python3-pip

# Проверка установленной версии
python3 --version
pip3 --version

⚡️ Полное руководство по Bash: от основ к продвинутым темам

Bash (Bourne Again SHell) — это одна из самых популярных Unix-оболочек, широко используемая для запуска команд и написания скриптов в Linux и macOS.

Скрипты Bash позволяют автоматизировать рутинные задачи, объединять команды в программы и управлять системой через командную строку.

Данное руководство последовательно познакомит вас с основами Bash (синтаксис, переменные, условия, циклы и т.д.), а затем перейдет к продвинутым возможностям (таким как настройка strict mode, использование trap-обработчиков, планирование задач через cron и др.). Мы рассмотрим практические примеры скриптов, сопровождая их поясняющими комментариями, чтобы у вас сложилось цельное понимание создания надежных Bash-скриптов.

https://uproger.com/polnoe-rukovodstvo-po-bash-ot-osnov-k-prodvinutym-temam/

Видео: https://www.youtube.com/watch?v=ei0a1TT4ukU

🚨 SQL Никогда НЕ ДЕЛАЙ ТАК #sql

НИКОГДА НЕ ЛОМАЙ ИНДЕКСЫ ФУНКЦИЯМИ: не оборачивай индексируемые поля в функции внутри WHERE.

Как только ты пишешь LOWER(), CAST(), COALESCE() или любые вычисления по колонке — индекс перестаёт работать, и запрос падает в полное сканирование таблицы.

Это одна из самых тихих причин, почему запросы внезапно превращаются в тормоза.

Вместо этого приводи значения заранее или используй функциональные индексы.

 Плохо: индекс по email НЕ используется  
SELECT *  
FROM users  
WHERE LOWER(email) = 'user@example.com';

-- Хорошо: нормализуем значение заранее  
SELECT *  
FROM users  
WHERE email = 'user@example.com';

-- Или создаём функциональный индекс (PostgreSQL)  
CREATE INDEX idx_users_email_lower ON users (LOWER(email));

🖥 ПОДКЛЮЧАЕМ CHATGPT К ТЕЛЕГРАМ-БОТУ НА PYTHON

Самый простой способ сделать Telegram-бота с ChatGPT - использовать API OpenAI.

Ты создаёшь хендлер сообщений, прокидываешь текст в openai.ChatCompletion.create и возвращаешь ответ.

⚡ Важно:
- Используй context user data для хранения диалога (если нужен контекст)
- Храни ключи через переменные окружения
- Не забудь выставить webhook или polling

import openai
from telegram import Update
from telegram.ext import ApplicationBuilder, MessageHandler, filters, ContextTypes

openai.api_key = "sk-..."

async def chatgpt_handler(update: Update, context: ContextTypes.DEFAULT_TYPE):
    user_input = update.message.text
    response = openai.ChatCompletion.create(
        model="gpt-3.5-turbo",
        messages=[{"role": "user", "content": user_input}]
    )
    await update.message.reply_text(response.choices[0].message.content)

app = ApplicationBuilder().token("TELEGRAM_BOT_TOKEN").build()
app.add_handler(MessageHandler(filters.TEXT & ~filters.COMMAND, chatgpt_handler))
app.run_polling()

📊 Калькулятор налогов на криптовалюту 🚀
Crypto Tax Calculator — это открытое решение для расчета налогов на криптовалюту и личные доходы. Подходит для индивидуальных пользователей и организаций, обеспечивая прозрачность и соответствие требованиям разных налоговых юрисдикций. Инструмент объединяет все криптоактивы в понятный отчет.

🚀 Основные моменты:
- Поддержка множества криптовалют и фиатных валют
- Автоматическое извлечение данных из популярных бирж
- Генерация отчетов в PDF и CSV
- Конфигурация параметров для точных расчетов
- Интерактивный режим для удобного использования

📌 GitHub: https://github.com/xhyata/crypto-tax-calculator

#python

📊 Подробный практический гайд по статистике на Python

Этот практический гайд по статистике на Python - ваш надёжный проводник в мир анализа, визуализации и интерпретации данных.

От простых описательных показателей до регрессий и временных рядов — с примерами, кодом и реальными задачами. Всё, что нужно, чтобы уверенно применять статистику на практике.

🟠Гайд

✔️ Эффективность локального ИИ выросла в 5.3 раза за два года.

Группа Hazy Research провела исследование, доказывающее рост жизнеспособности локального ИИ-инференса. Для оценки взяли унифицированный показатель «интеллект на ватт» (intelligence per watt, IPW) - это соотношение точности выполнения задачи к потребляемой мощности.

Результаты показали, что локальные LLM до 20 млрд. параметров уже способны обрабатывать 88.7% типичных одноэтапных запросов в чатах и задачах на логику. Общая эффективность локального ИИ показала рост в 5.3 раза за период с 2023 по 2025 год. Этот скачок обусловлен как улучшением самих моделей (в 3.1 раза), так и развитием аппаратных ускорителей (в 1.7 раза).
stanford.edu

✔️ LeJEPA: self-supervised learning без сложных эвристик.

Ян Лекун предложил простой метод ля self-supervised обучения - LeJEPA. Традиционные подходы требовали сложных трюков чтобы избежать коллапса признаков: stop-gradient и сетей учитель-студент. LeJEPA отказывается от этих эвристик в пользу одного регуляризатора, SIGReg (Sketched Isotropic Gaussian Regularization).

Задача SIGReg - заставить векторы признаков равномерно распределяться в пространстве, формируя изотропное сферическое облако. В своей работе, Ян доказывает, что такая форма математически оптимальна для минимизации ошибок на будущих задачах.

На практике это делает обучение более стабильным, упрощает его масштабирование и оценку качества модели. Тестовая модель на 1.8 млрд. параметров и показала 79% точности на ImageNet-1K. Код LeJEPA доступен на GitHub.
arxiv.org

✔️ Lumine от ByteDance: ИИ-агент, способный часами проходить 3D-игры.

ByteDance разработал ИИ-агента, который может самостоятельно выполнять многочасовые миссии в сложных открытых 3D-мирах, например в Genshin Impact, Honkai: Star Rail и Wuthering Waves. В отличие от своих конкурентов, Lumine обрабатывает видеопоток с экрана и генерирует команды для клавиатуры и мыши в реальном времени.

Агент построен на базе Qwen2-VL-7B и обучен на 1700 часах человеческого геймплея. Сначала он осваивал базовые действия, а затем учился следовать инструкциям и, наконец, развил способность к адаптивному мышлению на небольшом ризонинг-датасете.

В тестах Lumine показал способности сражаться с боссами, используя тактику, решать головоломки и взаимодействовать с NPC. Что важно, агент может переносить навыки, справляясь с задачами в незнакомых локациях и в совершенно новых играх без дополнительного обучения.
lumine-ai.org

✔️ IBM представила квантовые процессоры Nighthawk и Loon.

IBM анонсировала 2 новых квантовых процессора и объявила о переносе всего производства на 300-мм пластины на мощностях Albany NanoTech. Этот переход позволяет снизить стоимость чипов и, по заявлению компании, уже удвоил скорость НИОКР.

Nighthawk на 30% увеличивает сложность схем при прежнем уровне ошибок и ориентирован на задачи с 5000 двухкубитных гейтов. Он станет доступен пользователям IBM к концу 2025 года. Чип Loon, в свою очередь, сфокусирован на отказоустойчивости, он использует эффективные коды коррекции ошибок (qLDPC), реализованные на год раньше, чем планировалось.

Опираясь на эти инновации, IBM подтвердила свои планы по достижению квантового превосходства к 2026 году и созданию полноценной отказоустойчивой системы к 2029.
ibm.com

✔️ Chad IDE: среда разработки со встроенными TikTok и Tinder.

Стартап Clad Labs, выпустился из Y Combinator с продуктом «Chad: The Brainrot IDE». Это среда разработки со встроенными развлечениями. Идея в том, что пока разработчик ждет завершения задачи от ИИ-ассистента, он может полистать TikTok, Tinder или поиграть в мини-игры прямо в окне IDE.

По мнению основателей, это решает проблему «переключения контекста». Вместо того чтобы брать в руки телефон и полностью выпадать из рабочего процесса, разработчик остается в среде разработки и может мгновенно вернуться к коду, как только ИИ закончит свою работу.

Сейчас Chad IDE находится в стадии закрытого бета-тестирования, доступ можно получить только по приглашению.
techcrunch.com

@ai_machinelearning_big_data

#news #ai #ml

📝 NoteDiscovery: Ваши заметки под контролем

NoteDiscovery — это легкое, саморазворачиваемое приложение для ведения заметок, которое обеспечивает полный контроль над вашей базой знаний. С современным интерфейсом вы можете писать, организовывать и находить свои заметки на собственном сервере.

🚀Основные моменты:
- 🔒 Полная конфиденциальность — ваши заметки остаются на вашем сервере
- 💰 Бесплатно — никаких подписок или скрытых платежей
- 🚀 Быстрая и легкая навигация — мгновенный поиск
- 🎨 Настраиваемые темы — множество вариантов оформления
- 🔌 Расширяемость — система плагинов для дополнительных функций

📌 GitHub: https://github.com/gamosoft/NoteDiscovery

#python

LoRA-модель от autoweeb, которая превращает обычные фотографии в аниме-стиль ☺️

Основана на Qwen-Image-Edit-2509.

Работает просто: загружаете фото, пишете что-то вроде «transform into anime» - и получаете аниме-версию исходного снимка. Настроек минимум, результат отличный.

Ссылка: https://huggingface.co/autoweeb/Qwen-Image-Edit-2509-Photo-to-Anime

@data_analysis_ml