Питонические атаки

Что видно:
* сейчас на пике популярности находится ветка 3.7 (напомню, там фиксятся только критичные уязвимости, но не прочие баги);
* далее примерно с одинаковым количеством скачиваний идут 3.8 и 3.6 (напомню, ей осталось поддерживаться ещё полгода);
* ~10% наркоманов разработчиков все ещё сидят на Python 2.

Видимо, в опросах участвует наиболее активная часть сообщества, которая быстро обновляется, поэтому там данные более оптимистичные, чем в PyPI.

Честно говоря, я не понимаю, почему есть такое отставание по версиям. Переход между версиями языка 3.X обычно проходит почти безболезненно. Максимум, придётся просмотреть DeprecationWarning'и и вызывать какие-нибудь другие функции. А взамен получаете новые языковые фичи, оптимизации производительности, исправления багов и уязвимостей.

Короче, домашнее задание! Прямо завтра попробуйте обновить ваши проекты до следующей версии питона, а в идеале сразу же до последней доступной — до 3.9!

По поводу популярности версий Python.

Судя по последнему опросу от JetBrains (2020), наиболее популярной является ветка 3.8.

Опросы — это хорошо, но можем ли мы проверить эти данные или получить более свежую информацию? Конечно, можем. Индекс PyPI при установке пакетов собирает анонимную статистику, откуда можно вытащить версии интерпретатора. Эти данные доступны публично напрямую через сервис Google BigQuery, но можно получить их с некоторым отставанием и через HTTP API, например, через сервис pypistats.org (кстати, здесь можно смотреть статистику пакетов и через веб-интерфейс). По количеству скачиваний популярных пакетов мы примерно можем оценить какие сейчас ветки языка в ходу.

Субъективно выбрал пару пакетов, которые кажутся мне популярными и универсальными (т.е. применимы и для веб-разработки, и для data science, и для вообще всего), скачал данные за последние полгода. Нарисовались вот такие графики.

Я заинтриговался и таки запросил доступ в техническое превью GitHub Copilot.

Похоже, большинству людей все-таки нравится эта игрушка. Однако, существует и отдельная категория людей, которые считают, что Copilot нарушает лицензии, потому что он обучался на миллиардах строк GPL-кода, а теперь просто воспроизводит оттуда сниппеты, которые будут растащены пользователями Copilot'а в их проприетарные проекты. Посмотрим, чем закончится этот лицензионный замес, а меня же больше интересует сама технология.

GitHub выпускает Copilot, который может дополнять код целыми функциями. Тем временем автодополнение в пайчарме.

Вышли минорные релизы CPython всех поддерживаемых веток (3.6 — 3.9).

В ветке 3.9 пока фиксятся баги и вносятся прочие улучшения, а вот 3.8 и более старые ветки получают только исправления уязвимостей — найденные баги в эти ветки уже не бэкпортят. Видимо, ожидается, что к настоящему моменту большинство юзеров должно уже перейти на 3.9 (к сожалению, вряд ли это так).

А ветке 3.6 осталось поддерживаться всего полгода, так что с неё нужно обновляться как можно скорее, если вы вдруг все ещё на ней!

https://pythoninsider.blogspot.com/2021/06/python-396-3811-3711-and-3614-are-now.html

Про типы в Python: https://auth0.com/blog/typing-in-python/

A day in the life of a professional software engineer

If you’re a graduate interviewing for a software job and wondering what a typical day is like, here’s some notes from what I did last Tuesday. It was a pretty typical day.

First, as soon as I got to work I realized the night shift had set the linked list up backwards. Doh! I quickly went to the whiteboard to figure out how to reverse it. This won’t be a problem much longer as our team is switching to a double-ended linked list soon. We’re presenting to management about it next week.

I grabbed the first task from my work queue: One of our customers has a long string, and they need to find whether a smaller string is contained within it. This is our bread-and-butter as software engineers. I quickly coded up a Rabin-Karp search with a rolling hash, and had the answer for them by 10am.

Coffee, then task two: The QA team rejected the sort implementation I did last week. I’d written a basic Bubble Sort, and QA wanted to beat O(n2) for the average case. No problem, I switched to a Merge Sort and was done by lunchtime.

That reminded me that I hadn’t finished my Big O calculations for the design review later this week, so that was my first task after lunch. Junior engineers only do the ‘n’ part, but as a senior I do the constant as well. I have three more functions to calculate.

Greg, my colleague came over, he needed help balancing his tree. He’s using a Red-Black; those are tricky. After a quick consult with Dave our lead engineer, I helped Greg switch his design to an AVL. He has a lookup-intensive use case, so it’s a better match.

And that’s it, I headed for the bus station and home. But wait, my day wasn’t over! The bus driver’s watch was broken, and he needed to time 15 minutes. Luckily I had with me two ropes of varying density, both of which burn for exactly one hour…

https://www.darkcoding.net/software/a-day-in-the-life-of-a-professional-software-engineer/

Python является самым популярным рантаймом для функций в AWS Lambda. Причём чем крупнее проект, тем выше шанс, что он на питоне. А в маленьких проектах популярен Node.js.

Источник: https://www.datadoghq.com/state-of-serverless/

The only way to go fast, is to go well!

Внезапно, годная статья про дядюшку Боба, TDD (test driven development) и качество кода в блоге игры Factorio — песочницы, где нужно строить фабрики и автоматизировать строительство космического корабля. Хотя, если учесть, что большинство игроков так или иначе связаны с разработкой, ничего удивительного, что они пишут в блоге такие статьи вперемешку с игровыми новостями. Если у вас нет лишней недели жизни, то рекомендую даже не пробовать эту игру, очень затягивает. А если играть с командой и еще при этом одновременно передвигать тикеты по канбану и собираться на стендапы, то, наверное, будет ощущаться точь в точь как программирование на работе 😏

За 9 лет существования игры кодовая база доросла до 700k строк. Ребята уже пострадали и от дублирования кода, и от отсутствия тестов, и от регрессий, и от стремительного усложнения кода, который в итоге превращается в неуправляемое месиво и отравляет разработчикам жизнь. Так что вопросы качества кода стоят в команде очень остро. Суть статьи такая: может показаться, что тесты и рефакторинги замедляют получение результата, но на самом деле это оптимальный по скорости разработки подход в долгосрочной перспективе.

https://factorio.com/blog/post/fff-366

Открыл для себя канал с выступлениями с Python Meetup Chelyabinsk. Насколько я вижу, они митапят уже три года, а недавно даже собрались на очередной очный митап после годичного перерыва. Там бывают годные выступления. Всё-таки не весь движ происходит в столицах.

Например, вот, что я там уже посмотрел:

* Аннотации типов в Python;
* Dependency Injection в Python;
* Python в браузере.

А поделитесь, пожалуйста, ссылками на ещё какие-нибудь митапы/конференции про питон (ютуб, каналы/чаты в телеграме, т.п.), которые вы посещаете или смотрите.

Вчера вышел релиз psycopg2==2.9 — самого популярного питонячьего драйвера для СУБД PostgreSQL. Измнений не много, но они хорошие. В частности, починили старую проблему с открытием транзакций через контекст-менеджер, если соединение находится в autocommit mode. Вы знали про autocommit mode? Это чтобы не нужно было вручную завершать транзакцию через conn.commit() или conn.rollback() после каждого запроса.

А еще там теперь больше не поддерживаются Python 2.7, 3.4 и 3.5. Каждый раз радуюсь, когда очередная популярная библиотека перестаёт поддерживать Python 2.

https://www.psycopg.org/docs/news.html

#psycopg

Представил, как Python при возникновении ошибок и завершении работы проигрывает звуки из Windows XP.

Похоже, что Майкрософт всерьёз нацелились разогнать CPython и сейчас вербуют под это дело светлые умы. Гвидо опубликовал две вакансии — тимлид и разработчик в команду Faster CPython. Кто-нибудь знает, можно ли как-то набрать 5+ лет опыта разработки на C/C++ примерно за 21 день?

https://twitter.com/gvanrossum/status/1402756021358006272?s=21

Вам на собеседовании задают вопрос: "Расскажите о положительных сторонах GIL". Что бы вы ответили?

Вышел релиз тайп-чекера mypy с круглой версией 0.900 и длинным списком изменений. Переход на новую версию потребует некоторых действий.

https://mypy-lang.blogspot.com/2021/06/mypy-0900-released.html

Самым крупным (и ломающим) изменением в этой версии является то, как mypy ищет тайп-аннотации. Раньше у mypy внутри был вшит весь репозиторий typeshed, где хранилась информация о типах и для стандартной библиотеки, и для множества популярных (и не очень популярных) библиотек с PyPI, которые почему-то не могут или не хотят хранить типы прямо у себя в коде. Это было неудобно, потому что исправления в typeshed (а там постоянно что-то фиксят) становились доступны пользователям mypy только при очередном релизе mypy с задержкой в несколько месяцев. А ещё вместе с mypy вам в проект прилетали тайп-аннотации для кучи библиотек, которыми вы не пользуетесь.

Короче, теперь у mypy в комплекте есть типы только для стандартной библиотеки, а typeshed из одной царь-библиотеки распался на много маленьких, и вам нужно явно установить те из них, которые вам нужны. Например, если вы используете requests, то вам нужно доустановить пакет types-requests, иначе mypy будет не хватать информации о типах. Для этих маленьких пакетов с типами будут автоматически создаваться новые релизы при каждом изменении, вам нужно будет обновлять их время от времени независимо от mypy.

Ещё из полезного добавлена поддержка кастомных тайп-гардов. Грубо говоря, теперь вы можете описать любую сколь угодно замысловатую логику валидации данных в функции (скорее всего это будет что-то с вызовами isinstance()), и после вызова этой функции mypy сможет более точно вывести тип данных.

Из других, менее крупных изменений отмечу следующие:

* mypy по умолчанию больше не работает для Python 2 кода; возможность проверять такой код всё ещё есть, но для этого нужно устанавливать дополнительные зависимости;
* mypy научился читать свою конфигурацию из pyproject.toml.

Мне нравится, что в Python появляется всё больше инструментов для типизации, а тайп-чекеры конкурируют между собой и становятся умнее.

Да, загадка странная, но вопрос возник в реальной практике

Some operators in Python have special names.
Many Pythonistas know about the notorious "walrus" operator (:=), but there are less famous
ones like the diamond operator (<>) — it's similar to the "not equals" operator but written in SQL style.
The diamond operator was suggested in PEP 401 as one of
the first actions of the new leader of the language Barry Warsaw after Guido went climbing Mount Everest.
Luckily, it was just an April Fool joke and the operator was never really a part of the language.
Yet, it's still available but hidden behind the "import from future" flag.

Usually you compare for non-equality using !=:

>>> "bdfl" != "flufl"
True

But if you enable the "Barry as FLUFL" feature the behavior changes:

>>> from __future__ import barry_as_FLUFL
>>> "bdfl" != "flufl"
  File "<stdin>", line 1
    "bdfl" != "flufl"
            ^
SyntaxError: with Barry as BDFL, use '<>' instead of '!='
>>> "bdfl" <> "flufl"
True

Unfortunately, this easter egg is only working in interactive mode (REPL), but not in usual *.py scripts.

By the way, it's interesting that this feature is marked as becoming mandatory in Python 4.0.

Полезная ссылка для мониторинга ситуации вокруг инфраструктуры Python: https://status.python.org/

Спасибо @zotho!