Питонические атаки

В Python 3.12 приняли PEP 695 – Type Parameter Syntax, который добавляет новый синтаксис для дженерик классов, функций и алиасов для типов. Это вот то, где используется typing.TypeVar (спойлер: больше нет). Да, это снова про тайп хинты. Похоже, это самая активно развивающаяся область языка за последние 10 лет.

Давайте посмотрим на изменение на примере функции с переменными типа (смотри скриншот 1). Если что, это нужно для того, чтобы связать типы нескольких параметров и возвращаемых значений функции. Вот функция принимает на вход значение (любого типа), а на выходе она отдаст значение такого же типа. Часто используемый сценарий, как мне кажется. Такое стало писать намного приятнее. Не нужно отдельно писать это явное, некрасивое определение typing.TypeVar, где ты дважды пишешь одно и то же имя переменной и засоряешь странными однобуквенными именами глобальную область видимости. В 3.12 можно будет просто прям при определении функции задекларировать своё намерение: "я буду тут использовать переменную типа T", и аннотируешь ей все связанные аргументы и возвращаемые значения. Офигенно? О да.

Кроме того, тайп-алиасы с переменными типов тоже стало писать намного легче (смотри скриншот 2). Тоже отпала необходимость явно определять TypeVar. Но теперь в языке появляется новое "мягкое" ключевое слово type, которое ведёт себя по-разному в зависимости от контекста (как async). Забавно, что это нововведение фактически депрекейтит PEP 613 про тайп алиасы, который появился в 3.10. Я даже толком не успел начать им пользоваться. Всё так быстро меняется.

Про классы-дженерики писать не буду, но если вы такое практикуете, то сходите почитайте док. Там интересно.

Отдельно прикольно, что больше не надо думать о ковариантности, контравариантности и инвариантности переменных типов. Эти концепции никуда не уходят, но теперь тайп-чекер будет сам понимать, с чем он работает, без необходимости явного указания. Это вот та штука, из-за которой приходится аргументы функций аннотировать как Sequence[Parent] вместо list[Parent] и которую я долго не мог осознать. Кстати, недавно смотрел хороший видос про эти концепции. Разобрался, вроде. Блин, не может ли недостаток понятных материалов на эту тему быть связан с тем, что эти слова так сложно писать и произносить? Я минуту набирал и перечитывал эти три слова в начале абзаца, да и то наверняка ошибся.

Если не думать о том, что это изменение создаёт новую область видимости для имён (scope) с довольно странной механикой работы, добавляет новое мягкое ключевое слово, добавляет новый сорт TypeVar (теперь у нас есть "традиционные" и новые, и их нельзя смешивать между собой) и в целом делает язык синтаксически сложнее (давайте писать квадратные скобки вообще везде), то это абсолютно точно движение в правильную сторону, шаг навстречу программисту. Бойлерплейта станет меньше, импортов из typing меньше, сложных концепций меньше, пространства для ошибки тоже. Да и выглядит относительно предыдущего варианта намного приятнее. Мне нравится.

Charlie Marsh, автор быстрого линтера #ruff, основал компанию Astral и сразу же поднял $4m инвестиций. Автор планирует продолжать работать над ruff и другими инструментами для разработчиков фулл-тайм (как он это уже и так делает последние полгода), только уже не один, а с командой. На данный момент в компании 3 разработчика, включая самого Чарли, и это прям звёздная команда, собранная из разработчиков разных популярных и важных проектов (Maturin, Rome).

Обещают, что ruff останется опенсорсным с пермиссивной лицензией, а вокруг него компания будет делать какие-то платные сервисы. Короче, очень похоже на подход Pydantic. Эта весна чёт богата на компании вокруг опенсорса.

Ruff ещё не выпустили стабильную версию, проект всё ещё в разработке. Видимо, раз дали денег, то инвесторы считают, что этот проект просто обязан выстрелить.

https://astral.sh/blog/announcing-astral-the-company-behind-ruff

Недавно вышла пачка минорных релизов CPython.

Очередная порция исправлений и улучшений попала в 3.11.3. Тем временем, метрика поддержки ветки 3.11 в библиотеках достигла уровня 43.1%, что всё ещё сильно меньше поддержки ветки 3.10 (70.6%).

Впрочем, это не нужно понимать как причину оставаться на 3.10, потому что эта ветка на днях получила последний баг-фикс релиз (3.10.11) и перешла в режим "security fixes only". Всё, больше никакие исправления багов бэкпортироваться не будут, а будут только исправления уязвимостей. Как всегда, переход в этот статус наступает очень внезапно и выглядит как что-то преждевременное. Но и команду разработки тоже могу понять: поддерживать хотя бы даже две параллельные ветки активно развивающегося проекта — это уже сложно, а три — это вообще боль, боль в кубе.

Кстати, а вы знали, что 3.7 через пару месяцев депрекейтнут окончательно? Успели уже везде обновиться?

Вы наверняка видели волну постов про исследование аудитории Telegram неделю назад. Это было примерно в половине каналов, которые я читаю. Это единственное в своём роде исследование такого масштаба, которое проводится в третий раз и уже почти стало традицией. Результаты получаются примерно такие же по интересности, как у отчётов StackOverflow. С прошлого исследования два года назад всё сильно поменялось. Прикольно было бы увидеть свежую картину. Кстати, вот тут результаты за 2021 и 2019 годы.

Так вот, если вы ещё не прошли опрос, то идите заполнять. Занимает примерно 7 минут. Никакой особо личной информации не спрашивают, кроме базовой демографии (пол, возраст, местоположение, род деятельности, уровень дохода, пин-код от карты). Дело полезное.

В процессе заполнения поискал свои самые старые чаты и осознал, что сижу в телеге уже больше 7 лет. И это только на этом аккаунте, а у меня раньше ещё другой вроде был. Кажется, даже смутно помню те времена, когда из стикеров были только эти бледно-синие с Николой Теслой. Словил ностальгию, но ощущения, что "раньше было лучше" тоже нет. В телеге и сейчас вполне себе уютно. А вы давно в телеге сидите?

Вышел PyCharm 2023.1 с новым UI.

По дефолту новый UI включен только для новых пользователей Community Edition, а для всех остальных есть возможность переключиться на New UI через настройки. Обратно переключиться на старый интерфейс тоже можно, да.

Сначала было непривычно, но спустя два дня мне эти иконочки кажутся даже более удобными, чем текстовые панели. Много всего запихнуто в заголовок окна — прикольно. Виджет для работы с Git приятно переделали. Compact Mode — тема.

Бесит только, что панель Notifications вышла из слепой зоны, и я стал эти уведомления замечать. Оказывается, у IDE всё время что-то внутри происходит!

https://blog.jetbrains.com/pycharm/2023/03/2023-1/

FastAPI наконец-то поняли, что переводить документацию на разные языки — это путь в никуда, и сделали нормальную всем сразу понятную интернационализацию. Они долго постепенно к этому шли, увеличивая количество эмодзи, и вот наконец перешли полностью 🚀

А, 2 апреля уже? Ну ладно.

Утилита, которая находит неиспользуемые библиотеки в виртуальном окружении. Статически анализирует код, вычленяя из него импорты, и сверяет их со списком зависимостей из pyproject.toml или requirements.txt.

https://github.com/fredrikaverpil/creosote

#pandas 2.0 will be released soon. I wrote about one of the most important changes we're shipping with it.

https://datapythonista.me/blog/pandas-20-and-the-arrow-revolution-part-i

Это канал Marc Garcia, core-контрибьютора pandas, так что если связаны с анализом данных, то подписывайтесь

Ещё про изменения, которые хотят попасть в 3.12.

Недавно опубликовали PEP 709 – Inlined comprehensions про оптимизацию list, dict & set comprehension'ов. Кстати, как вы называете это по-русски? Списковые включения, словарные включения? Странно звучит. Буду писать "компрехеншн", как обычно говорю.

Сейчас эти компрехеншены создают служебную функцию, которая сразу же вызывается один раз, после чего удаляется сборщиком мусора. Эта функция нужна для того, чтобы изолировать внутренние переменные компрехеншена, чтобы они не были доступны извне. Скорее всего, так было сделано, потому что так было проще всего — переиспользовались готовые, отлаженные механизмы языка.

Идея оптимизации состоит в том, чтобы избежать создания этой одноразовой функции, а изоляции внутренних переменных компрехеншена достигать другими способами. Грубо говоря, обычным удалением этих переменных по завершению работы. И так получается быстрее — микробенчмарки компрехеншенов показывают ускорение работы аж в 2 раза, а в среднем от кода с компрехеншенами можно ожидать ускорение на уровне 11%. Это создание и вызов одноразовой функции с вытекающими операциями над стэком вызовов оказались довольно дорогими.

Такая оптимизация поменяет некоторые детали, на которые, скорее всего, мало кто сильно рассчитывает. Например, стектрейсы от ошибок, возникших в теле компрехеншена, станут на 1 этаж короче из-за отсутствия этой служебной функции.

Оптимизация затронет только компрехеншены, вложенные в функции. Глобальные компрехеншены пока решили не трогать — там особый случай. Генераторные выражения (generator expressions) тоже пока не оптимизируются. Короче, работают по принципу "low effort, high reward".

Автор пропозала работает в Instagram. Видимо, они постепенно выносят удачные идеи из своего performance-oriented форка интерпретатора Cinder в апстрим.

PEP на данный момент находится в статусе черновика. Думаю, что будет принят.

Кстати, у PSF дела идут хорошо. В фонд задонатили денег, и благодаря этому появилась возможность на год нанять на фулл-тайм человека, который будет заниматься различными аспектами безопасности CPython, PyPI и других проектов фонда. Ищут подходящего человека. Деньги вроде обещают достойные. Вот тут анонс.

А задонатил деньги в PSF другой фонд, под названием Open Source Security Foundation (OpenSSF), в который собрались примерно 100 айти-гигантов различного размера, которые теперь скоординировано наносят добро и безопасность в разные опенсорсные проекты. Например, они также выдали гранты на безопасность в Rust, Node.js, jQuery и Eclipse. Хорошая инициатива, одобряю.

Недавно в numpy добавили поддержку набора инструкций AVX-512 для процессоров Intel, и это ускорило сортировку массивов в 10-17 раз. Про огромное ускорение — это круто, но в целом история вокруг AVX-512 очень загадочная. Краткий пересказ на скрине, я чёт прям прикрикнул с этого комментария. Intel странные.

Хороший наброс на тайп-хинты недавно запостили на реддите. Про проблемы и сложности, а не про восхваление, как я обычно люблю. Да, покрывать тайп-хинтами старый код, написанный с расчётом на утиную типизацию, действительно может быть нетривиальным упражнением.

Когда первый раз увидел, как в typeshed зааннотировали встроенную функцию pow() (это возведение числа в степень), то до вечера потом ходил под впечатлением. Там описали 30 разных вариантов этой функции, и это всё ещё покрывает не все возможные кейсы. Ну что за жесть. Система типов не может нормально выразить просто гигантский пласт возможностей языка. А потом как-то подумал, что системе типов не обязательно быть идеальной, чтобы быть полезной, и полегчало. Ладно, большую часть проблем ловит. Я не так часто замечаю эти места, где система типов даёт слабину, зато тайп-чекинг каждый день спасает меня от кучи глупых ошибок. Practicality beats purity, короче. Нет, всё-таки не могу не похвалить тайп-чекинг. Полезная штука, обязательно пользуйтесь.

И снова про ruff.

Вот буквально час назад рассказывал коллегам, что ruff не понимает синтаксис match-case, и поэтому мы пока не можем его использовать. А он, оказывается, уже понимает! Меньше суток назад вышел релиз с полной поддержкой нового синтаксиса из Python 3.10 и 3.11. Это был основной блокер, который сильно мешал адопшену инструмента. Теперь ожидаю взрывной рост популярности ruff!

Какая-то невероятная скорость развития инструмента. Становится уже сложно уследить за всеми изменениями.

https://github.com/charliermarsh/ruff/releases/tag/v0.0.250

Крутая идея про "приватные" переменные — называть их маленькими буквами. При прочтении кода вслух имя переменной произносится шепотом. Пора расширять PEP8!

твит

Python сегодня исполняется 32 года 🎂

20 февраля 1991 года Гвидо опубликовал исходники версии 0.9.0.

В чате-комментах сообщают, что Pydantic поднял бабла 💸

Теперь это не просто библиотечка для парсинга/валидации данных. Это теперь вообще-то корпорация Pydantic Services с автором библиотеки, Samuel Colvin, во главе! Новоиспечённый стартап получил 4.7 миллиона долларов венчурного капитала в рамках seed-раунда. Основным инвестором является знаменитый фонд Sequoia Capital, про который даже я почему-то слышал, хотя я довольно дремуч. Выглядит супер-круто на фоне общего экономического кризиса.

Как я понял, Сэм пока вообще единственный член команды, но на полученные деньги собирается быстро нанять себе ещё несколько крутейших разработчиков, в основном из числа контрибьюторов в библиотеку. По плану, сначала он хочет выпустить Pydantic V2, переписанный на Rust и ускоренный в 17 раз, а затем делать что-то связанное с улучшением DX (developer experience) в облачных технологиях, но что конкретно — не говорит, тайна. А опенсорсный Pydantic будет краеугольным камнем всех остальных разработок компании.

Офигенно, что у Pydantic теперь будет целая команда фулл-тайм разработчиков. Очень любопытно, как они будут монетизироваться. Инвесторы, к сожалению, не ради звёздочек на гитхабе деньги раздают.

Тут пост в блоге Pydantic, а здесь новость на TechCrunch.

И снова про ruff.

Чарли Марш — автор инструмента — видит логичным ходом впилить в ruff автоформаттер, чтобы можно было запустить ruff --fix и пофиксить все стилистические проблемы, и стало красиво. Вот здесь в ишью уже пришли на обсуждение и мейнтейнеры black, и мейнтейнеры blue (это форк black с одинарными кавычками), кто-то предлагает взять yapf за ориентир, а Чарли просто отчитывается, что уже начал работу, и его автоформаттер частично проходит тест-сьют из black.

Вчера он влил первую пачку изменений. Для пользователей форматтер ещё не доступен, но внутрянка уже подготавливается. В PR перечислено, что уже работает, а что нужно ещё доделать. Это я к тому и пишу, что он, блин, правда начал это делать, и я удивлён. Просто помню, как мучительно black полтора года стабилизировал "магические запятые", и они всё время то появлялись, то исчезали, что в моей голове уже сложилось впечатление, что заново этот путь никто не захочет пройти. Но нет, нашлись отчаянные.

> I'd like the autoformatter to be a little more flexible than Black, which would in theory make it a suitable replacement for Blue too.

И, кстати, наверняка, в этом форматтере будут настройки стиля. Может, не как в yapf, но как минимум можно будет выбрать стиль кавычек. Что с одной стороны хорошо и удобно, а с другой стороны может снова спровоцировать конфликт между племенами байкшеддеров. Ох.

Всё-таки удивительно, как быстро ruff развивается. Люди годами делали эти инструменты, а он создаёт их копии за считанные недели. И, блин, наверняка же сделает. В чём секрет, как думаете?