Alex. Seconds.

ROOT, фреймворк для анализа больших данных от CERN

ROOT — это высокопроизводительный фреймворк для анализа данных, написанный на C++. Легко подключается к Python, и позволяет работать даже в Jupyter Notebook, и позволяет делать статистически обоснованный научный анализ и визуализацию огромных массивов данных.

В ROOT формате сейчас хранится около 1 эксабайта (миллион терабайт) данных. Этот фреймворк даже участвовал в нахождении бозона Хиггса!

Источник: https://root.cern/

Одновременно с Xcode 16 в этом году ожидается серьезное обновление языка Swift до версии 6

На официальном сайте уже какое-то время можно загрузить промежуточный снапшот для версии Swift 6.0 для Xcode (MacOS), Linux и Windows.

Одним из самых серьезных изменений многие считают включение Structure Concurrency Checking в режим полной проверки. Structural Concurrecy — это такой новый механизм для безопасного доступа к shared state из разных частей кода. Поддержка concurrency была в Swift и раньше, но была менее удобной по разным причинам, основной из которых являлась необходимость разработчику самостоятельно отменять все запущенные асинхронные задачи, если они больше не нужны. Сообществу пришлось что-то выдумать свое. Например, использовать механизмы наподобие promises (которые могут быть кому-то знакомы по миру JavaScript). Однако, все они не были частью стандартной библиотеки.

Со Structured Concurrency в Swift добавляется стандартный механизм, который делает код проще в обслуживании и легче в понимании. С помощью async-функций и ключевого слова await появляется возможность перехватывать ошибки также просто как и в синхронном коде. Также можно теперь делать for-await-in loop по последовательности с асинхронными элементами и много других интересных штук. Ну и наконец пропадает необходимость самостоятельно отлавливать и отменять ненужные более асинхронные задачи. Если функция вернула результат не дожидаясь ответа от async-задач, то все они будут автоматически отменены.

Конечно включение полной проверки на поддержку Structural Concurrency добавит работы разработчикам на первых порах, нужно будет привести в соответствие кодовую базу. Но это важный шаг в развитии языка, который добавит стабильности в приложения.

Больше примеров использования Structural Concurrency в Swift можно найти в этой статье

Утекли данные банка Santander🏦, который хостился в Snowflake ❄️

Хакеры говорят, что получили в распоряжение конфиденциальную информацию, относящуюся к миллионам сотрудников и клиентов банка Santander. Банк, в котором работают около 200 тысяч сотрудников по всему миру, подтвердил утечку. Те же хакеры, похоже, продают также доступ и к некоторым другим сервисам.

Более того, при общении с сотрудником компании Hudson Rock, занимающейся кибер-безопасностью, один из хакеров заявил, что может получить доступ ко всем аккаунтам компаний, которые хостятся на Snowflake через генерацию токенов сессий. За возврат данных, хакеры предложили Snowflake заплатить им 20 миллионов долларов.

Snowflake, в свою очередь, на такое предложение не отреагировала. Компания опубликовала инструкции по анализу истории запросов на предемет доступа с потенциально опасных IP-адресов, а также способ выявления учетных записей, к которым мог быть получен несанкционированный доступ. В конечном счете, компания считает, что никакой уязвимости нет, а доступ был получен через получение личных учетных данных одного из пользователей.

Основная рекомендация как и в случае других сервисов с доступом через публичную сеть — установить двухфакторную аутентикацию для пользователей и настроить network policy.

Источник: @snowflakedbchat

Одна из фич всех дата каталогов, хоть мне и ненужная (по крайней мере сейчас) — миксование графов от dbt с тем, что собрано из DDL базы данных. У меня, к примеру, между Vault-объектами у слоем витрин есть еще промежуточный метаслой. Несмотря на то, что он генерируется через dbt-макрос, он не создает модели в dbt-контексте. Получается, что сам dbt не видит прямой связи между этими объектами, т.к. их нет в его графе.

Так вот дата каталог вам все разберет и покажет lineage с учетом этой прослойки в виде DB Views (не dbt-моделей). Прикольно будет, если такие решения еще и LookML от Looker парсят и DAX от PowerBI. Выглядеть точно должно красиво, хотя мне все еще непонятно зачем это все. Но selling point бесспорно хороший!

Этап 2 эксперимента

Консоли лежали себе спокойненько без движения и вот, наконец, я до них добрался, чтобы сделать промежуточные замеры. Спустя два дня мы имеем следующие заряды батарей:
• Steam Deck 74%
• Nintendo Switch 90%
• PS Vita ~98% (там нет цифрового значения, только индикатор)

Решил провести эксперимент на консолях

Все они были заряжены «под завязку». На Switch/Vita дополнительно запущены игры, чтобы хоть немного дать фору SteamDeck (хотя он даже пока несли к месту съемки умудрился потерять целый процент заряда). Затем все три консоли были отправлены в режим сна без внешнего питания.

Вернемся к ним через несколько дней для промежуточных результатов

Hot Potato License и 5 других open source лицензий, которые вам не следует использовать в своих проектах

https://matt-rickard.com/bizarre-open-source-licenses

Хорошие новости — ChatGPT по просьбам трудящихся выпиливают из ядра iTerm2 и запустят как отдельный плагин. Microsoft, посмотри как надо https://gitlab.com/gnachman/iterm2/-/issues/11470#note_1917647951

Recall в Copilot+ включен всесистемно по-умолчанию для всех бизнес-юзеров. Чтобы его отключить, нужно специально включить параметр его выключения https://learn.microsoft.com/en-us/windows/client-management/manage-recall

Как вам?

А ещё интересная мысль «на подумать»: кажется, что настали времена, когда incognito/privacy mode в браузерах теряет теперь всякий смысл, также как end2end шифрование в мессенджерах…

Две новости про мой любимый поисковик DuckDuckGo.com, которым пользуюсь уже несколько лет:

1️⃣ Похоже ребята потеряли весь индекс (скорее всего временно) и поиск прямо сейчас не работает.

2️⃣ Три недели назад эти же ребята начали выкатывать AI chat с поддержкой ChatGPT. И это в поисковике, который обещал защищать нашу с вами privacy!

В-общем, утренний вывод: пора сделать ревью того, что сегодня доступно среди поисковиков, для которых это основной бизнес. Понятно, что все давно используют модели при ранжировании и выдаче, но захламлять интерфейс этим — фу-фу

Upd: мне в голову закралась теория! Что если причиной падения Bing (который активно у них использовался), был вывод на рынок Copilot+PC?🤔

Upd2: все заработало. Ну а чат, который прикручивали на главную, работает все-таки независимо от всего остального. Так что ладно, остаемся пока на DDG. К тому же имеем не то чтобы обилие сервисов. Единственное, что заслуживает внимание, это search.brave.com

Кажется, в мой ежедневный toolkit, которым я пользуюсь постоянно, планирует попасть новый инструмент под названием Amber. Это такой язык программирования, очень похожий на Python/Swift, который компилируется в Bash!

Уже и не помню сколько раз мне приходилось делать правки в супер замудренных конструкциях на Bash, который когда разрастается превращается во что-то крайне неудобное в использовании. Тут проблема решается использованием нового языка. В котором поддерживаются type-safe, runtime-safe выполнение, числа с плавающей точкой, удобные if/else, работа с массивами (правда только одномерными) и перехват исключений при выполнении Bash-команд.

https://docs.amber-lang.com

Приятная новость — пакет dbt_diving был недавно добавлен на dbt hub🥰

Теперь для использования макроса get_refs_recursive() в вашем dbt-проекте достаточно указать его в packages.yml в обычной форме по имени пакета:

packages:
- package: data-diving/dbt_diving
version: 1.1.0

Думаю обо всех загружаемых данных (включая near realtime), которые в итоге все равно попадают к юзеру в MS Excel

Сходил гостем на подкаст, где по своей старой привычке ведущего никому не давал говорить и много философствовал🤣

Надеюсь меня не сильно порежут в итоговой записи и хотя бы пара мыслей (особенно про Полностью Автоматизированный Роскошный Коммунизм) останется в релизной версии

Не самое плохое объяснение SQL JOIN

Хардварное решение вопроса, люблю такое

Жизнь в терминале становится сильно разнообразнее, если сделать alias на команду sudo

Штош, #пятница, мои хорошие. Спешу напомнить вам, что

На самом деле количество типов людей — ровно 10:
• люди, которые понимают двоичную систему
• люди, которые не понимают

а также

Существует только два типа людей. Те, которые умеют экстраполировать из неполных данных.

с днём победы над фашизмом и памяти об ужасах войны.

когда лет 10 назад начали появляться наклейки на машинах с текстом «можем повторить» я, с ужасом смотря на них, вспоминал те страхи и ту боль в глазах деда, которую он принес с войны. я всем в этот день желал чтобы такое никогда не повторялось. чтобы все помнили о том какой ужас и бесконечную смерть несет война.

к сожалению, люди, получившие в стране власть, решили все за нас и устроили побоище на территории другой мирной страны. войну, которую им теперь стыдно завершить просто взяв и покинув чужую территорию. иначе у них упадут рейтинги. иначе, у них не останется рычагов влияния внутри нашей страны. просто потому что их идеология — война.

желаю вам и вашим детям всегда ставить человеческую жизнь на самое первое место и ценить ее больше всего. потеряв или отняв жизнь, невозможно вернуть ее назад. а злость и гнев несут за собой только ещё большие злость и гнев.

пусть будет мир🕊️