Big Data Science [RU]

🌞🌸💦ТОП-5 DS-событий июля 2022:
• 06 и 08 июля – AHA!22 - техническая конференция от создателей Матемаркитенга для аналитиков и продактов об обеспечении эффективности https://aha.matemarketing.ru/
• 06 июля – Callday.Ecom - онлайн-конференция про сквозную аналитику и эффективный маркетинг в электронной торговле https://callday.ru/ecom2022
• 7 июля в 11:00 МСК – вебинар от SberCloud «Первая AI-модель для распознавания товаров и цен в розничных продуктовых сетях на платформе ML Space» https://sbercloud.ru/ru/warp/webinars/pervaia-ai-model-dlia-raspoznavaniia-tovarov-i-tsen-v-roznichnykhproduktovykh-setiakh-na-platforme-ml-space
• 21 июля в 16:00 МСК – вебинар от Яндекса «Обработка данных на Apache Airflow в Yandex Cloud» https://cloud.yandex.ru/events/587
• 30 -31 июля – PYCON RUSSIA - самая большая и душевная конференция для python-разработчиков. https://pycon.ru/

🪢ИИ для робототехники: новая версия Isaac Sim от NVIDIA
17 июня 2022 года NVIDIA объявила о выпуске версии инструмента моделирования робототехники и генерации синтетических данных Isaac Sim. Эта платформа ускоряет разработку, тестирование и обучение ИИ в робототехнике. С помощью Isaac Sim разработчики могут создавать наборы данных о качестве продукции для обучения ИИ-моделей, моделировать роботизированную навигацию и манипуляции, а также генерировать тестовую среду для тестирования приложений робототехники.
Isaac Sim включает средства принятия решений для обучения коллаборативных роботов (коботов), инструмент RL-обучения с ускорением на графическом процессоре, набор инструментов для генерации синтетических данных, API и рабочих процессов, а также новые возможности процедурного создания промышленных сред для генерации синтетических данных.
https://developer.nvidia.com/blog/expedite-the-development-testing-and-training-of-ai-robots-with-isaac-sim/

💥Лучшее с майской конференции Airflow Summit 2022!
Любителям и профессионалам дата-инженерии: подборка самых интересных докладов, от тонкостей работы batch-оркестратора до передовых практики управления развертыванием и данными.
https://medium.com/apache-airflow/airflow-summit-2022-the-best-of-373bee2527fa

Новый Python: теперь намного быстрее!

🚀Новый Python: быстрее более чем в 2 раза!
Выпущенный в апреле 2022 года альфа-релиз Python 3.11 в некоторых случаях может работать на 60% быстрее предыдущей версии. Бенчмаркинговые тесты компании Phoronix, проведенные на Ubuntu Linux и скомпилированные с помощью компилятора GCC, показали, что скрипты на Python 3.11 выполняются в среднем на 25% быстрее, чем Python 3.10, без изменения кода. Это стало возможным благодаря тому, что теперь интерпретатор отвечает за статическое размещение своих объектов кода и ускорению седы выполнения. Каждый раз, когда Python используется для вызова одной из собственных функций, создается новый фрейм, внутренняя структура которого улучшена так, чтобы он сохранял только самую важную информацию без дополнительных данных про управление памятью и отладку.
Кроме того, с релиза 3.11 введено, что при обнаружении CPython'ом функции Python, которая вызывает другую функцию, он устанавливает новый фрейм и переходит к новому коду, содержащемуся в нем. Это позволяет избежать вызова функции, отвечающей за интерпретацию C (раньше каждый вызов функции Python вызывал функцию C, которая ее интерпретировала). Такое нововведение дополнительно ускорило выполнение Python-скриптов.
https://levelup.gitconnected.com/the-fastest-python-yet-up-to-60-faster-2eeb3d9a99d0

Если меня спросить, что лучше: работа мечты или One Day Offer. Я посоветую: «One Day Offer». Потому что One Day Offer может привести к работе мечты.

Сегодня многие компании проводят One Day Offer в том числе и Сбер. Поэтому вы можете стать частью команды Сбера за 1 день!

Сбер ищет дата-сайентистов в Москве и Нижнем Новгороде. Подходит, если вы технарь уровня Middle, Senior или Lead с опытом в DS/ML больше 2 лет, который без труда кодит на Python. А если работали с рекомендательными системами — ещё лучше.

Каков порядок действий?

Посещаете 25 июня One Day Offer → проходите интервью → в тот же день получаете предложение, о котором мечтали → вместе с командой Сбера создаёте платформу, которая поможет создавать персональные рекомендации в разных сферах бизнеса.

Участвовать в One Day Offer

🙌🏼Imagen от Google AI
В мае 2022 года исследователи Google AI представили Imagen - модель перевода текста в фотореалистичное изображение с глубоким уровнем понимания языка. Imagen основа на больших языковых трансформерных моделях, предварительно обученных на тектстовых корпусах. Эксперименты показали, что Imagen достигает 7,27 баллов по FID в наборе данных COCO, даже без предварительного обучения, превосходя DALL-E 2 от OpenAI по степени реалистичности изображений.
Поскольку Imagen обучалась на неконтролируемом людьми датасете LAION-400M с 400+ миллионами пар изображение-текст, взятых из Интернета, модель подвержена предвзятости. Поэтому Google AI пока не выпускает ее в открытый доступ. Но посмотреть, как это работает и что внутри, можно уже сейчас: https://imagen.research.google/

⚡️ Аналитика данных - блог ведущего Дата саентиста, работающего в Uber, одного из авторов 🔥 Machine Learning ru. Материал канала поможет реально вырасти до профессионала по работе с данными.

1 канал вместо тысячи учебников и курсов, подписывайтесь: 👇👇👇

🚀 @data_analysis_ml

🔥Новая SOTA: Mask DINO для обнаружения и сегментации объектов 🦖

CNN-сети и трансформерная архитектура активно используется в задачах компьютерного зрения, особенно для обнаружения и сегментации объектов на фото и видео. В последнее время трансформерные архитектуры показывают отличные результаты. Одной из них является DETR (End-to-End Object Detection with Transformers), который вышел в мае 2020 года. Тут трансформеры применяются не к изображению, а к фичам, выделенным сверточной сетью. Хотя DETR открыл путь к возможности использования трансформеров для компьютерного зрения, его тяжело использовать на практике из-за слишком долгого времени обучения и отсутствия универсальности. В июне 2022 года исследователи из Китая представили Mask DINO - унифицированную структуру обнаружения и сегментации объектов.
По сути, Mask DINO можно назвать новым state-of-the-art (SOTA) решением, которое расширяет структуру DINO (DETR с улучшенными блоками привязки шумоподавления), добавляя ветвь предсказания маски. Маска поддерживает все задачи сегментации изображения (инстанс, семантическую и паноптическую). Некоторые ключевые компоненты DINO расширены для сегментации за счет общей архитектуры и процесса обучения.
Структура Mask DINO проста, эффективна, масштабируема и выигрывает от объединенных крупномасштабных наборов данных обнаружения и сегментации.
Примечательно, что Mask DINO показывает наилучшие на сегодняшний день результаты по инстанс сегментации (54,5 AP на COCO), паноптической сегментации (59,4 PQ на COCO) и семантической сегментации (60,8 мМЕ на ADE20K).
📃 Полное описание в статье авторов: https://arxiv.org/pdf/2206.02777v1.pdf
🐈‍⬛ Код на Github: https://github.com/IDEACVR/MaskDINO

🔥GATO: новая SOTA от DeepMind
19 мая 2022 года исследователи DeepMind опубликовали статью о новом едином универсальном агенте за пределами области текстовых выходов. GATO работает как мульти-модальная, многозадачная, многовариантная универсальная политика. В одной и той же сети с теми же весами можно играть в Atari, записывать изображения, общаться в чате, манипулировать блоками и решать другие задачи на основе своего контекста: генерировать текст, определять оптимальные крутящие моменты в суставах, события нажатия кнопок и пр.
GATO обучается на большом количестве наборов данных, включающих опыт агентов как в смоделированных, так и в реальных средах, в дополнение к множеству наборов данных на естественном языке и изображениях. На этапе обучения GATO данные из различных задач и модальностей сериализуются в плоскую последовательность токенов, группируются и обрабатываются нейросетью-трансформером, аналогичной большой языковой модели. Потери маскируются, поэтому GATO предсказывает только действия и текстовые цели.
При развертывании Gato токенизируется подсказка-демонстрация, образуя начальную последовательность. Затем среда выдает первое наблюдение, которое также токенизируется и добавляется к последовательности. GATO авторегрессивно выбирает вектор действия, по одному токену за раз. После того, как все маркеры, составляющие вектор действия, выбраны (определены спецификацией действия среды), действие декодируется и отправляется в среду, которая выполняет шаги и дает новое наблюдение. Затем процедура повторяется. Модель всегда видит все предыдущие наблюдения и действия в своем контекстном окне из 1024 токенов.
https://www.deepmind.com/publications/a-generalist-agent

🔥LAION-5B: открытый датасет для мульти-модального ML на 5+ миллиардов пар «текст-изображение»
31 мая 2022 года некоммерческая организация ИИ-исследователей представила крупнейший набор данных из 5,85 миллиардов пар изображение-текст, отфильтрованных с помощью CLIP. LAION-5B в 14 раз больше своего предшественника - LAION-400M, который ранее был самым большим в мире открытым набором данных изображение-текст.
2,3 миллиардов пар англоязычные, а вторая половина датасета содержит образцы из более чем 100 других языков. Еще в набор данных входят несколько индексов ближайших соседей, улучшенный веб-интерфейс для исследования и создания подмножеств, а также оценки обнаружения водяных знаков и NSFW. Датасет рекомендуется для исследовательских целей и специально не контролируется.
Весь 5-миллиардный набор данных разбит на 3 датасета, каждый из которых можно скачать отдельно . Все они имеют следующую структуру столбцов:
• URL-адрес изображения
• TEXT - субтитры, на английском для en, на других языках для multi и nolang
• WIDTH - ширина изображения
• HEIGHT - высота изображения
• LANGUAGE - язык образца, только для laion2B-multi, вычисляется с помощью cld3
• Similarity – подобие, косинус между текстом и изображением эмбеддинга ViT-B/32, clip для en, mclip для multi и nolang
• Pwatermark - вероятность изображения с водяным знаком, рассчитанная с помощью laion-детектора водяных знаков
• Punsafe - вероятность того, что изображение является небезопасным, вычисляется с помощью laion-детектора клипов.
pwatermark и punsafe доступны либо как отдельные коллекции, которые должны быть соединены join’ом с помощью хэша url+text.
Подробности и ссылки для загрузки: https://laion.ai/laion-5b-a-new-era-of-open-large-scale-multi-modal-datasets/

🌞В июне можно посетить следующие DS-мероприятия:
• 9 июня - вебинар по BI-сервису Яндекса - Yandex DataLens: безопасность и разграничение прав доступа https://cloud.yandex.ru/events/575
• 10 июня - публичная лекция на тему «Знакомимся с квантовым машинным обучением (QML)». Вебинар ведет доктор технических наук, профессор кафедры прикладной математики и информатики ВШЭ Владимир Крылов. Регистрация
• 14 июня - DataStart - бесплатная онлайн-конференция по Data Science, машинному обучению и нейросетям https://datastart.ru/
• 22 июня - Artificial Intelligence Day – практическая конференция TAdviser https://www.tadviser.ru/a/635999
• 22 июня - Цифровая медицина 2022 – конференция на площадке Конгресс-центра ЦМТ Москвы https://it-events.com/events/22889
• 23 июня - Kuber Conf — главная в России конференция по Kubernetes. Офис Яндекса, Москва, улица Льва Толстого, 16, подъезд Экстрополис. Мероприятие бесплатное, но вход только по приглашениям. https://cloud.yandex.ru/events/579
• 25 июня - DataDriven 2022 - ежегодная конференция Яндекса для специалистов, использующих анализ данных для принятия бизнес-решений. Офис Яндекса, Москва, улица Льва Толстого, 16, подъезд Экстрополис. Мероприятие бесплатное, но вход только по приглашениям. https://events.yandex.ru/events/data-driven-2022

🌞Разработка на Python по 12 принципам SaaS c библиотекой Python-dotenv
Разработчики ML-моделей и аналитики данных не всегда чисто пишут код, как профессиональные программисты. Улучшить качество кода поможет простая методология разработки веб-приложений или SaaS, которая рекомендует:
• использовать декларативные форматы для автоматизации настройки, чтобы сократить время и силы новых разработчиков, присоединяющихся к проекту;
• иметь чистый контракт с базовой операционной системой, обеспечивающий максимальную переносимость между средами выполнения;
• запускать развертывания на современных облачных платформах, избавляя от необходимости администрирования серверов и систем;
• сокращать расхождения между разработкой и производством, обеспечивая непрерывное развертывание для максимальной гибкости;
• масштабироваться без существенных изменений в инструментарии, архитектуре или методах разработки.
Для реализации этих идей SaaS предлагает строить приложения по 12 принципам:
1. Одна кодовая база отслеживается в системе контроля версий, множество развертываний
2. Явно объявить и изолировать зависимости
3. Хранить конфигурацию в среде
4. Относиться к вспомогательным сервисам как к присоединенным ресурсам
5. Строго разделять этапы сборки и запуска
6. Исполнять приложение как один или несколько stateless-процессов
7. Экспортировать сервисы через привязку к порту
8. Обеспечивать параллелизм через масштабирование с помощью модели процесса
9. Максимальная надежность благодаря быстрому запуску и плавному завершению работы
10. Переносимость и похожесть сред от разработки до производства через тестовую
11. Логировать, чтобы рассматривать журналы как потоки событий
12. Выполнять задачи администрирования/управления как одноразовых процессов
Реализовать все это для Python-программы поможет открытая библиотека Python-dotenv. Она считывает пары ключ-значение из файла .env и может устанавливать их как переменные среды. Если приложение берет конфигурацию из переменных среды, запуск его в процессе разработки не очень практичен, т.к. разработчику нужно установить эти переменные среды самостоятельно. Добавив Python-dotenv в свое приложение, можно упростить процесс разработки. Библиотека сама загрузит конфигурацию из файла .env, оставаясь при этом настраиваемым через среду.
Также библиотека может загрузить конфигурацию без изменения среды, распарсить конфигурацию как поток и загрузить файлы .env в IPython. Инструмент также имеет CLI-интерфейс, чтобы манипулировать файлом .env, не открывая его вручную.
https://github.com/theskumar/python-dotenv

💫ИИ + квантовые вычисления = квантовый мемристор
Ученые Австрии и Италии создали первый прототип устройства, известного как квантовый мемристор, который может объединить методы искусственного интеллекта с квантовыми вычислениями. Мемристор, или резистор памяти, является своего рода строительным блоком для электронных схем. Первые идеи об этом устройстве прозвучали еще полвека назад, но впервые оно было создано около 10 лет назад. Оно Эти представляет собой электрический переключатель, который запоминает свое состояние (вкл или выкл) после отключения питания, аналогично синапсам — связям между нейронами в человеческом мозге, электрическая проводимость которых усиливается или ослабевает в зависимости от того, сколько электрического заряда прошло через них в прошлом.
Теоретически мемристоры могут действовать как искусственные нейроны, способные как вычислять, так и хранить данные. Поэтому нейроморфные (мозгоподобные) компьютеры на мемристорах будут хорошо работать с искусственными нейросетями, т.е. системами ML.
В отличие от классических компьютеров, которые включают или выключают транзисторы, чтобы символизировать данные как 1 или 0, квантовые используют кубиты. Кубиты могут находиться в состоянии суперпозиции, когда они одновременно равны 1 и 0. Чем больше кубитов связано вместе в квантовом компьютере, тем больше его вычислительная мощность может расти в геометрической прогрессии.
Квантовый мемристор опирается на поток фотонов, существующих в суперпозициях, где каждый отдельный фотон может путешествовать по двум отдельным путям, нанесенным лазером на стекло. Один из каналов в этой интегрированной фотонной схеме с одним кубитом используется для измерения потока этих фотонов, и эти данные через сложную электронную схему обратной связи контролируют передачи по другому пути. В итоге устройство ведет себя как мемристор.
Обычно мемристивное поведение и квантовые эффекты не существуют вместе. Мемристоры работают путем измерения своих внутренних данных, а квантовые эффекты отличаются хрупкостью, когда речь идет о любом внешнем вмешательстве, таком как измерения. Исследователи преодолели это противоречие, разработав взаимодействия внутри своего устройства, чтобы они были достаточно сильными, чтобы обеспечить мемристивность, но достаточно слабыми, чтобы сохранить квантовое поведение.
Преимущество использования квантового мемристора в квантовом ML по сравнению с обычными квантовыми схемами заключается в том, что мемристор, в отличие от любого другого квантового компонента, имеет память. Следующим шагом является соединение нескольких мемристоров вместе, увеличение количества фотонов в каждом мемристоре и количества состояний, в которых они могут существовать в каждом устройстве.
https://spectrum.ieee.org/quantum-memristor

🤷Как быстро сравнить изменения в моделях данных? Datafold в помощь!
Выявить и оценить изменения в разных версиях одной модели данных можно, собственноручно написав свой скрипт или с помощью встроенной в dbt функции наследования данных. Но для обычного бизнес-пользователя или начинающего дата-аналитика это слишком сложно. В этих случаях пригодится Datafold (https://www.datafold.com/) – облачный продукт с множеством полезных функций, включая проверку качества данных, их каталог, мониторинг и оповещение. Функция происхождения данных основана на столбцах и помогает оценивать последующие изменения в пользовательских моделях, в частности, сравнивать изменения между датасетами на уровне столбца и значения. Для крупных проектов пригодится интеграция с dbt. Datafold работает путем прямого подключения к пользовательскому хранилищу данных и использует Github для сравнения изменений, внесенных в модели dbt, чтобы гарантировать сохранение качества данных.
На практике Datafold пригодится продуктовым аналитикам при A/B-тестировании гипотез о пользовательских предпочтениях и использовании продуктовых фич, дата-инженерам – для регрессионного тестирования ETL-конвейеров и пользователям BI-систем для настройки отчетов.
Пример использования: https://medium.com/geekculture/what-if-you-could-compare-changes-in-your-data-models-now-you-can-75f039580d08