Big Data Science [RU]

🤜🏻ML для защиты от DDos-атак
Алгоритмы машинного обучения активно используются в кибербезопасности, например, для идентификации нетипичного поведения пользователя из-за несанкционированного доступа. Для защиты от DDOS-атак также можно применить ML. Цель DDoS-атаки нарушить работу организации, заполнив сеть, подключенную к Интернету службу или техническую инфраструктуру, окружающую цель, нежелательным трафиком. Объем трафика, направленного на цель, может серьезно ограничить доступность или полностью отключить ее.
DDoS-атаки используют подключенные к Интернету устройства, которые уже были скомпрометированы вредоносным ПО. Злоумышленник использует уже имеющиеся уязвимости в десятках, сотнях, тысячах или даже миллионах устройств для получения удаленного управления. Благодаря повсеместному распространению IoT-устройств, когда в сеть выходит даже домашний холодильник, защита от DDOS-атак актуальна как для бизнеса, так и для частных домохозяйств.
Опрос «Лаборатории Касперского» в 2017 году показал, что стоимость выдерживания DDoS-атаки для малого и среднего бизнеса составила 120 тысяч долларов. Для больших предприятий эта цифра выросла до 2 миллионов долларов. А исследование 2018 года оценило стоимость простоя для крупной организации в диапазоне от 300 до 540 тысяч долларов. Согласно отчету IBM за 2020 год, в США средняя глобальная стоимость утечки данных составила 8,46 миллиона долларов.
С помощью ML можно построить модель бинарной классификации, которая смягчила бы последствия DDoS-атаки на деятельность организации, правильно отличая безопасный трафик от вредоносного. Здесь необходимо уменьшить скорость, с которой ML-модель ошибочно идентифицировала безопасный трафик как вредоносный, а также смягчить последствия DDoS-атаки, правильно идентифицируя вредоносный трафик с вероятностью минимум 90%.
Пример реализации с Dask, XGBoost и Stacked Ensembling: https://towardsdatascience.com/mitigating-ddos-attacks-with-classification-models-aa75ea813d85

🤦🏼‍♀️Biopass – REST API SaaS-продукта для распознавания лиц
Biopass - платформа для обработки биометрических данных и искусственного интеллекта для создания ID-продуктов. RESTfull API Biopass ID позволяет разработчикам регистрировать, управлять, проверять людей, сопоставлять и извлекать биометрические данные, управлять сжатием и распаковкой изображений отпечатков пальцев, обнаруживать лица, анализировать подделки лиц, анонимизировать лица и выполнять проверки качества.
BioPass ID — это облачный онлайн-сервис, который предоставляет мощную мультибиометрическую технологию и технологию искусственного интеллекта для разработки любой услуги, программного обеспечения или платформы с доступом в Интернет. Будучи SaaS-продуктом (Биометрия как услуга), BioPass ID поддерживает любой язык программирования, модель датчика, камеру или платформу, обеспечивая быстрое и простое внедрение и интеграцию системы.
Изображения являются общими параметрами в запросах BioPass ID. Чтобы отправить их в запросах API, необходимо закодировать их в строки base64. Если строка не в формате строки base64, вызов вернет ответ на неверный запрос с сообщением «Недопустимый формат JSON».
https://www.biopassid.com/

💥Управление плазмой ядерного синтеза c DL
Чтобы решить глобальный энергетический кризис, исследователи ищут источники чистой, безграничной энергии. Например, ядерный синтез - реакция, питающая звезды во Вселенной. На земле для этого можно использовать атомы водорода, разбивая и сплавляя их в экстремальных условиях в приборе токамак - вакуум, окруженный магнитными катушками. В нем плазма водорода горячее, чем ядро Солнца. Но поддерживать устройство в рабочем режиме очень сложно: система управления должна координировать множество магнитных катушек токамака и регулировать напряжение на них тысячи раз в секунду, чтобы гарантировать, что плазма никогда не коснется стенок сосуда, что может привести к потере тепла и, возможно, к повреждению. К этой задаче был успешно применено глубокое обучение с подкреплением, чтобы создать контроллеры, которые могут поддерживать стабильность плазмы и использоваться для точного придания ей различных форм.
Существующие системы управления плазмой сложны и требуют отдельных контроллеров для каждой из нескольких десятков магнитных катушек. Каждый контроллер использует алгоритмы для оценки свойств плазмы в режиме реального времени и соответствующей регулировки напряжения магнитов. Архитектура от исследователей Deep Mind AI и Швейцарского центра изучения плазмы использует единую нейронную сеть для одновременного управления всеми катушками, автоматически определяя, какие напряжения лучше всего подходят для достижения конфигурации плазмы непосредственно с датчиков.
https://deepmind.com/blog/article/Accelerating-fusion-science-through-learned-plasma-control

🦋Yandex DataLens: Легковесный BI от Яндекс.Cloud
Нет, это не рекламный пост. Но из-за проблем с MS Power BI и Tableau есть смысл посмотреть яндексовский DataLens – бесплатный сервис визуализации и анализа данных. Основные фичи:
• много источников данных: ClickHouse, PostgreSQL, Greenplum, MySQL, CSV-файлы, гугл-таблицы, Metrica и AppMetrica в режиме прямого доступа;
• наглядные диаграммы, таблицы и UI-элементы доступа к данным для построения дэшбордов;
• поддержка геоданных и интеграция с картами;
• легкое создание нужных дэшбордов без глубоких знаний в DS;
• вся документация на русском и много понятных демок.
Сервис: https://cloud.yandex.ru/services/datalens
Документация: https://cloud.yandex.ru/docs/datalens/quickstart

👍🏻Анализ настроений в соцсетях на Python с VADER без разработки ML-модели
Не для каждой задачи классификации нужны модели машинного обучения: иногда даже простые подходы могут дать отличный результат. Например, VADER (Valence Aware Dictionary and sEntiment Reasoner) - основанная на словаре и правилах модель анализа тональности. Исходный код проекта доступен на Github под лицензией MIT: https://github.com/cjhutto/vaderSentiment
VADER может эффективно обрабатывать словари, аббревиатуры, заглавные буквы, повторяющиеся знаки препинания, смайлики (😢 , 😃 , 😭 и т. д.) и пр., которые обычно используются в соцсетях для выражения настроений, что делает его отличным инструментом оценки тональности текста. Преимущество VADER в том, что он оценивает настроение любого текста без предварительного обучения ML-моделей. Результат, сгенерированный VADER, представляет собой словарь из 4 ключей neg, neu, pos и компонентов (сompound):
• neg, neu и pos означают отрицательный, нейтральный и положительный соответственно. Их сумма должна быть равна 1 или близка к ней при операции с плавающей запятой.
• сompound соответствует сумме оценок валентности каждого слова в лексиконе и определяет степень настроения, а не действительное значение, в отличие от предыдущих. Его значение находится в диапазоне от -1 (самое сильное отрицательное настроение) до +1 (самое сильное положительное настроение). Использование составной оценки может быть достаточным для определения основной тональности текста. Для положительного настроения сompound≥ 0,05, для отрицательного сompound≤ -0,05, при нейтральном отношении сompound находится в диапазоне от -0,05 до 0,05
Попробовать в Google Colab: https://colab.research.google.com/drive/1_Y7LhR6t0Czsk3UOS3BC7quKDFnULlZG?usp=sharing
Смотреть пример: https://towardsdatascience.com/social-media-sentiment-analysis-in-python-with-vader-no-training-required-4bc6a21e87b8

🍏Повышать свой профессионализм в Data Science сегодня актуально, как никогда прежде. Узнавайте новое – в марте 2022 некоторые конференции теперь доступны и офлайн:
• 1 марта в 10:30 МСК - DataDriven 2022 - ежегодная конференция Яндекса для специалистов, использующих анализ данных для принятия бизнес-решений. Москва, улица Льва Толстого, 16, подъезд Экстрополис https://events.yandex.ru/events/data-driven-2022
• 2 марта в 18:00 МСК – митап об аналитике эффективности в СберМаркете https://sbermarket.timepad.ru/event/1912282/
• 2 марта в 11:00 МСК – вебинар Oracle и Инфосистемы Джет: «Как изменить мир, управляя данными. Традиционные хранилища, Data Lake или Data Mesh: в чем разница?" https://events.webinar.ru/jet/DataLake
• 16 марта в 22:00 МСК - Greenplum Community Meetup – Москва, Мулен Руж https://cloud.yandex.ru/events/485
• 21-24 марта - конференция GTC: 4 дня открытий от ведущих экспертов по искусственному интеллекту и совместной разработки виртуальных миров на платформе NVIDIA Omniverse https://www.nvidia.com/gtc/
• 24 марта - Data Day 2022 – форум, который посвящен новым возможностям работы с данными и их монетизации от организаторов Scoring Day – крупнейшего форума по скорингу в РФ. Москва, Берсеневская набережная, д.6, стр.3, Старт Хаб на Красном Октябре https://data-day.ru
• 24 марта - Форум BIG DATA&AI 2022 – центральное событие года по теме больших данных, продвинутой аналитики и искусственного интеллекта https://www.osp.ru/lp/bigdata2022
• Data Fusion Contest 2022 - соревнование по машинному обучению: 3 задачи, 2 номинации и 2 000 000 рублей. Старт был 3 февраля, финал 4 апреля 2022. https://ods.ai/tracks/data-fusion-2022-competitions

15 марта Newprolab запускает уже 16-й поток своей флагманской онлайн-программы «Специалист по большим данным» – 12 недель, 36 занятий, 9 инидвидуальных лабораторных работ и 2 командных проекта!

Участники смогут погрузиться в мир больших данных и поработать со всеми значимыми инструментами экосистемы, как это сделали уже более 300 выпускников этой программы

Специально для подписчиков канала действует дополнительная скидка 15% (от цены, указанной на сайте, по 15.03.2022 включительно) по промокоду "BDSCIENCE_0222": https://clck.ru/apR8H

Вы научитесь строить модели машинного обучения, писать MapReduce-джобы, используя Hadoop Streaming и Python, работать с данными на HDFS, проводить анализ при помощи Apache Spark, строить алгоритмы рекомендательных систем.

И все это – на реальных дата-сетах и облачном кластере, живых бизнес-кейсах с преподавателями-практиками и нетворком в сообществе единомышленников.

Оставляйте заявку и задавайте вопросы: https://clck.ru/apR8H

😎3 API ML-сервисов для распознавания лиц: выбирайте то, что нужно
• API IBM Watson Visual Recognition для идентификации сцен, объектов и лиц на изображениях, загружаемых в сервис. Может обрабатывать неструктурированные данные в большом объеме и подходит в качестве системы поддержки принятия решений. Но дорог в техническом обслуживании и не обрабатывает структурированные данные напрямую. Метод распознавания лиц не поддерживает общее биометрическое распознавание, а максимальный размер изображения составляет 10 МБ с минимальной рекомендуемой плотностью 32x32 пикселя на дюйм. Походит для классификации изображений с помощью встроенных классификаторов, позволяет создавать собственные классификаторы и обучать ML-модели. https://www.ibm.com/watson
• API распознавания лиц Kairos позволяет разработчикам ML-приложений добавлять в них возможности распознавания лиц, написав всего несколько строк кода. Kairos Face Recognition API показывает высокую точность в реальных сценариях и хорошо работает в условиях низкой освещенности, а также частичного скрытия лица. Применяет этический подход к идентификации лиц, учитывая разнообразие. Это расширяемый инструмент: пользователи могут применять дополнительные интеллектуальные функции для работы с видео и фото в реальном мире. Подходит для работы с большими объемами изображений и обеспечивает конфиденциальность за счет безопасного хранения собранных данных и регулярного аудита. Однако, поддерживает только типы файлов BMP, JPG и PNG, файлы GIF не поддерживаются. В работе немного медленнее, чем API AWS. https://www.kairos.com/docs/getting-started-with-kairos-face-recognition
• API компьютерного зрения Майкрософт в Azure предоставляет разработчикам доступ к расширенным алгоритмам обработки изображений. После загрузки изображения или указания его URL-адреса алгоритмы Microsoft Computer Vision анализируют его визуальное содержимое различными способами в зависимости от пользовательского выбора. Дополнительным преимуществом этого быстрого API является наглядные руководства, учебные пособия и примеры. Высокий уровень SLA гарантирует доступность не менее 99,9 % времени. Благодаря тесной интеграции с другими облачными сервисами Microsoft Azure, API можно упаковать в комплексное решение. Но при превышении лимита транзакций в секунду, время отклика будет сокращено до согласованного предела. Модель ценообразования зависит от спроса, поэтому сервис может оказаться дорогим, если количество запросов резко возрастает. Microsoft Computer Vision API отлично подходит для классификации изображений с объектами, живыми существами, декорациями и действиями, включая их идентификацию, категоризацию и тегирование изображений. Поддерживает распознавание лиц, настроения, возраста и сцен, оптическое распознавание символов для обнаружения текстового содержимого в изображениях. Также обеспечивает интеллектуальное управление фотографиями и ограничение показа модерируемого контента. https://azure.microsoft.com/en-us/services/cognitive-services/computer-vision/

🔥Спрятать от посторонних пикантное фото? Легко с Nudity Detection API!
Python-программа от DeepAI (https://deepai.org/machine-learning-model/nsfw-detector)
оценивает изображение и определяет вероятность того, что оно содержит обнаженные участки человеческого тела, которые обычно принято скрывать под одеждой. Поскольку нагота — это динамическая метка, алгоритм возвращает истинное или ложное процентное значение. Пользователь может установить разный порог в своем приложении, что считается наготой, а алгоритм распознавания изображений вернет процент вероятности, что картинка содержит обнаженную натуру. Эта ML-система применима не только к фото, но и к видео: нейросети анализируют видеопоток и выдают вероятностную оценку «взрослости» визуального контента.
Пример использования API смотрите здесь: https://medium.com/mlearning-ai/i-tried-a-python-nude-detector-with-my-photo-446dba1bbfc8

📆 28 февраля в 19:00 МСК состоится очередная онлайн встреча Citymobil Data Meetup!

В этот раз мы решили не звать гостей, поскольку в Ситимобил происходит очень много всего. Расскажем об этом)

🚖 Ольга Цветкова аналитик данных Ситимобил выступит с докладом «Сбор и валидация субъективных данных на примере заказов по пути домой»
Ольга расскажет об инструментах, с помощью которых можно собирать субъективные данные о том, как избавляться от человеческого фактора в полученной выборке с помощью semi – supervised learning. Затем покажет результаты на реальном кейсе.

🚖 Даниил Казанцев специалист по машинному обучению и анализу данных Ситимобил выступит с докладом «Антифрод на рынке такси. Определение мошеннических действий через анализ связности графа поездок»
Даниил ответит на такие вопросы:
🚕 Как мошенники могут заработать на рынке такси?
🚕 Что такое фрод в такси и как его найти?
🚕 Как в Ситимобил создаются модели, определяющие мошеннические действия, и правила, сокращающие нам объем фрода?
🚕 Как определять качество таких моделей и делать масштабируемые решения?
Также будет рассмотрен полный путь создания конкретного правила, использующего алгоритмы кластеризации на графах. И еще некоторые интересные вопросы будут затронуты в этом докладе.

Ведущий Алексей Чернобровов Head of Data Science Ситимобил

После докладов будет сессия Q&A

Регистрация для бесплатного участия https://bit.ly/3GLJTyj

📝ИИ-разработчик: AlphaCode от DeepMind
AI-система AlphaCode пишет компьютерные программы на конкурентоспособном уровне: она вошла в число 54% лучших участников соревнований по программированию, решая новые задачи, требующие сочетания критического мышления, логики, алгоритмов, кодирования и понимания естественного языка.
Эта языковая трансформерная модель содержит 41,4 миллиарда параметров, что в четыре раза больше Codex. AlphaCode обучена 715,1 Гб кодов и их описаний из общедоступных репозиториях GitHub на языках программирования C++, C#, Go, Java, JavaScript, Lua, PHP, Python, Ruby, Rust, Scala и TypeScript.
https://www.deepmind.com/blog/article/Competitive-programming-with-AlphaCode

👍🏻Не любите документировать код? Предоставьте это ИИ!
AI Doc Writer – это расширение VS Code, которое документирует код с использованием ИИ. Достаточно просто выбрать в среде разработки нужные строки кода и нажать Cmd/Ctrl +. AI Doc Writer создаст краткое описание каждой функции и параметров. Инструмент от Microsoft (https://marketplace.visualstudio.com/items?itemName=mintlify.document) поддерживает языки Python, JavaScript, TypeScript, PHP и Java, а также JSX и TSX файлы. Разумеется, это нельзя назвать программной документацией в том виде, как ее понимает Заказчик, однако, наличие понятных комментариев делает код поддерживаемым и читабельным. Посмотреть примеры: https://betterprogramming.pub/too-lazy-to-write-documentation-let-the-ai-write-it-for-you-8574f7cd11b2

Бесплатный онлайн-митап «Как создаются роботы. Мультиагентная архитектура и фреймворки построения нейронных сетей» 🤖

24 февраля, 19:00 (Мск, GMT+3)

На следующей неделе при нашей поддержке пройдет онлайн-митап от РТЛабс — команды, которая разрабатывает портал и мобильное приложение «Госуслуги», Единую систему идентификации и аутентификации и другие сервисы электронного правительства. Вас ждут два доклада на тему машинного обучения и виртуальных помощников, а также круглый стол со спикерами митапа.

В программе:
– Никита Устриков и Юрий Миронов, «Эволюция робота Макса: от виджета до высоконагруженной мультиагентной системы».
– Андрей Татаринов, «Чат-боты. Бесплатно и без смс».
– Круглый стол «Роботы на службе человечества: как сделать ассистента, который реально полезен».

Кроме того, вы сможете поучаствовать в Zoom-дискуссии и розыгрышах призов.

Регистрируйтесь и присоединяйтесь по ссылке.

🍏Clustimage – Python-библиотека для кластеризации изображений
Кластеризация без учителя при распознавании изображений — это многоэтапный процесс. Он включает предварительную обработку, извлечение признаков, кластеризацию по сходству и оценку оптимального количества кластеров с использованием меры качества. Все эти шаги реализуются в Python-пакете Clustimage, которому в качестве входных данных нужны только пути или необработанные значения пикселей.
Цель clustimage – обнаружить естественные группы или кластеры изображений, используя методы ilhouette, dbindex и их производные, в сочетании с методами кластеризации (agglomerative, kmeans, dbscan и hdbscan). Clustimage помогает определить наиболее надежную кластеризацию путем эффективного поиска по параметру и оценки кластеров. Кроме кластеризации изображений, модель также можно использовать для поиска наиболее похожих изображений для новой невидимой выборки.
Чтобы попробовать эту библиотеку c открытым кодом (https://github.com/erdogant/clustimage), ее сперва надо установить: pip install clustimage, затем импортировать пакет в свой проект: from clustimage import Clustimage.
Пример с объяснениями смотрите здесь: https://towardsdatascience.com/a-step-by-step-guide-for-clustering-images-4b45f9906128

😜Нейросети для селфи на Google Pixel 6: точное альфа-матирование в портретном режиме
Матирование изображения — это процесс извлечения точной альфа-маски, которая разделяет объекты переднего плана и фона картинки. Это нужно не только профессиональным дизайнерам при оформлении рекламных фото, но и стало популярным развлечением для пользователей смартфонов. Отправить друзьям селфи на фоне Эйфелевой башне, находясь в комнате с бабушкиным ковром? Легко с помощью Google Pixel 6: сверточная нейросеть из последовательности блоков кодировщика-декодера, для постепенной оценки высококачественного альфа-матирования сохранит все детали, включая тонкие волосинки.
Входное изображение RGB объединяется с грубой альфа-подложкой (сгенерированной с помощью сегментатора людей с низким разрешением), которая передается в качестве входных данных в сеть. В новой модели Portrait Matting используется магистраль MobileNetV3 и неглубокий декодер с небольшим количеством слоев, чтобы сначала предсказать усовершенствованную альфа-маску с низким разрешением. Затем применяется неглубокий кодер-декодер и серия остаточных блоков для обработки изображения с высоким разрешением и уточненной альфа-маски из предыдущего шага. Неглубокий кодер-декодер больше полагается на функции более низкого уровня, чем предыдущая магистраль MobileNetV3, фокусируясь на структурных функциях высокого разрешения для прогнозирования окончательных значений прозрачности для каждого пикселя. Так модель может уточнить исходную альфа-маску переднего плана и точно извлечь очень мелкие детали. Эта архитектура нейросети эффективно работает на Pixel 6 с использованием Tensorflow Lite. Также ML-модель использует разнообразные обучающие наборы данных, которые охватывают широкий спектр оттенков кожи и причесок.
https://ai.googleblog.com/2022/01/accurate-alpha-matting-for-portrait.html

😜Как создать исполняемый файл из py-скрипта?
Хотя можно запустить Python-скрипт в терминале или текстовом редакторе, иногда нужно скрыть весь код в py-файле, обернув его внутрь исполняемого файла (.exe). Например, чтобы запланировать задание, которое запускает исполняемый файл в определенное время. Это можно сделать 2-мя способами:
• через GUI пакета auto-py-to-exe (https://pypi.org/project/auto-py-to-exe/), который сперва следует установить через pip install auto-py-to-exe, затем запустить и последовательно выполнить 4 шага.
• в терминале с библиотекой PyInstaller, которую тоже следует сперва установить: pip install pyinstaller, а затем перейти в каталог с нужным py-файлом и создать на его основе исполняемый с помощью команды pyinstaller --onefile name_of_script.py
По сути, первый способ представляет собой визуализацию 2-го в наглядном GUI. А те, кто работает с CLI-интерфейсом могут сразу использовать PyInstaller безо всяких дополнительных оберток.
https://towardsdatascience.com/how-to-easily-convert-a-python-script-to-an-executable-file-exe-4966e253c7e9