devdigest // data science

Внедрение Q# в ваши любимые языки и платформы (Python, .NET, ASP.NET, Julia, Lua, PowerShell) http://amp.gs/jYUVC

Анализ медицинских документов, связанных с COVID, с помощью машинного сервисов Azure Machine Learning и Text Analytics for health

https://devdigest.today/goto/1830

#covid #ml #nlp #cord

Сравнение различных видов ML классификаторов в задаче распознавания сигналов http://amp.gs/j1KqW

Созвон Machine Learning Community

https://devdigest.today/post/1802

#ml #netml

Крутые GitHub репозитории в области машинного обучения http://amp.gs/j1nPY

Как многие знают, в video intelligence мы создаем систему для контекстной рекомендации видео.

В двух словах это работает следующим образом: вы заходите на страницу с рецензией последнего фильма про Джеймса Бонда, а мы на этой странице показываем вам видео о том, как снимали один из трюков в фильме, или интервью с Дэниелом Крейгом, или обзор Aston Martin DB5. В общем показываем то, что будет наиболее органично дополнять контент страницы, которую вы открыли в данный момент.

Для улучшения и повышения точности подбора видео мы используем множество разнообразных технологий, одна из которых – NER (Named-entity recognition). Это технология, которая позволяет выделять из текста определенные ключевые слова. Например, во фразе "Пожалуй, ни один автомобиль не получил такой известности в кинематографе, как Aston Martin. Да, именно эту легендарную марку предпочитает агент 007 – Джеймс Бонд." система реализующая NER выделит "агент", "автомобиль", "Aston Martin" и "Джеймс Бонд".
Очевидно, что для реализации хайлоад проекта такого уровня была выбрана платформа .NET, а большинство сервисов у нас написано на C#. Есть небольшая часть проекта (которая касается сервисов машинного обучения), написанная на Python, но при этом, довольно давно в планах есть перевод некоторых из этих сервисов на .NET с применением библиотеки ML.NET – несмотря на то, что это довольно молодая библиотека, развивается она очень активно.

А теперь собственно к новости, которая стала поводом для этого поста – не так давно, команда разработчиков ML.NET обновила свой роадмап, включив в него поддержку NER. (кстати говоря это была была одной из самых затребованных возможностей, запрос на которую появился еще в 2018 году).

Так что, я надеюсь, в скором времени мы сможем сделать нашу платформу еще лучше. А пока ждем первых релизов ML.NET с поддержкой NER

Обновленный роадмап: https://github.com/dotnet/machinelearning/blob/main/ROADMAP.md#named-entity-recognition-ner

Обсуждение NER:
https://github.com/dotnet/machinelearning/issues/630

Ну и про саму технологию: https://en.wikipedia.org/wiki/Named-entity_recognition

Программа конференции для дата-инженеров SmartData 2021 готова!

И не просто готова — в ней полно крутейших спикеров со всего мира. Например:

✔ Andy Pavlo, профессор компьютерных наук в университете Carnegie Mellon, эксперт по базам данных;
✔ Ash Berlin-Taylor, опытный контрибьютор в Airflow, член core-команды этого проекта, Director of Airflow Engineering в Astronomer.io;
✔ Jacek Laskowski, опытный эксперт по Spark, Kafka и Kafka Streams, автор нескольких книг по дата-инжинирингу и по совместительству Java Champion;
✔ Tejas Chopra, senior-разработчик в Netflix, работает с хранилищем данных.

И это только маленькая часть программы — в ней еще много крутых спикеров. Посмотреть всю программу, список спикеров и купить билет можно на сайте.

А по промокоду devdigestds2021JRGpc еще можно успеть купить Personal Standard билет со скидкой.
До встречи на SmartData👋

Новый запуск курса Natural Language Processing http://amp.gs/jzmme

Visual Studio Code – инструмент без которого сегодня не обойтись современному программисту. Теперь VS Code умет определять язык программирования используемый в открытом файле с помощью машинного обучения.

https://visualstudiomagazine.com/articles/2021/09/07/vs-code-aug21.aspx

#vscode #visual #studio #code

Выбор предварительно обученной NLP-модели для классификации текста http://amp.gs/jTJtI

Команда Windows ML подготовила руководство «Анализ данных с помощью Pytorch и машинного обучения Windows»

https://docs.microsoft.com/en-us/windows/ai/windows-ml/tutorials/pytorch-analysis-intro

#pytorch #WindowsML

Новый выпуск Azure Friday, в котором вы узнаете, как квантовые алгоритмы имитируют квантовую физику для решения сложных задач оптимизации. Квантовая оптимизация (QIO) использует самые современные алгоритмические методы из квантовой физики и делает эти возможности доступными в Azure на обычном оборудовании

https://devdigest.today/post/1753

#AzureFriday #Quantum #AzureQuantum

Бесплатный онлайн митап по Big Data и Java.

На «IT_One Meet Up: Java and Big Data» эксперты будут говорить о технологиях, инструментах, методах и многом другом, чем живут дата-специалисты.

В программе:
— Максим Стаценко, «Обзор технологий хранения больших данных. Плюсы, минусы, кому подойдет»;
— Вадим Опольский, «Apache Flink vs Свой Java Код. Для приземления данных из Kafka»;
— Круглый стол c Максимом Юнусовым, Вадимом Опольским и Максимом Стаценко, на котором спикеры обсудят системы хранения данных, архитектуры и разные подходы к работе с Big Data.

А еще вас будет ждать дискуссионная зона и розыгрыш подарков среди участников 🎁

✅ Участие бесплатное, нужно только зарегистрироваться.

Особенности работы ML.NET на процессорах Apple M1.

ML.NET – кросс-платформенная система машинного обучения для разработчиков, которая позволяет использовать возможности машинного обучения в автономном и подключенном режимах.

Apple M1 — новый процессор на базе ARM-архитектуры от компании Apple из серии Apple Silicon.

https://visualstudiomagazine.com/articles/2021/06/29/mlnet-jun21.aspx

#mlnet #apple #m1 #arm

Как распознать позу руки на картинке: с нуля и до рабочей модели

Распознавание позы руки — популярная задача в компьютерном зрении, часто используется в проектах, связанных с виртуальной реальностью. В открытом доступе есть сотни пейперов, но базовых вводных туториалов — практически нет. Ольга Черницкая, Senior ML Engineer в SoftServe, решила это исправить.

В этой статье — основы теории для распознавания 2D-позы руки и так далее.

👉 https://dou.ua/goto/3JaB

#ML

Big Data Camp

We welcome students who know the basics of one of the programming languages (Python, Scala, C#, Java, C++) and have a basic knowledge of relational database theory and SQL. Your English should be Intermediate + level.

The training program is free and is designed for 5-8 hours of theoretical and practical classes per week. Upon completion of the internship, you will gain an understanding of the basics of the field of Data Engineering and a wide range of skills in working with Big Data.

In the practical classes you will gain hands-on experience working with key Big Data technologies, Azure, relational and NoSQL databases, deepen your knowledge of Python programming language, work with Kubernetes and Docker, as well as consolidate all theoretical topics and gain experience for further work.

The best graduates of the Data Engineering camp will receive a job offer!

https://www.facebook.com/events/359732215675128

Машинное обучение в технической поддержке True Engineering http://amp.gs/jjN89

Новые возможности ML.NET: поддержка ARM (в том числе процессора Apple M1), обновление Model Builder и AutoML

https://devblogs.microsoft.com/dotnet/ml-net-june-updates-model-builder/

#MLNET #AutoML #M1 #ModelBuilder

Конференция о дата-инжиниринге SmartData 2021 ищет спикеров🎙

Вам есть о чем рассказать и что обсудить с коллегами по цеху? Тогда вам нужно подать заявку на участие в конференции!

В этом году SmartData пройдет 11-14 октября, онлайн (гибридный формат решили отложить из-за непредсказуемости ввода ограничений на офлайн мероприятия).

Темы, которые ждут больше всего:
✔️ Стриминг;
✔️ СУБД и хранилища для больших данных;
✔️ Архитектура DWH;
✔️ Data governance;
✔️Технологии построения ETL;
✔️ Оркестрация и MLOps.

Но этим списком не ограничивается — вы можете подать заявку с любой темой из области дата-инжиниринга.

Если все-таки сомневаетесь, то программный комитет всегда готов обсудить актуальность темы и помочь выбрать правильный вектор доклада.

И уже сейчас можно купить билет по самой низкой цене, ведь с каждым месяцем она будет увеличиваться.

DataScience Digest — 10.06.21 http://amp.gs/jIZR7