Big Data Science

💫Бесплатная онлайн-конференция Data Science

30 июня пройдёт очередная Data Science конференция, которая начнётся в 11:00, однако на этот раз в онлайн-формате! А это значит, что у вас больше шансов на неё попасть и узнать много классных вещей.

Конференция будет состоять из двух потоков - технический и бизнес, однако они оба посвящены Data Science, но с разных сторон. Полную программу можно посмотреть по ссылке ниже.

Если вы ещё не там, то обязательно регистрируйтесь по ссылке:
https://clck.ru/P45gm

🔥ABBYY впервые опубликовала на GitHub свою библиотеку разработок машинного обучения с открытым кодом NeoML на GitHub.

Это позволит ускорить разработку продуктов за счёт обратной связи от разработчиков и расширить сферу применения технологий компании.

Библиотека уже поддерживает языки программирования C++, Java, Objective C, а скоро ABBYY добавит к ним Python.

NeoML можно использовать на Windows, Linux, macOS, iOS и Android, библиотека поддерживает процессоры CPU и GPU.

Чек-лист для руководителя. Чего ожидать от Data Science.

🧜‍♂️‍Наука о данных (Data Science) — не магия. Ваш бизнес никто не знает лучше вас. Помогайте специалисту инсайтами и информацией о бизнес-процессах. Знание и понимание предметной области критически важно. Дата сайентист просто не может разбираться во всех областях и знать специфику и все нюансы бизнеса.

📈Для анализа данных нужны данные. Лучше, если их много и они адекватные. Модель никогда не будет лучше данных, которые ей дадут. Не забывайте принцип «Мусор на входе — мусор на выходе». Постарайтесь максимально подробно описать откуда и как поступают данные и какие «подводные камни» в них могут быть.

💸Всегда перед постановкой ML-задачи спрашивайте себя: принесет ли решение значимую выгоду? Если нет, не ставьте ее. Время специалиста дорого.

▶️ Только вы определяете бизнес-метрику. Определите, к какому результату должна стремиться модель, что именно нужно максимизировать или минимизировать. На сколько критичны те или иные ошибки. Опишите, как правильно стоит оценивать качество прогноза.

DeepMind выпускает Acme, распределенную среду для разработки алгоритма обучения с подкреплением

Платформа предназначена для упрощения разработки алгоритмов обучения с подкреплением, позволяющая агентам, управляемым ИИ, работать в различных масштабах производства.

Обучение с подкреплением – это разновидность машинного обучения, при котором агент учится действовать в окружающей среде, выполняя действия и тем самым нарабатывая интуицию, после чего наблюдает результаты своих действий.

Acme - это набор инструментов для тренировки систем обучения с подкреплением. Система стремится предоставить простые, эффективные и удобочитаемые агенты, которые служат как эталонными реализациями популярных алгоритмов, так и надежными базовыми показателями, и в то же время обеспечивают достаточную гибкость для проведения новых исследований.

Github:
https://github.com/deepmind/acme

Документ:
https://arxiv.org/abs/2006.00979

📓КНИГА DIVE INTO DEEP LEARNING
(Погружение в глубокое обучение):
бесплатная интерактивная книга с кодом, математикой и обсуждениями: http://d2l.ai/

Все концепции и методы также иллюстрируются и реализуются с помощью экспериментов на реальных датасетах.
Эта книга - попытка сделать глубокое обучение более доступным и понятным для всех, а также обучить вас необходимым понятиям, контексту и коду.

Авторы: Aston Zhang, Zack C. Lipton, Mu Li, Alex J. Smola.

👨🏼‍💻Запускаем тему относительно того, какие рекомендации стоит учесть data scientist'у при составлении резюме. Даже несмотря на то, что эти пункты кажутся очевидными, тем не менее многие про них забывают.

Источник: https://www.analyticsinsight.net/how-to-write-a-resume-for-data-science-role/

🗣Как выбрать правильный статистический тест из множества доступных и запустить его на своих собственных данных: очень подробная статья на английском языке с пруфами и математикой от разработчиков рекомендательных систем VK - https://medium.com/@vktech/practitioners-guide-to-statistical-tests-ed2d580ef04f

👀8-10 июня состоится ежегодный Computer Vision and Deep Learning Summit – на этот раз в формате онлайн. В программе мероприятия – 12 докладов от ведущих DS-специалистов со всего мира, а также интерактивные дискуссии со спикерами и слушателями. Уже открыта предварительная регистрация, успевайте зарезервировать свой слот!

🛠AutoViz - это механизм визуализации в один клик: он создает мощные графики и его может использовать любой пользователь, от новичка до эксперта. AutoViz может создавать диаграммы из любого плоского формата файла: CSV, Excel или TXT. Просто загрузите свои данные, и AutoViz отправит вам готовые графики.

Внедряется в 4 простых шага:
1. установка - "pip install autoviz"
2. далее импорт - "from autoviz.Autoviz_Class import Autoviz_Class"
3. создание класса "AV=AutoViz_Class()"

Ссылка на Github: https://github.com/AutoViML/AutoViz

Если нужно больше информации о данном инструменте даем ссылку - https://danrothdatascience.github.io/datascience/autoviz.html

🥁Консалтинговое агентство McKinsey&Co ищет таланты и запускает собственный DS-хакатон с 27 апреля по 25 июня 2020 года с призовым фондом в $25 тысяч. Задание появится на странице мероприятия 18 мая, а пока идет регистрация индивидуальных участников и команд не более 4-х человек. Подробная информация и правила конкурса приведены здесь.

💥Стартовал второй этап конкурса от Telegram на создание алгоритма для ранжирования новостей с призовым фондом €100 тысяч. Необходимо разработать standalone-приложение с CLI-интерфейсом и HTTP-сервером для агрегирования русскоязычных и англоязычных новостей, актуальных для временного периода и интересов конкретного читателя. Алгоритмы кластеризации должны выделять новости и статьи на английском и русском языках, а также группировать их по категориям и сюжетам. Далее требуется выполнить анализ и индексирование отобранных материалов с оптимизацией индекса для последующих запросов. Наконец, предлагаемое решение должно ранжировать тематические новости за указанный период времени по их важности. На странице конкурса представлены исходные данные, подробные условия задачи, требования к результатам и описание приемки работ. Завершение конкурса – 25 мая 2020 года. Больше информации о мероприятии в канале @contest.

💡Компания Google в марте объявила о бета-запуске Cloud AI Platform Pipelines, сервис, предназначенный для развертывания надежных, воспроизводимых AI-пайплайнов наряду с мониторингом, аудитом, отслеживанием версий и воспроизводимостью в облаке.

Google представляет это так: «простая в установке» защищенная среда для выполнения рабочих процессов машинного обучения, которая может сократить количество времени, которое предприятия тратят на внедрение продуктов в производство.

Даем ссылку на AI Platform Pipelines, чтобы познакомиться с ее структурой и работой:
https://cloud.google.com/blog/products/ai-machine-learning/introducing-cloud-ai-platform-pipelines

‼️22 апреля в #tceh пройдет онлайн конференция по Big Data и Cloud Tech!

Спикерами выступят:

- Сергей Кондратьев, руководитель департамента облачных решений ПАО "ВымпелКом"
- Всеволод Грабельников, архитектор облачных решений Яндекс.Облако
- Александр Волынский, архитектор PaaS-продуктов Mail.ru Cloud Solutions
- Екатерина Колпакова, руководитель и архитектор DWH в Ситимобил (модератор)

Бесплатная регистрация – по ссылке https://tceh.com/u/cBLk/

👍Собрали плейлисты с шести конференций Онтико, а также небольшую подборку топовых докладов, чтобы не было скучно на выходных:

📱 1. AppsConf 2019

Доклад Андрея Володина из iOS секции.
https://youtu.be/ic_2m9dK_j4

Выступление Виталия Брагилевского про computer science с точки зрения истории и теории.
https://youtu.be/OtcKHgkPiyk

Никита Соболев сделал краткий обзор языков программирования, которые используются на бэкенде.
https://youtu.be/JTk7dYxELIg

Плейлист всех докладов AppsConf 2019: https://www.youtube.com/playlist?list=PLknJ4Vr6efQEaPKr1eIGJ8i229-e0idwh

🖥 2. HighLoad++ 2019

Доклад Василия Пантюхина про паттерны проектирования распределённых систем.
https://youtu.be/RxWVxr4uUpI

Доклад Алексея Миловидова про проблемы и их отладку из опыта разработки и поддержки ClickHouse.
https://youtu.be/ooBAQIe0KlQ

Плейлист всех докладов HighLoad++ 2019: https://www.youtube.com/playlist?list=PLknJ4Vr6efQGzsPS-6UzydF7Sj4bnqFMS

🛠 3. DevOpsConf 2019

Из доклада Матвея Кукуя можно узнать базовые подходы того, как выстроить SLI, SLO и зажить лучше.
https://youtu.be/ryqCifwOmPc

Артемий Капитула поделился интересными подробностями построения блочного облачного хранилища.
https://youtu.be/__y4ZPYCLFQ

Плейлист всех докладов DevOpsConf 2019: https://www.youtube.com/playlist?list=PLknJ4Vr6efQGklXoJ-eedKMQOaV7DWwsA


🔮 4. FrontendConf 2019

Доклад Юлии Музафаровой о том, как собрать анимацию с персонажами на чистом CSS.
https://youtu.be/O1A_QCptiIM

Доклад Сергея Попова про display: grid, grid: subgrid.
https://youtu.be/GJZzJrykcp4

Плейлист всех докладов FrontendConf 2019: https://www.youtube.com/playlist?list=PLknJ4Vr6efQHldqCyBU5gpi7KPJEMbj4H

📈 5. Product Fest 2019

Роман Поборчий разбирает типовые ошибки при обработке экспериментальных данных.
https://youtu.be/7fpck9rsdrA

Плейлист всех докладов Product Fest 2019: https://www.youtube.com/playlist?list=PLknJ4Vr6efQFp9D61Y1XVk-_VJmKopDok

👩‍💻 6. TeamLead Conf 2020

Доклад Валеры Разгуляева про автономию, обещания, доверие и другие принципы работы «Вкусвилла».
https://youtu.be/fFDJQTLVCoI

Плейлист всех докладов TeamLead Conf 2020: https://www.youtube.com/playlist?list=PLknJ4Vr6efQGoVo-DCFbNIPkmg6FaGCsq

🚅Наглядное представление на графиках того, что происходит с транспортом в России и какие меры собираются предпринять в эти непростые времена.
А также, что происходит с транспортом в мире.

Переходите по ссылке:
https://habr.com/ru/company/tuturu/blog/497338/

🎯Polynote – open-source инструмент для Data Scientist’a и разработчика Big Data с поддержкой Scala, Python и SQL, интеграцией Apache Spark, автозаполнением по типу данных, визуализацией и множеством других практических фич от Netflix. Теперь можно быстро связать ML-модели на Scala с популярными библиотеками машинного обучения и графическими возможностями Python. При этом, аналогично работе с Apache Spark, вам не придется волноваться о распределенной кластерной среде – Polynote сам позаботится о воспроизводимости кода на любом узле. Подробнее о проекте читайте здесь

💥🦠🥁Data Science vs COVID-19!
Проведи самоизоляцию с пользой для всех – прими участие в открытом DS-соревновании по прогнозированию динамики распространения коронавируса. Точный прогноз поможет ученым, медикам и специалистам по ЧС оптимально распределить усилия для борьбы с пандемией. А для простого обывателя это даст ответ на вопрос, ставший сегодня главным: когда все это закончится.
В соревновании от сообщества Open Data Science и Сбербанка требуется построить алгоритм, который максимально точно предскажет динамику числа зарегистрированных случаев заражения коронавирусом COVID-19 по каждой стране на следующую неделю. Участникам необходимо сделать ежедневный прогноз, с начала соревнования до конца 2020 года, предсказав для каждой даты количество зафиксированных случаев и смертей.
Исходные данные собраны из множества разных источников (официальные каналы, пресса и т.д.) и не до конца достоверны. Поэтому следует учесть свойства выборок, схему получения данных, особенности государств, меры предупреждения и другие факторы.
Соревнование пройдет в 3 этапа:
• победители за неделю 13.04 - 19.04 определяются во вторник 21.04. Дедлайн отправки решений 12.04 в 23:59 по МСК. Призовой фонд 300 тысяч рублей на 5 лучших прогнозов и 1 лучшее публичное решение.
• победители за неделю 20.04 - 26.04 определяются во вторник 28.04. Дедлайн отправки решений 19.04 в 23:59 по МСК. Призовой фонд 300 тысяч рублей на 5 лучших прогнозов и 1 лучшее публичное решение.
• победители за неделю 27.04 - 03.05 определяются во вторник 05.05. Дедлайн отправки решений 26.04 в 23:59 по МСК. Призовой фонд 1 миллион рублей на 5 лучших прогнозов и 5 лучших публичных решений.

К конкурсу допускаются индивидуальные совершеннолетние участники и команды не более 4-х человек.
Участвуй и внеси свой вклад в борьбу с коронавирусом!

🤜🏻🦠Data Scientist’ы против COVID-19!
Чтобы помочь медикам, специалистам по ЧС и каждому из нас бороться с пандемией коронавируса, DS-площадка Kaggle запустила крупнейшее онлайн-соревнование по анализу открытых данных о COVID-19. Датасет включает информацию из 29 000 научных статей о COVID-19, SARS-CoV-2 и связанных с ними коронавирусах. Конкурс состоит из 10 задач, из которых можно выбрать 1 или решать сразу несколько. Задачи поставлены на основе научных направлений Национальной академии наук NASA и исследований ВОЗ по COVID-19. Большинство задач направлены на интеллектуальный анализ текстовой информации из научных статей и материалов полевых исследований.
Kaggle предлагает приз 1000 долларов за задачу. Как обычно, победитель (команда или индивидуальный участник) определяется по оценочным критериям. Призеры могут сами получить денежную награду или сразу направить ее на благотворительность для помощи в дальнейших исследованиях COVID-19.
Материалы участников будут оцениваться в 2 тура. Последний срок подачи заявок 1-го раунда 16 апреля 2020 года в 23:59 UTC. 2-о1 раунд заканчивается 16 июня 2020 года в 23:59 UTC.
Призываю каждого DS-специалиста внести посильный вклад в борьбу с COVID-19 и одновременно повысить свой профессиональный уровень!