Big Data Science

В виду последних событий:

🥳Впереди продолжительные выходные, а значит можно посвятить это время тому, до чего долгое время не доходили руки. Например, изучить Data Science или посмотреть фильмы из давно сохраненной подборки!

Расширяем подборку фильмов для айтишников и программистов:

😱Наглядная шпаргалка по операциям с DataFrame в pandas для data wrangling и не только:

https://tproger.ru/articles/pandas-data-wrangling-cheatsheet/

Объяснимый ИИ, блокчейн и фабрики данных: исследовательское бюро Gartner прогнозирует самые перспективные на 2020 год тренды в аналитике данных: https://www.gartner.com/smarterwithgartner/gartner-top-10-data-analytics-trends/

🏂Как обычно, в конце месяца мы публикуем дайджест интересных событий в мире Data Science: научные конференции, практические митапы, хакатоны и бизнес-форумы. Итак, в марте нас ждут:
• 03.03.2020 - Intelligent Automation Exchange (Майами, США) - Практический форум и выставка профессиональных достижений в сфере DS, ML, AI https://ecoadmin.iqpc.com/?event_id=5d3827e131202579a874b106
• 05.03.2020 - DS + Prod = One Love (Санкт-Петербург) - Профессиональная ИТ-встреча, где эксперты из Одноклассников, Вконтакте и Сбербанка расскажут о реальных кейсах внедрения DS в production https://dsprodone-love.timepad.ru/event/1259508/
• 10.03.2020 - AI Hardware Summit Europe (Мюнхен, Германия) - Научно-практический саммит по аппаратному обеспечению ИИ-приложений https://aihardwaresummiteu.com/events/ai-hardware-summit-europe
• 11.03.2020 - Big Data & AI World (Лондон, Великобритания) - Крупная научно-практическая конференция по вопросам DS, ML, AI с привлечением вендоров Big Data систем и бизнес-экспертов https://www.bigdataworld.com/
• 16.03.2020 - Кому нужен ваш креатив, или переводим
с бизнесового на человеческий (Москва) - Практический митап по бренд-маркетингу в категории B2C: эксперты Яндекса и приглашенные специалисты расскажут, что такое CJM и креативность в рекламе https://events.yandex.ru/events/brand-marketing-meetup-2020
• 17.03.2020 - AI & Big Data Expo Global (Лондон, Великобритания) - Международная выставка научно-технических достижений в сфере больших данных, DS, ML, AI https://www.ai-expo.net/global/
• 19.03.2020 - Data Innovation Summit 2020 (Стокгольм, Швеция) - Международный научно-практический саммит по аналитике данных и ее приложениям в бизнесе https://datainnovationsummit.com/
• 20.03.2020 - Дзен-митап: рекомендательные системы (Москва) - Разработчики ВКонтакте и Яндекс.Дзена расскажут о своих подходах к проектированию рекомендательных систем https://events.yandex.ru/events/zen-meetup/20-03-2020
• 21.03.2020 - International Conference on Applied Mathematics & Computional Science (ICAMCS 2020) – Венеция, Италия - Международная конференция по применению математических методов и моделей в различных отраслях промышленности и бизнеса: от медицины до маркетинга - https://www.icamcs.net/
• 21-22.03.2020 - Хакатон от Яндекс.Недвижимости (Москва) - Командное соревнование для разработчиков, анлитиков и дизайнеров с призовым фондом 500 тысяч рублей. Прием заявок на готовые задачи или презентацию собственных стартапов до 10 марта -https://yandex.ru/promo/realty/hacktherealty
• 23.03.2020 - Gartner Data & Analytics Summit (Техас, США) - Практический саммит от самого авторитетного исследовательского бюро - аналитической компании Gartner: современная аналитика данных для аналитиков, менеджеров, руководителей и ИТ-архитекторов https://www.gartner.com/en/conferences/na/data-analytics-us
• 26.03.2020 - Machine Learning School (Севилья, Испания) - Школа машинного обучения для начинающих и профессионалов: от основ к рабочим ML-приложениям https://bigml.com/events/machine-learning-school-in-seville-2020
• 28.03.2020 - International Conference on Mathematics, Statistics and Economics (Бангкок, Таиланд) - Международная научно-практическая конференция по математическим методам и статистике в экономике: модели ML и темы Big Data и DS также будут обсуждаться https://waset.org/mathematics-and-statistical-science-conference-in-february-2020-in-bangkok

Напомню, некоторые из этих мероприятий можно посетить бесплатно по предварительной регистрации. Участвуйте и повышайте свой профессиональный уровень в Big Data Science!🎯

CCMatrix - самый большой на сегодня датасет для машинного перевода, в 50 раз больше WikiMatrix: около 4,5 миллиардов параллельных предложений в 576 языковых парах. При создании использовались методы массивно-параллельной обработки информации и библиотека FAISS для быстрого поиска по сходству. Автоматизированный и распараллеленный процесс интеллектуального анализа битов обрабатывал сразу несколько пакетов с данными по 50 миллионов примеров одновременно на сервере с 8 графическими процессорами. Благодаря этому удалось быстро извлекать предложения на разных языках из множества общедоступных текстов. Ожидается, что CCMatrix улучшит системы машинного перевода и поможет разработать новые способы создания крупномасштабных мультиязыковых датасетов. Подробную статью на английском читайте здесь: https://ai.facebook.com/blog/ccmatrix-a-billion-scale-bitext-data-set-for-training-translation-models/

📹Netflix open sources data science management tool

Metaflow (инструмент, разработанный внутри компании) полностью управляет проектами в области данных Python, работает с любой библиотекой машинного обучения и интегрируется с облачными сервисами AWS.

Читаем больше об этом сервисе по ссылке:
https://www.infoworld.com/article/3488796/netflix-open-sources-data-science-management-tool.html

Также на habr есть довольно подробная статья (и даже на русском): https://habr.com/ru/company/ruvds/blog/482462/

Машинное обучение обучает не только машины: в университете Северной Каролины (США) AI помогает студентам лучше усвоить материал с помощью индивидуального тестирования в игровой форме. Подробнее читайте тут:
https://www.sciencedaily.com/releases/2020/02/200205132409.htm

🌎Изменения, происходящие в среде Data Science и Data Engineering Tooling Environment

- кто сейчас нужен компанииям: Data Scientist или Data Engineer
- может ли Data Scientist быть также и Data Engineer'ом
- какие инструменты им нужны в работе, насколько они разные

Об этом и даже больше можно почитать в статье (правда на английском):
https://www.forbes.com/sites/cognitiveworld/2019/12/01/why-data-scientists-arent-data-engineers/#2d92d7bf3445

Абсолютно бесплатный вебинар для тех, кто давно хотел узнать про анализ данных с Python-библиотеками Pandas и Numpy:
https://geekbrains.ru/events/869

P.S. Бесплатный, только не забудьте зарегистрироваться 🙂

Всем хорошего и продуктивного Data Science дня!

🤩БЕСПЛАТНАЯ КОНФЕРЕНЦИЯ ПО DATA SCIENCE И РАЗРАБОТКЕ

29 февраля в ЦДП состоится конференция X5 Retail Hero, посвященная Data Science и разработке в сфере ритейла. Мероприятие включает в себя 3 соревнования и конференцию. Участие бесплатное, необходима предварительная регистрация. Ссылку оставляем!

Среди спикеров будут выступать специалисты из крупных компаний:
• Георг Гаал (X5) расскажет о DevOps в видеоаналитике.
• Юрий Юрченко (X5) выступит с темой «Валидация эффектов цифровых проектов».
• Валерий Бабушкин (X5) расскажет, как скрестить аплифт-деревья и RL для рекомендательной системы, а в следующем выступлении объяснит, почему вы никогда не найдете дата-сайентиста.
• Александр Фонарев (Rubbles) представит доклад на тему «Искусственный интеллект для предсказания спроса: как это работает на самом деле».
• Асхат Уразбаев (ScrumTrek) представит доклад на тему «Гибкое управление DS-проектами».
• Адам Елдаров (YouDo) выступит с докладом «Scrum или Kanban? Процессные фреймворки лучше работают в Data Science проектах».

Ссылка на конфу:
https://retailhero.ai

😍Data Scientist'ам на заметку в честь 14 февраля: