DataGym Channel [Power of data]

#events : Яндекс изнутри: рекомендательные системы Музыки и Дзена
Когда: 16 (суббота) февраля 2018, 12:00 - 18:00 (сбор гостей с 11:30)
Место: Яндекс, ул. Льва Толстого, д.16, зал Экстрополис
Язык докладов - русский.

Митап от сотрудников Яндекса, посвященный рекомендательным системам Яндекс.Музыки и Яндекс.Дзена.
Также в рамках митапа пройдет воркшоп.

(12:20 - 12:50) Даниил Бурлаков "Как рекомендовать музыку, которую почти никто не слушал"
(12:50 - 13:20) Антон Фролов "Дзен — рекомендательная система с несколькими игроками"
(13:40 - 14:10) Дмитрий Ушанов "Устройство рекомендательной системы сервиса Яндекс.Дзен"
(14:10 - 14:40) Евгений Крофто "Секретный доклад"

А в 15:00 начнется воркшоп по рекомендательным системам для музыки и текстов.
Воркшоп проведут Даниил Бурлаков (руководитель группы рекомендательных продуктов Медиасервисов Яндекса) и Евгений Соколов (руководитель группы качества рекомендаций и анализа контента Яндекс.Дзена, заместитель руководителя ФКН НИУ ВШЭ)
Но обратите внимание, что при регистрации необходимо отметить "Я хочу принять участие в воркшопе" и пройти небольшой тест.

Обязательна регистрация, число мест ограничено, поэтому поторопитесь: http://xxtt.ru/4c1f

#education #courses : Начался весенний запуск курса по Deep Learning от Университета Карнеги - Меллона
Мы решили организовать группу людей, которые хотят самостоятельно проходить этот курс параллельно.
В открытом доступе выходят только видеолекции, но нам удалось связаться с профессором и он пообещал дать доступы к тестам, коду и конкурсам на Kaggle In-Class. Мы уже подняли всю необходимую инфраструктуру и набираем народ в ожидании первых лабораторных от профессора.
Это вторая попытка, первая (полгода назад) не увенчалась успехом. Но профессор уверил, что у нас все получится.
Регистрация на курс происходит по адресу https://dlcourse.ru (бесплатно и без смс 🙂 )
Регистрация обязательна - вскоре зарегистрированным откроются:
1) видео; 2) тесты; 3) задание на написание кода; 4) конкурсы Kaggle In-Class; 5) платформа для коммуникации, вопросов и взаимовыручки
У регистрации нет дедлайна, присоединиться можно когда угодно, но дедлайн будет у тестов и домашних работ.
После регистрации вы также получите доступ к чату, где будут появляться все анонсы.
Язык лекций: английский, язык чата: русский и английский.

☝️🎄Регистрация на CCCV18 возобновилась, а в программе появился 6-ой доклад: 19:00 — 19:30 Sergey Tulyakov (Snap Inc, California), “Learning representations for video generation, prediction and retargeting”

#events : CCCV18 Четвертый рождественский коллоквиум по компьютерному зрению от Skoltech
Когда: 26 (среда) декабря 2018, 15:30 - 19:00
Место: Samsung AI Center, Москва, Лесная 5
Язык докладов - английский.

На коллоквиуме исследователи из России и зарубежья представят свои работы, связанные с компьютерным зрением:
(15:30 — 16:00) Alexander Vakhitov (Samsung AI Center and Skoltech, Moscow), “Improving Robustness and Accuracy of Point+Line Visual SLAM”
(16:00 — 16:30) Eldar Insafutdinov (Max Planck Institute for Informatics, Saarbruecken), “Unsupervised Learning of 3D Object Shape and Camera Pose”
(16:30 — 17:00) Natalia Neverova (Facebook AI Research, Paris), “DensePose++”
(17:30 — 18:00) Yaroslav Ganin (DeepMind, London), “Synthesizing Programs for Images using Reinforced Adversarial Learning”
(18:00 — 19:00) Alexey Dosovitskiy (Intel Labs, Munich), “Learning to drive, fly, and walk”
Ссылка на страницу мероприятия: http://xxtt.ru/cccv18

#events : Data Ёлки в Санкт-Петербурге и Москве
Когда: 15 декабря в 15:00 в Санкт-Петербурге
и 22 декабря в 12:00 в Москве
Место: в Санкт-Петербурге (Wargaming, пл. Карла Фаберже, 8)
и в Москве (Mail.Ru, Ленинградский пр-т, д. 39, стр.7)

Data Ёлка - ежегодное мероприятие, которое в этом году, помимо Москвы, пройдет и в Санкт-Петербурге.
Но если в Санкт-Петербурге формат будет походить на митап, то в Москве Вас ожидает data-трэш (с интересными обзорами и впечатлениями от конференции NIPS)
Программа мероприятий доступна по ссылкам:
Санкт-Петербург: http://xxtt.ru/080e
Москва: http://xxtt.ru/f766
Поторопитесь, число мест ограничено.
И с Наступающим! ;)

#events : Тренировка по машинному обучению 24 ноября
В эту субботу (24 ноября, 12:00) пройдет очередная тренировка по машинному обучению.
Место: Яндекс, зал Мулен Руж
Сбор в 11:30, начало в 12:00
Программа:
- Антон Кленицкий — Построение системы автоматического машинного обучения (SDSJ AutoML 2018)
- Павел Остяков — Классификация изображений с применением на новый географический регион (Kaggle Inclusive Images Challenge)
- Константин Гаврильчик, Евгений Кононенко — Детектирование кораблей на спутниковых снимках (Kaggle Airbus Ship Detection Challenge)
Регистрация обязательна: http://xxtt.ru/5134

В эту субботу (10.11) в Москве пройдет одно из крупнейших Data Science событий осени - Sberbank Data Science Day. 5 потоков, 20 секций, >50 спикеров.
Секции: AutoML, CV, NLP, DS/AI в ритейле, DS/AI в промышленности, DS/AI в телекоме и медиа, DS/AI в банковской и финансовой сфере, DS/AI в медицине и биоинформатике и другие.
Все действие развернется в Киноцентре "Октябрь" (Новый Арбат)
В этот день так же разберутся решения победителей двух соревнований: AutoML (написание мета-алгоритма, решающую любую ML задачу), КлассикAI (алгоритм по написанию стихов)
Регистрация обязательна. Основные места закончились, но если вы не успели зарегистрироваться, то по промокоду AutoML регистрируйтесь как Участник соревнования.

Подробнее про событие: http://xxtt.ru/0eca
Ссылка на регистрацию: http://xxtt.ru/d13e

Очень рекомендую!
Увидимся 😉

#education #courses : Неделю назад Университета Карнеги - Меллона начал новую сессию курса по Deep Learning.
С программой и описанием курса можно познакомиться тут: http://deeplearning.cs.cmu.edu (курс на английском).
К сожалению, в отрытом доступе будут появляться только лекции и слайды.

Я связался с профессором курса и спросил о возможности присоединиться к тестам и домашним работам на Kaggle. Профессор отозвался на просьбу и на текущий момент готов предоставить доступы к учебным материалам. От нас требуется набрать учебную группу, так что если вы хотите пройти курс - заполните, пожалуйста, форму ниже.

Тем не менее, действовать надо быстро, потому что мы пойдем синхронно с текущим запуском курса, а на данный момент прошло уже 3 лекции.

Так же мы хотим создать свою площадку для обсуждения и взаимопомощи на курсе (piazza/slack/telegram).
Все успешно завершившие (над метрикой успешности еще работаем) курс получат электронные сертификаты от ODS.

Ну и как вы понимаете: все бесплатно, держится на полном энтузиазме и требовать чего-то от сообщества вы не можете 🙂

Форма: http://xxtt.ru/fa9d

#python #tips #libs : tqdm в телефоне
tqdm - сделала жизнь проще. Но как следить за долгим процессом итерации? Да так, чтобы можно было оторваться от компьютера, поиграть с детьми, провести время с женой, но при этом держать руку на пульсе.
Есть hyperdash, но придется ставить приложение и огромную либу, при этом будут сыпаться логи, а мы то хотим ProgressBar.
А что, если tqdm можно засунуть в telegram?
Да так, что в один чат будут приходить ProgressBar с разных скриптов или даже серверов.
Достаточно установить легковесную либу. Как это сделать и как ее использовать, смотрите в репозитории http://xxtt.ru/5098

Пример синхронного применения функции и распараллеливание этой же функции
t.me/powerofdata/32

#python #tips : Распараллеливание и progress bar
Как контролировать многопоточное применение функции к массиву данных?
- С появлением tqdm стало проще контролировать процесс прохода по циклу (про tqdm: http://xxtt.ru/60c8)
- Также мало для кого секрет, что функции map проста для распараллеливания с помощью встроенной библиотеки multiprocessing (хорошая статья про это: http://xxtt.ru/c6c6)
Но что, если вы хотите следить за процессом распараллеленного выполнения с помощью multiprocessing?
Есть решение! Вот пример:

from multiprocessing import Pool
from tqdm import tqdm_notebook

def pow_2(n):
    import time
    sq_n = n ** 2
    time.sleep(0.1) # slow function 🙂
    return (n, sq_n)

def imap_unordered_bar(func, args, n_jobs):
    p = Pool(n_jobs)
    res_list = [x for x in tqdm_notebook(
        p.imap_unordered(func, args),
        total=len(args)
    )]
    p.close()
    p.join()
    return res_list

result = imap_unordered_bar(pow_2, range(100), n_jobs=10)

где args - массив данных к которому вы хотите параллельно применить функцию func
❗️`imap_unordered` возвращает результаты не обязательно в порядке входных данных. Потому, если вам важно понимать, результатом каких входных значений является выходное значение, возвращайте идентификатор, по которому восстановите к чему относился результат.
Код примера на github: http://xxtt.ru/6b4d

#competitions : MadCars / MailRu Mini AI Cup #3
Бой автомобилей в замкнутом пространстве, вдохновленный игрой Drive AHEAD.
Необходимо реализовать/обучить алгоритм управления автомобилем с целью выведения из строя автомобиля соперника.
Реализация применяется на большинстве популярных языков (даже php есть 👻).
Взаимодействие осуществляется через систему ввода-вывода: на вход поступают данные окружающего мира, на выходе ожидаются ваши действия.

Дедлайны:
по 06/09 - бета-тест (возможность проникнуться механикой, сделать первые решения)
по 20/09 - рейтинговые игры
24/09 — финал между топовыми игроками
Призы: 1st - MacBook Air, 2-3 - Apple iPad, 4-6 - Samsung Gear S3 (или их ценовой эквивалент)
Финалисты конкурса получат фирменные футболки чемпионата, а TOP-10 участников скидку на 250 рублей на 20 поездок в сервисе такси Ситимобиль (в течение месяца)
Страница конкурса: http://xxtt.ru/9975

#competitions : Power Laws: Cold Start Energy Forecasting
Прогнозирование электропотребления "холодного пуска" здания
Дедлайн: 31/10/2018 (более 2 месяцев)
Призовой фонд: 23.000$ (1st - 12.000$, 2nd - 7.000$, 3rd - 4.000$)

Данные представлены в виде временных рядов с почасовыми показателями энергопотребления и температуры
Для обучения представлены 4 недели почасовых наблюдений
Для предсказания необходимо прогнозировать разные временные отрезки:
- прогнозировать по часам на сутки
- прогнозировать по дням на неделю
- прогнозировать по неделям на 2 недели
Также по зданиям дана метаинформация.
Суммарный объем данных ~ 36 мегабайт
DrivenData - не очень популярная платформа для конкурсов, потому большая конкуренция не предвидится.
Ссылка на страницу конкурса: http://xxtt.ru/cea8