VideoLab & Self-Motivated Learning

Господа! Я давно не кидал наших хороших новостей, а они есть!

Пару месяцев назад мы выиграли грант на создание лаборатории в Институте ИИ МГУ (он пока не гуглится, даже сайт и все остальное скорее всего только к концу года будет).

На прошлой неделе мы были в помещениях, где только что закончен ремонт и сейчас завозится оборудование (это комната для семинаров, а слева свеже-привезенные еще не распакованные сервера, которые скоро уедут в серверную).

Всем привет!
Напоминаем, что начиная с сегодняшнего дня лекции курса будут проходить очно.

📍 Аудитория 526-б на ВМК
⏰ Время 14:35

Также на лекции будет выдано первое задание курса. Лекция будет транслироваться в zoom.
Не пропустите!

Ссылка на лекцию.
Начало в 14:35.

https://us02web.zoom.us/j/82913355970?pwd=VmRLMVFIZjRKTGh0dEpHOUlBaUpHdz09

Уже на следующей неделе мы начинаем курс "Интеллектуальные методы обработки видео". Успешное прохождение курса будет являться основным критерием для распределения на кафедру ИИТ в видеогруппу лаборатории Компьютерной графики и мультимедиа.

В основной части курса рассматриваются задачи обработки видео (повышение разрешения, обнаружение смен сцен, удаление нежелательных объектов, замена фона, моделирование внимания зрителя). Для каждой из задач помимо традиционных подходов к решению рассматриваются современные подходы на основе нейронных сетей. Помимо этого в курсе рассматриваются новые форматы видео и изображений: стереоскопический, пленоптический и 360/VR. В частности, затрагиваются вопросы получения, оценки качества и обработки контента этих типов.

Первая лекция будет 16 февраля в 14:35 дистанционно!

Телеграм-чат курса:
https://t.me/joinchat/dFpDOhmtVNY4ODli

Коллеги!

Я под Новый год выпустил текст, посвященный заканчивающемуся году науки в России или как наука сейчас выглядит (с моей точки зрения).

Текст дискуссионный и весьма рекомендуется тем, кто смотрит в сторону R&D отделов компаний )))

https://habr.com/ru/post/598305/

Господа!

В наиболее популярном, среди профессионалов передачи видео в интернете журнале Streaming Media вышло интервью со мной, где на наглядных (надеюсь) графиках разбираются вопросы наших свежих исследований:
* Почему взлом метрики VMAF от Netflix - это проблема?
* Как новый стандарт сжатия AV1 убивает PSNR?
* Насколько круты новые нон-референс метрики качества видео?
* Какой прогресс есть в области Super-Resolution и в чем проблемы по измерению этого прогресса?
* И, наконец, как показал себя новый стандарт VVC, принятый в прошлом году?

Если кратко - то новые стандарты - реально круты и сильно экономят битрейт и место на диске, но... ломают старые добрые метрики...

Господа! Из нашего текущего прикольного. Мы на этой неделе выпустили первую часть нашего ежегодного сравнения кодеков. Этот проект крайне известен за рубежом (у нас сотни тысяч скачиваний отчетов) и Смелянский как-то рассказывал что он там представляется что с ВМК МГУ, а его спрашивают, а, это где кодеки сравнивают? )))

Этот год в сравнении был крайне горячим, поскольку в этом году появилось 6 кодеков нового стандарта VVC от ISO + недавно вышел AV1 (ради создания которого FAANG объединились с конкурентами!) + только-только дозрел первый кодек нового китайского стандарта AVS3. В общем - как пишут Streaming video is a hot commodity now! Про прикольные вещи внутри - возможно как-нибудь расскажу) (там очень много узкопрофессионального, но очень интересного - в полном отчете более 20000 графиков).

Как обычно написан пост в LinkedIn про это! Кто зарегистрирован - лайки приветствуются! )

Господа, кому интересно - вот статья, на которую Михаил ссылался в среду: https://arxiv.org/pdf/2004.11647.pdf Совместная публикация Яндекс и (внезапно!) Google по автопилотам.

Господа! Послезавтра наш выпускник, руководящий небольшой исследовательской группой в Яндексе расскажет, каково это - гонять по городу машинки, чувствовать что от тебя зависит жизнь пассажиров и пешеходов и какие знания для этого нужны (фактически происходит создание новой индустрии автопилотов с нуля, причем на алгоритмах нового типа, которые тоже появляются и совершенствуются прямо на глазах).

Начнется все в среду в 14:35 (но сначала я расскажу про наши исследования, а потом - Михаил). Все будет в Zoom вот ссылка.

Подойдет для любого курса, приходите сами, приглашайте знакомых! )

Господа! Рад сообщить, что вышел свежий номер Альманаха "Искусственный интеллект" https://aireport.ru/, посвященный железу для ИИ. Сей номер открывает большая вводная статья вашего покорного слуги, где я рассказываю, ключевые моменты от базовых вещей до интересных новых тем, которые появились в ускорении нейросетей на май этого года (когда готовился номер).

Только для вас прямая ссылка на PDF (в номере еще много интересных статей и данных).

Скрин из свежей почты в тему последней лекции. Интересно, что такие обращения есть из Intel, Huawei и Яндекс, а хорошо понимающие в теме люди от нас уходили на работу еще в Samsung, Amazon, Google и другие топовые компании.

Интересно, что если условное распознавание сегодня читают в каждому уважающем себя условном МИСиС (и завтра эти люди будут стучаться лбами на собеседованиях), то лекции и исследования по сжатию есть еще только в Томске. И в других странах то же самое (программа отражает в первую очередь запросы моды леммингов). И с распространением больших данных и 4D видео все только усугубится))).

Текущий план - сокращать классическое сжатие в пользу тем, актуальных и для сжатия, и для обработки видео (другая крайне востребованная область, лекций по которой в России почти нет).

Господа! Из свежих новостей. В этот вторник двое наших 4-курсников доложились на 31-й конференции по комп. графике и компьютерному зрению GraphiCon-2021. У обоих статьи на английском, пойдут в Scopus, написаны на 3 курсе. (тут должен быть вопрос, а чем ты %USERNAME% занимался на 3 курсе))))

В чем идея: чтобы попасть в топовое R&D место - нужны статьи и чем круче, тем лучше) А сразу написать статью на CVPR (A* - самый топ) - объективно оч сложно. Любой фитнес-тренер подтвердит - вес нужно наращивать постепенно!)

Мой бывший студент Карен Симонян (изобрел VGG, работает в Google DeepMind) - как раз великолепный пример быстрого наращивания "веса" публикаций.

В этом плане - Scopus - годная первая ступень), если ее затащить на 3 курсе, дальше можно штурмовать В-, А- и А* конференции. Если вы затащите CVPR с практичной темой - уровень компаний, где вам будут рады, будет оч хорош. Примеры наших студентов расскажу! ) (стараюсь пореже, ибо обвиняют, мол агитирую студентов уезжать, что не так)))

Еще одним свежим рекордом является наш второй бенчмарк по super-resolution. Его основная идея - измерение, насколько эффективно работают алгоритмы увеличения разрешения, на сжатом видео. Эта тема прогремела года 3 назад, когда появились нейросети очень неплохо обрабатывающие мультфильмы, фанаты отконвертировали любимые анимэ в 4К и прониклись. Однако с обычным видео ситуация сильно сложнее. При том, что доля 4К телевизоров растет, да и 2К+ экраны у новых смартфонов уже давно норма. Т.е. качественно растянуть видео на большой экран уже очень востребованная тема.

Круть этого проекта в том, что человек начал его на 2 курсе в начале мая, а уже в конце августа была опубликована альфа. Всего 4 месяца (включая месяц сессии!), это реально рекорд! Интересно, что 1 место (по Спирману) при сравнении с усредненным мнением людей заняла метрика, разработанная той самой девушкой на 3 курсе, о которой я писал 3 поста назад)))

Я сознательно акцентирую достижения бакалавров, про старших тоже будет! )

До встречи в 14:30! )

VideoLab & Self-Motivated Learning pinned a GIF

Забавна также сама тема работы. В 2 словах - 2 года назад мы выкатили метод хакинга (накрутки) топовой на сегодня метрики качества видео (VMAF, разработана Netflix). Метод весьма зашел. В том числе Google уже включила накрутку VMAF нашим методом в свой open source кодек AV1 (топовый на сегодня по сжатию в мире). Летом прошлого года Netflix выкатила патч - VMAF NEG, который закрывал эту уязвимость, а этой весной мы его сломали опять как раз в работе 2-курсника, которому была выданы идеи, до которых не добирались в проектах). И сейчас работаем в этой теме еще более фундаментально над методами дистилляции метрик качества видео, что позволяет как анализировать метрики, так и строить adversarial атаки на потоке. Интересно, что атаки на метрики и их устойчивость - оказалась очень востребованной темой (ибо с одной стороны достаточно теоретическая, а с другой - с четким практическим выхлопом), но про то какие тут будут контракты - позднее, как подпишем)

Анонсирую только из уже подписанного. В начале сентября декан подписал документы о вступлении МГУ (в лице нашей лаборатории) в UltraHD World Association. Смысл простой: в 2020 году Китай достиг доли в 42% производства 4K телевизоров в мире, став крупнейшим в мире производителем и потребителем 4K TV. Ассоциация создана для объединения производителей оборудования, контента и технологий для создания и продвижения 8K и HDR следующего поколения. Т.е. крайне востребованы работы по сжатию, Super Resolution, HDR и метрикам всего этого, что очень сильно пересекается с нашей тематикой. Соответственно в ноябре я буду делать доклад на китайской конференции ассоциации о наших достижениях. Как наш предыдущий первый бенчмарк Super Resolution попал в топ paperswithcode.com, а недавно у нас второй вышел. Впрочем об этом в следующий раз. )

До встречи на лекции в среду в 14:35 в П-8 (будут лемминги, если кто из старшекурсников поможет с рекламой - будет здорово).

Коллеги, у нас тут очередной рекорд был, про который я не написал. Это "Самая ранняя Scopus статья" в нашей истории! Человек получил Acceptance международной конференции в конце августа, фактически будучи на 2 курсе! ) Тут я должен написать: А как ты провел лето после 2 курса, %USERNAME%? )))))))

Но интереснее другое - ко мне в августе обратились (независимо) молодой сотрудник Huawei - "Хочу у вас писать статьи" и молодой сотрудник Яндекс "Хочу у вас ресечить и тренироваться статьи подавать". Ибо внезапно выяснилось, что в отделах, где не тикеты закрывают, при приеме задают вопросы "Есть ли у вас научные статьи? А где первый автор?" или "Делали ли вы доклады? Конференции? Митапы?". В этом плане японская конференция (с картинки выше) выглядит неплохим началом, которым могут похвастаться очень немногие выпускники )))

Всем привет!

В ближайшую среду (22.09) состоится первая лекция спецкурса «‎Методы обработки и сжатия медиаданных»‎

В ходе курса вы узнаете:
* Как сжать любой файл в точку
* Почему шакалит JPEG
* Где нужны фракталы на практике
* Что такое h264 и x264 и чем они отличаются

а также:
* Как программисту преуспеть в жизни
и многие другие интересные и актуальные вопросы

Где: Второй учебный корпус, ауд. П-8
Когда: по средам в 14:35

Чат в телеграм: ссылка

Господа!

У нас забавное достижение! Есть такой сайт paperswithcode.com - культовый для каглеров и топовых людей из R&D отделов компаний. Мы буквально недавно летом зарелизили новый бенчмарк алгоритмов Video Super-Resolution и в августе разместили его на paperswithcode, а июльский алгоритм одного из участников (Real-ESRGAN) там вошел на 2 место в тренде по текущему росту популярности. Причем у нас Real-ESRGAN на 8 месте в бенчмарке (что бенчмарк поднимает - интересно, кто же первые 7 тогда???)))) В общем ссылка на наш бенчмарк попала на первый экран paperswithcode в хорошем для нас свете и уже пару дней держится). Везение, конечно, но учитывая, что там представлены ВСЕ темы Computer Science - неплохо оказаться на пике топовой!)

Интересно, что бенчмарк сделала на 3 курсе за год работы девушка (у которой такими темпами хорошие шансы на зарплату 400+ т.р. в R&D). А ты как провел лето после 3 курса, %USERNAME%? ))))

Из забавного - предыдущий пост уже довольно долго держится на 2 месте в топе месяца Хабра:
https://habr.com/ru/top/monthly/
Что весьма неожиданно даже для автора (обычно там в топе более хайповые темы, чем какие-то алгоритмы сжатия))).

Коллеги!

Всем, кто делал арифметик когда-то на спецкурсе будет интересно. Я выложил очередную статью на хабр )

В этот раз про прошлый конкурс с призовым фондом 50 тысяч евро, развитие алгоритмов сжатия за последние 20 лет (в том числе о приходе рекуррентных сетей в виде LSTM и триумфальном приходе в область трансформеров (которые довольно активно сейчас в разных областях конкурентов раскатывают, если кто следит).

И да! В новом конкурсе могут и студенты попытать счастья) Это начало иметь смысл. Во-первых призовой фонд 200 тысяч евро, во-вторых, деньги даются до 3 места, причем в 12 номинациях. И, наконец, есть отдельная студенческая номинация)

#Habr