VideoLab & Self-Motivated Learning

Всем привет!

14 февраля в среду состоится первая лекция весеннего спецкурса «‎Интеллектуальные методы обработки видео»‎.

В ходе курса вы:
* Получите базовые навыки работы с видеоконтентом
* Примените машинное обучение для реализации детектора смены сцен
* Научитесь работать с 4D кадрами
* Построите и обучите нейросеть для решения задачи обработки видео

Курс рекомендуется студентам второго курса для распределения на кафедру ИИТ в видеогруппу лаборатории компьютерной графики и мультимедиа.

Где: второй учебный корпус, ауд. 609
Когда: по средам в 14:35

Господа!

Из текущего забавного)

Дал комментарий газете "Известия" по поводу заявки на революционный алгоритм сжатия видео, сделанный одной маленькой, но гордой российской компанией (честно говоря это пиар).

Тем не менее решил вежливо ответить... Забавно, то из моего комментария на абзац оставили 2 предложения, про JPEG AI все убрали, но по крайней мере основную мысль (что это слишком сложно для многоуважаемой маленькой компании) оставили.

Получил еще один опыт общения со СМИ и редактирования моего текста без согласования со мной 😉 (что норма для федерального размера СМИ на самом деле). Очень полезно! Будет что им при случае рассказать в обоснование своей позиции.

А вообще журналистику не зря называют второй древнейшей профессией (ссылка на Википедию про первую и вторую древнейшие))). 🤷‍♂️

Вообще далеко не каждая КРУПНАЯ компания в мире может сегодня позволить себе создавать кодеки. Это слишком дорого и слишком много нужно специалистов. И (к прошлому посту тут) большинство кодеков сегодня делают в китайских компаниях (почему-то). А наша беда в том, что громкие заявления через год-два никто не проверяет. Может ИИ нам скоро поможет быстро старые громкие несбывшиеся заявления находить? )))

Полный текст, кому интересно: https://iz.ru/1639664/ivan-chernousov/zamer-imeet-znachenie-v-rf-sozdali-unikalnuiu-tekhnologiiu-szhatiia-video

Коллеги!

В качестве воскресного поста (вдруг вам нечего сейчас посмотреть))). Еще в 2017 году CEO Apple Тим Кук в своем интервью о будущем Apple в Китае (29 мин, фрагмент выше оттуда) довольно четко сказал, что компании переносят производство в Китай не из-за дешевой рабочей силы (которая давно перестала там быть дешевой), а из-за большого количества хороших специалистов.

Я регулярно популяризирую ролик Игра на выживание/ Китайское образование (15 мин, очень рекомендую!!!), где объясняется откуда берутся такие специалисты, о которых говорит Кук (ибо в университете они продолжают фигачить). Лично наблюдал, как у наших коллег в лаборатории компьютерной графики университета Аризоны, китайские аспиранты (единственные!) сидели в лаборатории в выходные и фигачили! Наш бывший студент, уехавший в США и поступивший в аспирантуру в известный университет в Калифорнии через некоторое время аспирантуру бросил. Я спросил почему? Говорит: он оказался не просто единственным европеоидом, а вообще ЕДИНСТВЕННЫМ НЕ КИТАЙЦЕМ в лаборатории! 🤯 И даже не смотря на то, что к нему хорошо относились, так фигачить не смог это надо со школы качать. Если еще 15 лет назад над китайской наукой потешались, то в последнее время "китайские китайцы" (китайцы их университетов Mainland) встречаются постоянно.

Почему это скажется на вас? Вангую, что в следующее десятилетие количество IT продуктов "с китайскими корнями" кратно возрастет. Это будут уже не только Zoom & Tiktok, список станет длинным (в том числе благодаря ИИ фичам, у китайцев защищается больше 4000 аспирантов по ИИ темам в год). И конкурировать с ними будет ох как непросто. Это доли рынка, а значит и богатство компаний. Можно, конечно, просто пойти к ним работать, но конкурировать с китайцами по работоспособности...

В общем - вовремя осознать и удачно справиться с этим челленджем (без выгораний и прочих побочек)! 💪😉

#education_now

Господа!

Из прошедшего интересного, тут мелькало сообщение о предновогоднем хакатоне ИНТЦ МГУ «Воробьевы горы» в чате этого канала: "второй кейс может быть интересен студентам медиалаб"

Задача "Кейс 2: Цветокоррекции на базе ИИ" была:

Разработать инструмент (включающий в том числе веб-интерфейс) для калибровки цвета уже установленных камер.
Создать сервис для коррекции цвета на фото с камеры с учётом теней, блоков и засветов, например, для стационарного объекта, который снимает камера.

Моя реакция была скептична:

Поскольку на все - два дня с веб-интерфейсом и сервисом (во время сессии!!!) - это похоже кто быстрее обернет в веб-интерфейс открытые модели NTIRE) Это не к нам)

Но! Молодые аспиранты нашей видеогруппы решили - а почему бы нет? у них-то сессии нет В общем - сходили, аккуратно обернули, и.... взяли первое место! 🎉🎉🎉🎉🎉🎉🎉 Говорят, было не сложно! 🤷‍♂️😁

Организовали себе 100 тысяч в качестве скромного новогоднего подарка! 🥇🥳🥇🥳🥇

Второе место, к слову, взяли магистры нашей лаборатории. 😲☺️

Продолжаем движение! ✌️

Господа!

У нас сегодня приняли статью Михаила Воронина на ICDSP 2024! (в рамках выполнения плана - каждому бакалавру по скопусу - см. прошлый пост, статья была написана в бакалавриате))). 💪🥳🎉

Надо сказать, что скопус стало опубликовать сложнее. У нас 3 отказа в этом году по явным политическим причинам (когда статью принимают, но опубликовать не дают и не принимают орвзнос, ибо санкции) + просто отказы. 🤷‍♂️

Но тем ценнее результат! 🙂🏆🙂

Поздравляю Михаила!!!
🎉🎉🥳🏆🥳🎉🎉

Господа!

У нас отличная новость!

Приняли статью в довольно неплохой Q1 журнал ("Computer Vision and Image Understanding"), первым автором в которой является студентка 5 курса Екатерина Шумицкая. 🙂🙂🙂

Заметим, что летом у Екатерины уже была статья на ICLR Tiny - это А* (поданная еще в бакалавриате).

У нас уровни:
* Scopus (чем больше импакт, тем лучше) в бакалавриате
* Q1 в магистратуре
* A* в аспирантуре

Планомерно работаем над расширением числа тех, у кого получается. Настя Анциферова попала в одну комнату на NIPS на позапрошлой неделе с аспиранткой из Камеруна, в лаборатории которой требование минимум 1 А* к защите диссертации. Считаю, что мы должны быть лучше Камеруна (и требовать минимум две)))! 😉

💐🎉💐🎉💐 Поздравляю Катю и Настю! Это шикарный подарок на новый год! 💐🎉💐🎉💐

Господа!

Всем, кому лемминги зашли. Тут на Хабре очередной крик души. Очень много классики:

Всю мою жизнь считалось, что программисты нереально востребованы и получают кучу денег. Поэтому я никогда не думал, что нужно копить. И вот мне 38, у меня только $20'000 в банках, 12-летняя машина и четверть квартиры в стране, откуда я уехал. Тем временем мои друзья, которые еле сводят концы с концами, как‑то уже выплатили почти всю ипотеку.

Программисты часто думают, что будут всегда легко и много зарабатывать потому, что в молодости им заработок дается заметно легче, чем сверстникам. А потом совершенно неожиданно наступает 38...

А это вообще классика:

Мне 38, и со здоровьем проблемы.

У меня искривление позвоночника. В 17 врачи сказали мне, что если не исправить, то всю жизнь спина будет болеть. Но в этом возрасте все супермены, и я не послушал совет.

Всё было нетрудно исправить где‑то до 25 лет. Но я озаботился только к 30. К тому времени это уже было трудно. Я выпрямил спину с 25º до 21º за два года йоги и массажа, но прогресс был такой медленный, что я забросил. А лучше бы продолжил, потому что в 38 это ещё сложнее. Моя спина болит постоянно уже много лет.

И еще классика:

Я не пошёл учиться на магистра. В моё время после бакалавра можно было ещё пойти доучиваться на инженера, и я так и сделал. Это ещё полтора года прикладных штук вместо двух лет магистерских исследований. И я жалею, что выбрал это.
...
А сейчас эпоха науки. Хорошая архитектура и чистый код уже на втором плане, потому что люди этому уже более‑менее научились. Это может дать тактическое преимущество, но этого уже недостаточно, чтобы выстрелить. Сейчас многое решает щепотка «волшебства». Сотня существующих сервисов вылетает с рынка, когда один из них выделяется искусственным интеллектом с каким‑нибудь прогнозом или генерацией.

...

Разница в том, что 40 лет назад наука угрожала рабочим местам библиотекарей и телефонных операторов, а сегодня она режет аналитиков, переводчиков, дизайнеров и ассистентов. Программисты следующие в очереди. Конечно, они не все останутся без работы, но количество программистов, нужных на одного учёного, постоянно уменьшается.

И это будет продолжаться. Наука ближе к конечному потребителю, чем когда бы то ни было.

Больше букв тут:
https://habr.com/ru/articles/782740/

Прикол в том, что я вангую, что у товарища еще несколько разочарований на горизонте) (первопричины кризиса среднего возраста налицо, например))) 🤷‍♂️ Но если его текущие мысли кому-то хотя бы немного помогут - уже хорошо. Поскольку Human Parity в Code Generation будет достигнут в ближайшие 2-3 года (сначала в более узких областях, потом шире). А потом еще пара революций будет. И это многое поменяет в описываемом товарищем направлении.

Если кому-то текст мотивации добавит (чтобы в такой же ж... не оказаться), здорово!

#Habr

Господа!

Ниже текст Антона Обухова - одного из наших сильных студентов прошлых лет, который после университета попал в NVIDIA, был перевезен в Калифорнию, а потом загрустил от прода и в 32 года поступил в аспирантуру в Цюрихе (и дальше много раз повторял "эх если бы я раньше..."). Хотя он все равно безмерно крут и подавляющее большинство тоскующих от прода даже ШАД не могут затащить (поинтересуйтесь на досуге сколько там поступает и сколько заканчивает).

Ну а Антон сотоварищи недавно выпустили SOTA в depth estimation (мы темой тоже занимались и на ВМК я даже курс "Введение в 3D видео" читал, но сейчас тема на второй план отошла). Причем у них идеи, которые потенциально и к другим областям применимы (Антон докладывался на митапе нашей лаборатории и это обращение к тем, кому зашел его митап):

хотел попиарить нашу новую работу -- мы сделали лучший monocular depth estimation, назвали его Marigold, и вынесли им старичка MIDAS, которым до сих пор пользовались в Гугле и Дисней ресерч. Если кто помнит, год назад я делал ставку на диффузионки и файнтюнинг генеративных моделей (текст-в-картинки) для решения полезных задач, типа регрессии. Это именно то что мы и сделали, и это открывает на самом деле большие возможности. Хотя в нашей работе мы и показываем, как с этим подходом к регрессии решить задачу оценки карты глубины, ничто не мешает применять этот же подход для решения любых других задач. Важно лишь соблюсти ряд условий, которые прописаны в нашей статье, и SOTA (и возможно ещё одна статья на конференции) -- ваша!

🧑‍🎓 Сайт - оч залипательный!
📖 Статья
🧑🏻‍💻 Код
🔗 HuggingFace
🔗 Colab

Господа, из прикольных новостей этой недели.

Выступил очно на этой неделе с двумя докладами на открытом математическом семинаре в университете Иннополис в ОЧЕНЬ хорошей компании (Алексей Наумов - директор центра ИИ Вышки, а Александр Крайнов - директор по развитию ИИ Яндекса, и там еще очень интересные люди были).

Иннополис тоже впечатляет, в первую очередь темпами своего развития. Похож на Сколково, но с лучшим контролем, меньшим количеством перекосов и очень хорошими перспективами. У них новый молодой ректор (Александр Гасников), который массу правильных вещей стартует.

Запись первого дня (я в начале).

Запись второго дня (я в конце после Крайнова - на картинке старое расписание)

Многие слайды до этого показывались только на внутренних индустриальных конференциях) Есть несколько графиков, которые вообще показывались впервые)

Но в целом - известные вам вещи - обзор темы взлома метрик + измерение качества JPEG AI и суперрезов. У Крайнова очень обзорный рассказ про ИИ в Яндексе (и там есть разница между рассказом и реальностью, о которой рассказывают наши люди там, но в целом для введения хорошо))). У Наумова - хорошая математика. А Савватеев просто всегда великолепно жжет)

Господа!

Из наших текущих развлечений.

Довольно широко известны физические атаки на классификаторы и детекторы. Это когда вы надеваете футболку с хитрым принтом и пропадаете с детектора (или хитрый макияж наносите и сеть вас не узнает).

У нас была задача повторить физическую атаку для метрик. Это оказалось не так просто, как хотелось бы, но, наконец, получилось! Выше пример, когда вы добавляете специально обученный (во всех смыслах) стикер в кадр и no-reference метрика такая "Бо-о-оже, как же похорошела картинка!!!" 😉

В ближайшее время будем расширять спектр атак и, кстати, спектр защит от атак)

Stay tuned!)

Господа!

Анастасия выступила вчера на постерной секции.

Кто узнает человека, окруженного толпой у постеров - молодец!) (пишите имя в комментариях)))

Ну и конференция огромна - на фото выше виден зал, в котором докладчика видно только в бинокль подзорную трубу и большое количество экранов не сильно спасают положение)))

На последнем скриншоте: Настя написала автору метрики в приложении конференции про наш новый бенчмарк устойчивости метрик, а он оказывается следит за этой нашей работой и им интересно посотрудничать.

Работаем! )))

#pro_conferences

Господа!

Анастасия Анциферова - герой прошлого поста и наш сотрудник в ИИИ прислала сегодняшние фото с NeurIPS (A* AI, 7000 участников) сегодня из Нового Орлеана (юг США).

Думаю, подробности еще будут (конференция идет неделю).

#pro_conferences