VideoLab & Self-Motivated Learning

Господа!

Ну и чтобы два раза не вставать) Наш аспирант Андрей Москаленко сейчас находится в Милане на ECCV 2024 (European Conference on Computer Vision - сама конференция А*, но мы на воркшопе), где представляет 3 наших челленджа (и, соответственно, три статьи) в рамках Workshop of Advances in Image Manipulation (ECCV AIM).

Выше вы можете видеть хорошо знакомый вам по лекциям шаблон слайдов лаборатории в декорациях ECCV). А также Андрея в патриотичной рубашке с надписью МГУ на входе на конференцию)

Также очень приятно, что Андрей пересекся там с другим бывшим студентом нашей лаборатории - Антоном Обуховым, который защитился и работает сейчас в университете в Цюрихе (в Цюрихе, кстати, даже проводятся периодически GML-party выпускниками нашей лаборатории, которых там немало))).

Челленджи этого года - новый для нас формат, но председатель оргкомитета ECCV AIM их высоко оценил, будем продолжать (сейчас задача войти в CVPR NTIRE, если кому-то эти буквы что-то говорят))).

Работаем! 😁😁😁

#pro_conferences

Господа!

Из текущего интересного, на выходных опять был в Питере на конференции VideoTech 2024 (это забавно - ездить в Питер каждую неделю))).

VideoTech - по сути единственная профессиональная конференция, посвященная стримингу видео в России. Но захватывает и смежные темы. Например, на этой конференции был доклад от Елены Альшиной (со-председателя комитета стандартизации JPEG AI) "Первый нейросетевой стандарт сжатия изображений JPEG AI: принципы разработки, эффективность сжатия и перспективы внедрения".

Поскольку были доклады от Кинопоиска, Окко, ИВИ, ВК.Видео, KION + были CDN, задачи поиска контента, видеозвонки, устройство стримов, техническое зрение и мобильные клиенты показа видео - было действительно прям хорошо по спектру.

У меня помимо доклада про наш ресеч метрик и проблем JPEG AI было много общения в кулуарах.

В частности очень интересная дискуссия была о том, какой уровень качества должен быть у онлайн кинотеатра и как его учитывать (был наброс в наш адрес, который пришлось отбивать))). Самая жесткая бизнес-модель снижения битрейта была - пока пользователи отписываться не начнут))) Просто и со вкусом. Мне в итоге удалось доказать ее стороннику, что это приведет к онлайн-кинотеатру "для бедных", ибо это полная аналогия (никого не хочу обить) Лады Калина - снижаем цену на компоненты до качества, которое еще покупают)))... Путь к потере рынка... А вот как сделать хорошо - намного более сложный и многогранный вопрос.

Крайне интересен был кулуарный рассказ о том, как было устроено технически вещание видео олимпийских игр (изнутри), причем по сравнению с предыдущими олимпиадами (особенно пекинской).

Наша группа курсов предлагает мне рассказать свой позавчерашний получасовой доклад на лекции. Думаю, сделаю это (с комментариями))). После доклада ко мне человек 30 подошло с вопросами) (в первый раз столько, при том, что это был четвертый доклад там). Надеюсь, и вам будет интересно)

See you soon!

#pro_conferences

Продолжение предыдущих 2 постов.

Также в конце прошлой недели вышло исследование Вышки по статистике аспирантуры.

Хорошая новость — (ну или "хорошая"), заметный рост числа аспирантов в последние два года. Но вообще я еще помню, как рос набор в аспирантуру во время второй чеченской и тут могут быть другие объяснения росту примерно на 25%. 🤷‍♂️😉

Гораздо интереснее второй график. Из него следует, что более, чем в 3 раза (!) упала доля молодых людей до 24 лет. И что-то подсказывает, что количество тех, кто не хочет в армию не сильно изменяется до 24 и после 24. И это ровно то, о чем речь шла в прошлом посте. И в позапрошлом. Т.е. люди уходят в индустрию, а потом возвращаются, пытаясь догнать образование. А как раз набор в индустрию сильно вырос в последние годы.

При этом в среднем получается догнать образование в аспирантуре не так хорошо, как хотелось бы (по оценке человека из индустрии). Ибо сложно обмануть нейрофизиологию, а Defining Decade оказывается позади.

Впрочем по-опыту каждый думает, что уж у него-то все будет по-другому)))

Кстати!

Если кто не согласен с чем-то в леммингах, или у вас друг не согласен, то все возражения — чрезвычайно интересны (возражения даже интереснее инсайтов))). Можно закинуть их сюда, в том числе в виде "спорил с другом, он говорит что..." 😉

На сегодня пока все! 😁

В продолжение прошлого поста

В конце прошлой недели был на корпоративном ИИ саммите в Питере (с докладом по нашим успехам). Как обычно, чуть не больше всего интересного было в общении в кулуарах. В частности был разговор с руководителем исследовательского подразделения, который спрашивал меня, что я думаю про нынешнюю тенденцию к позднему окончанию аспирантуры. Человек к ней относится довольно скептически, он считает молодых кандидатов намного более перспективными (и это в целом - правда!), но суровая реальность показывает нам, что народ созревает до аспирантуры позднее.

И еще забавно - человека интересовало, почему сейчас не так много народу сразу в аспирантуру идет. Он сам не пошел, но аспирантура в его годы сильно отличалась в худшую сторону от того, что сейчас. Доступность свежих статей, возможность работать и публиковаться на хорошем уровне сейчас неизмеримо выше. Сейчас он пошел был (ну и не он один, судя по статистике))). Но созревает народ позже.

(продолжение следует)))

Господа!

В прошлую среду прочитал в который уже раз леммингов

Очень сильно помогает, что расширенная (пусть не полная) версия теперь выложена, просто для желающих даю туда отсылки.

Часть, которую пришлось сильно сократить - про книгу "Важные годы", в оригинале "The Defining Decade: Why Your Twenties Matter — And How to Make the Most of Them Now". Defining Decade - определяющее десятилетие на мой вкус намного более точное название. Подавляющее большинство абсолютно НЕ ПРЕДСТАВЛЯЕТ, насколько СЛОЖНЕЕ будет учиться позднее и хотят на своем примере отменить нейрофизиологию.

В одной из версий у меня есть рассказ про нашего выпускника, которого захантила NVIDIA, релоцировала его в Кремниевую долину (мечта многих!), он уехал туда без девушки (а вот это ошибка, там соотношение парней к девушкам в диапазоне 25-30 лет чуть не 5:1), вернулся через несколько лет в Москву, женился (круто!), понял, что отстает, поступил в аспирантуру в Цюрихе в 32 года (жееесть!), чуть не умер на первый год аспирантуры, и дальше чуть опоздал в индустрию после ее окончания (начались hiring freeze). Как бы он хотел спрямить путь... И если бы такая история была одна... Сейчас с нами работает человек, недавно защитившийся в 34 года...

(продолжение следует!)

Всем привет!

Уже завтра состоится вводная лекция спецкурса «Методы обработки и сжатия медиаданных».
На ней вы узнаете:

• Кто такие лемминги и почему не стоит быть одним из них
• В чем смысл учебы
• Как правильно ставить цели
• Что такое мозг и как научиться его включать
• В чем отличия науки от индустрии
• Как найти свое призвание
• Что такое успех и как его достичь
• Как выглядит жизненный цикл программиста

Ждем всех завтра в 14:35 в аудитории П8 на ВМК

P.S.
Не забудьте зайти в чат курса, в дальнейшем все анонсы и задания будут публиковаться именно там

Господа!

И снова по свежим новостям на тему программистов)

Тут коллеги из Fudan University (того самого, где мы дружной делегацией лаборатории были этой весной, кстати, но в другой лаборатории) выпустили большой обзор на 38 страниц, где рассмотрели 106 статей LLM-агентов для программирования.

Область развивается настолько быстро, что любые крупные обзоры обречены на заметное отставание, безусловно. Но, учитывая молодость области, все равно крайне интересно! В общем они распарсили арХив, отобрав из списка в 10000+ статей, полученных по запросам, релевантные. Интересно, что многие статьи, включенные в обзор, еще не прошли рецензирование, но они пожертвовали этим в пользу уменьшения отставания обзора во времени (разумно).

Характерно, что обычно тема "заменят ли LLM программистов" обсуждается в популистском ключе и понятно почему - люди это читают. Часто любят сравнивать только один аспект — как LLM пишет код по запросу: как она функции (части функций) пишет, как она затаскивает олимпиадные задачи. Это уровень условно школьный, зато он понятен максимально широкой аудитории. Каждый вкатывающийся в IT физик прочел, все понял и залайкал))) 😉

У товарищей в статье все по-взрослому. Например, сейчас идет революция в статическом анализе кода (на русском про это можно почитать шикарные статьи в блоге PVS-studio на хабре). И они анализируют отдельно направление статических анализаторов, отдельно юнит-тесты, отдельно системное тестирование, отдельно поддержку и т.д. мелким шагом. 🙂🙂🙂

Отдельно анализируются бенчмарки, в том числе они рассматривают все этапы развития моего любимого SWE-bench за этот год. Еще раз чтобы четко - эти бенчмарки пока очень малы, как правило. Но как неизбежный первый этап - они необходимы и они однозначно забустят появление хороших решений в теме. Особенно, когда в них серьезно вкладываются компании размера Амазона и т.д. 😉

Те же статические анализаторы существуют уже 25 лет. Но то, как они улучшились с LLM буквально за последний год - это прям хорошо. Аналогичный прогресс и в других областях LLM-Based Agents for Software Engineering. И количество исследователей в теме выросло за последние два года сильно больше, чем на порядок. Так что основной прогресс еще впереди))) 👍

Ну из забавного свежего. Мой вчерашний пост по теме ехидно шикарно прокомментировал руководитель подразделения одной известной компании в плане, как негативно скажется ChatGPT программирование на скилах программистов завтрашнего дня. Это однозначно так! Скажется отрицательно очень сильно! Но не на всех)

Программисты завтрашнего дня разделятся на тех, кто будет делегировать агентам принятие решений (и оставит себе только слабеющий контроль) и тех, кто будет делегировать рутину, поскольку будет обладать достаточной квалификацией для понимания происходящего и решений самостоятельных.

Для второго нужно прокачиваться глубже, что намного сложнее. Но ровно таких людей мы разыскиваем. И небезуспешно!)

С интересом наблюдаем изменение этого мира. Продолжаем движение! 😁

#SWE_benchmarking

Всем привет!

Уже через неделю, 18 сентября в 14:35 состоится первая лекция спецкурса «‎Методы обработки и сжатия медиаданных»‎

На курсе вы узнаете:
• Как сжать любой файл в точку
• Почему шакалит JPEG
• Как работает новый стандарт JPEG AI
• Как улучшить качество с помощью SR (и что это такое)
• Как правильно оценивать качество видео
• Как взломать метрику оценки качества VMAF

Курс рекомендуется студентам второго и четвертого курса для распределения на кафедру ИИТ, в лабораторию Компьютерной графики и мультимедиа

Где: Второй учебный корпус, аудитория П-8
Когда: по средам в 14:35

Любые вопросы можно задавать в чате курса

Господа!

Наш очередной бенчмарк обзавелся статьей (ибо бенчмарк без статьи - цитаты на ветер))).

Путь был не простым, ибо статья уже была ПРИНЯТА, на другую европейскую конференцию, но (да здравствует политика в науке!!!) локальный организационный комитет написал, что несмотря на то, что международный программный комитет принял статью мы оргвзнос за нее не дадим вам заплатить, чтобы она в труды попала. А сейчас в Англии зашло. Вообще актуальное наблюдение - чем круче конференция, тем меньше политики. Интересно, почему так?)

В общем - поздравляю Евгения Богатырева и Ивана Молодецких!!! 🎉🎉🎉👏👏👏👍👍👍

Так держать и не останавливаться! 😁😁😁

#pro_conferences #our_successes

Господа!

Как вы знаете, я с большим интересом отслеживаю тему "революций" в программировании, которые заставляют менять специальность после 40 (ничего личного чисто статистика, про которую в разделе "Трагедия профессии программист" в леммингах подробнее говорю).

И даже пострадавшие на тему статьи постоянно пишут, но кто же такие статьи 38-летних читает в 20 лет??? 😉 Тут разбираю люто залайканную статью на хабре, которая утверждает, что программисты никогда не вымрут! Конечно же не вымрут!!! Это просто очередная революция, которая сметет "стариков", как было не раз. Тут я писал, как поменялись предложения о работе на сайте фриланса через год после выхода ChatGPT и еще несколько ссылок по теме. Вот тут я писал про OpenTalks.ai этого года, где я неожиданно оказался скептиком, поскольку специалисты в области делали прогнозы для программистов намного более радикальные, чем я. 😲😲😲

В ту же копилку. Я давно и с интересом слежу за SWE-bench - бенчмарком, составленным из реальных issues гитхаба, которые моделям предлагается исправить. Это реальные задачи из программистской практики, очень часто достаточно нетривиальные (иногда хватает короткого контекста, нужно "просто" найти правильное место, а в некоторых случаях контекст нужен очень большой, что резко повышает сложность решения).

У них совершенно очешуительный прогресс за 10 месяцев со старта бенчмарка. Они начали с единиц процентов меньше года назад. А свежий результат за конец августа выбивает 45%!!! Это совершенно феерично. Ну и, очевидно, прогресс на этом не остановится.

Интересно, что у них были проблемы в разметке (что неудивительно для работы такого замаха). К делу подключилась OpenAI и они помогли сделать датасет меньшего размера (меньше четверти исходного), но более "чистый". Выше на картинке его лидерборд. Видно, что Амазон включилась в гонку и что лучшая модель за конец августа прям рулит. Подробнее про новый лидерборд можно почитать тут: https://openai.com/index/introducing-swe-bench-verified/ В общем - OpenAI - тоже в деле, на кого ставки делать будем, а на OpenAI или Амазон?))) Амазону, вангую, будет непросто))) А ведь есть еще игроки (текущий лидер Gru.AI и так далее)!

Для вас это новости просто шикарные! ✌️

Во-первых, прогресс. Во-вторых, для вас, пишущих дипломы и делающие задания курсов в обнимку с ChatGPT применение всех этих новых инструментов будет новой игрушкой, освоение которой пройдет моментально. Трагедией это становится через 20 лет, когда к инструментам прошлого поколения привык, а новые изучаются с трудом. Что и происходит снова, и снова, и снова.

Впрочем, самые мудрые из вас прислушаются и выводы сделают уже сейчас (а такие есть и мне благодарности за леммингов, которые уже много лет читаются, прилетали уже не раз).

Как действовать более мудро я тоже говорил много раз)

Всем мудрости, короче, в нашем быстро прогрессирующем мире! 💪😉

#SWE_benchmarking

Господа!

Ваш покорный слуга записал часовой подкаст по нашим любимым темам) (институт ИИ пиарит нашу лабораторию, а я с удовольствием отдуваюсь).

В подкасте обсуждалось цифровое видео: сжатие, кодеки и искусственный интеллект. Дмитрий Ватолин поделился информацией о технологиях сжатия видеоданных, а также рассказал о применении искусственного интеллекта для улучшения качества видео и повышения эффективности сжатия.

0:00 - Введение
1:37 - О лаборатории
4:03 - Про сжатие видео
5:44 - Результаты работы
15:09 - Кодеки и ценность для компаний
17:39 - Революционные алгоритмы
19:41 - UX в лаборатории
22:35 - Глобальные цели компаний
27:17 - ИИ
44:54 - Нюансы в кино
49:09 - 3D - индустрия
59:46 - Завершение

Смотреть/слушать тут:
https://vk.com/video-226957987_456239051
начало они очень бодро сделали)

Господа!

Неделю назад мы опубликовали 3-ю часть ежегодного сравнения кодеков (единственного сравнения в мире, где кодеки активно предоставляются разработчиками): MSU Video Codecs Comparison 2023-2024Part 3: Hardware encoders

На скриншоте выше красочное описание результатов из блога компании ByteDance (Тикток, кто не в теме), которые сделали неплохой ASIC (чип с аппаратно зашитым кодером).

В тексте выше ошибка, кстати, мы делаем сравнения кодеков уже больше 20 лет (первое было в 2003). Но уже довольно давно перестали делать русскоязычную версию, увы, в России кодеки не разрабатывают (это очень дорогое удовольствие). При этом хорошо видно, что китайцы в область вкладываются, причем плотно и уже уделывают западные компании. Чрезвычайно интересный процесс, наблюдаемый в реальном времени!

Причем в лучших традициях публика видит сильно не все. Например, одна известная западная компания очень своеобразно (да здравствуют юристы) вела себя в этом году. Поэтому желательно иметь стальные... гм... нервы, чтобы со всеми договариваться (ибо как мы шутим - обычно более менее довольна только одна компания - победитель, и то не полностью, а остальные - недовольны и в худшем случае тестируют на нас методы нерыночного воздействия - чтобы мы лучше понимали, как у них все устроено 😉.

В общем - чую, надо писать дневники, у нас много материалов для увлекательных мемуаров, которые можно будет раскрыть через небольшое время)))

В общем от "влиятельного международного мероприятия" горячий привет китайцам, они красавцы и круто развивают тему, затыкая за пояс в инженерном плане "крупных технологических гигантов"! 👏👏👏

Господа!

На прошлой неделе в замечательном городе Лионе (юго-восток Франции) проходила конференция EUSIPCO-2024, куда ездил Даниил Константинов со статьей по состязательным атакам на безреференсные метрики качества изображений.

Интересно, что Даниил - студент Физтеха, а не МГУ, но заканчивал AI Masters и там взял тему нашу ВКР по состязательным атакам.

На прошлой неделе в среду я участвовал в закрытой конференции на тему "Доверенный ИИ" (как раз защиты, атаки и вот это вот все), которую проводило несколько российских компаний. И слышал очередные рассказы про то, как позицию с зарплатой 1 миллион рублей закрыть не могут. При этом если у вас в резюме фронтенд/бекенд и даже дата-аналитика, то на такую позицию вас даже на собеседование рассматривать не будут (так несправедлива жизнь). 🤷‍♂️

Ну и кто-то сидит на попе ровно и задумчиво прокрастинирует, а кто-то поступает в AI Masters, берет там ВКР, делает статью первым автором, едет в Лион и вот это вот совсем другое (чутка другой трек) 💪🙂👏👍🎉🏆

В общем - еще раз поздравляю Даниила! 🏆🤝🏆🤝🏆

Ну и еще раз оптом отвечаю на вопрос - как попасть к нам:
* Набор на 2 курсе (бакалавриат)
* Набор на 4 курсе (магистратура)
* Набор с AI Masters летом (любой возраст)
* Набор со школы в Сириусе (любой возраст, прием заявок заканчивается 6 сентября!)

Даже если вы закончили ВМК 3 года назад, но чувствуете в себе силы - дерзайте! 👍

Ближайшие годы в IT будет очень много изменений в связи с внедрением ИИ. Участвуйте в этом с вытесняющей (а не вытесняемой) стороны! 😉

#pro_conferences

Господа!

Ранее я писал про очень прикольную проектную смену в университете Сириус по доверенному ИИ, которая пройдет 7-18 октября и куда может поехать каждый желающий прокачаться и прошедший отбор! Дедлайн подачи там уже совсем близко - 6 сентября.

Часть ваших коллег уже подали заявки) В прошлый раз я писал про тему - атаку на вотермарки генеративных моделей - супер интересную тему.

Другая наша тема там:
Физическая атака на настоящую камеру идентификации лиц

Кто читает канал уже видели, что мы успешно атаковали такие камеры. Продолжаем это увлекательное занятие!)

Смысл простой. Есть камера с распознаванием лиц для контроля доступа (например, в служебное помещение - сейчас это модно и в компаниях такие часто ставят). Необходимо решить одну или обе задачи:

1) Сделать так, чтобы камера приняла вас за другого человека. Взломать камеру нужно с помощью физически реализуемого состязательного объекта, показываемого в камеру (например, с помощью показа специального qr-кода/узора/реалистичного патча с планшета, смартфона или смарт-часов). Будет предоставлен код бейзлайна для обучения патчей. У камеры регулируется confidence, поэтому тестировать патчи можно постепенно повышая confidence. Также будем рассматривать два сценария: когда мы знаем, у кого есть доступ в помещение (можно дополнительно к патчу поменять свой внешний вид, сделав себя более похожим на этого человека), и когда мы не знаем, у кого есть доступ.

2) "Сломать" распознавание в этой камере. Нужно путем показа разных патчей добиться отказа распознавания камерой человека (или людей), у которых до этого доступ был. Отличный результат, если нужно будет перезагрузить камеру, чтобы она начала работу (чего нам удавалось добиться с предыдущей камерой).

Новая камера специально для этого проекта уже куплена и мы уже ее вовсю мучаем! Пруф на фото! 😁

Не откладывайте подачу на последний день! Там нужна рекомендация (которую в том числе могу дать я, если вы на наши темы и вы мотивировано попросите), но в последнюю секунду я могу быть плотно занят!

Кому не слабо прокинуть мостик от теории состязательных атак к увлекательнейшей практике - ПОДАВАЙТЕСЬ СЕЙЧАС! 💪💪💪