VideoLab & Self-Motivated Learning

Коллеги!

Чтобы ни у кого не было ни малейшего сомнения, что Виктория не зря достойна такой поездки - видеопруф. Что мы видим? Виктория мило улыбается в камеру (которая должна по улыбке за 2 секунды либо пропускать, либо говорить нет) и камера впадает в ступор на 3 минуты. 😲🤷‍♂️ Кому, как не ей на семинаре про Artificial Intelligence Trustworthiness выступать? 😁

Видео смотреть на полном экране, чтобы было видно часы наверху кадра. Первая часть ускорена в 10 раз.

Ненадежный он, этот ваш AI, мы проверили! ☺️☺️☺️ (А не проверить ли "оплату улыбкой" Сбера?) 🙊

Результат получен побочно "на сдачу" от взлома метрик 🤷‍♂️😉 Удавалось довести систему до инфаркта перезагрузки (т.е. переставала пропускать совсем), но пока нестабильно.

Продолжаем доводить (результат)! 🤣😂🤣 В этом году у нас все больше и больше людей будут заниматься не атаками, а защитами. Более скучная и сложная, но более важная область. Работаем! 💪

Из текущего интересного!

Вчера Виктория Леоненкова выступила на семинаре по надежному ИИ WAIT (Workshop on Artificial Intelligence Trustworthiness), который прошел в рамках конференции AINL (Artificial Intelligence and Natural Language). Все проходит в Алматы (бывшей столице Казахстана), сайт конференции на английском и Виктория приготовила доклад на английском, а потом организаторы посмотрели на участников и говорят такие - а давайте вы по-русски расскажете 🤷‍♂️😁

А чтобы совсем не страшно было первый доклад за рубежом делать Викторию прилетели морально поддержать еще ее куратор Екатерина и руководитель группы Анастасия. С такой поддержкой никакие вопросы не страшны! Воооот! 😂🤣😂

Когда-то у нас доходило до 20 зарубежных человеко-поездок в год на конференции и мероприятия только в видеогруппе! Планируем в этом году переплюнуть предыдущие результаты и по количеству, и по качеству 😁 (уже 8 зарубежных человеко-поездок есть в этом, и это еще визу на AAAI не успели получить!) На фото девушки на фоне заснеженных вершин 👍😉

#pro_conferences

Коллеги!

Кто слушал/смотрел "леммингов" знает, как я топлю за способность перемещаться между параллельными мирами (на примере индустрии и академии).

Свежий пример воплощения этого навыка в жизнь от выпускника ВМК:

Также хочу поблагодарить Вас за то понимание про переход между мирами, которое в итоге буквально воплотилось в моей жизни: я ушёл из [крупной компании] и буду отвечать за коммуникацию с академией в [другой крупной компании] — Вы полностью правы в том, что способность к переходу между мирами это редкая способность, которая очень высоко ценится в обоих мирах, ещё раз благодарю Вас

Очень надеюсь, что среди вас будет большой процент легко переходящих между параллельными мирами и извлекающих из этого максимальную пользу (и для себя, и для этих миров). 😉

Господа!

Хотел написать про китайцев, но тут подоспели первые предварительные результаты нашего будущего MSU Neural Image Compression Benchmark и они так интересны, что не удержусь)

На графике по VMAF все ключевые стандарты image compression:
* JPEG - понятно
* JPEG 2000 и JPEG XL - так и не взлетевшие толком улучшения
* HEIF - сжатия кейфреймов от HEVC, ставший с 2017 базовым на iPhone, поддержанный на андроиде и т.д.
* AVIF - толкаемая AOM альтернатива HEIF
* VVC - никем пока не используемое для картинок, но сильное сжатие кейфреймов из VVC
* JPEG AI - явно восходящая звезда!

Другие названия - нейросетевые методы (исходники есть на гитхабе)

Какие мысли:

* JPEG AI порвал VVC, как тузик грелку. Более чем двукратное преимущество перед HEIF - это очень круто.

* Надо понимать, что это ПЕРВАЯ реализация JPEG AI. Скоро появятся реализации, которые будут сжимать лучше. Так происходит всегда (появляются новые идеи, алгоритмы и т.п.). Даже на этом графике видно, как HV сжимает лучше libheif (при том, что это один стандарт).

* Более того, буквально на днях появилась jpegli от гугла, которая заметно улучшила JPEG, что считалось невозможным. Мы с ней разбираемся сейчас, что точно они имеют ввиду под "we are introducing Jpegli, an advanced JPEG coding library that maintains high backward compatibility while offering enhanced capabilities and a 35% compression ratio improvement". Ибо высокая обратная совместимость не означает полной совместимости, очевидно).

В общем - c JPEG AI готовится революция! (двукратное-трехкратное ускорение загрузки многих вебстраниц etc)

К слову - ключевые разработчики JPEG AI - Huawei и ByteDance. А лучший результат (среди 24 участников), взятый за основу при разработке стандарта был получен московским Huawei. Так что это пост про китайцев (и московские корни) 😂

Ну а мы работаем над one pixel attack на JPEG AI (развлекаться, так развлекаться!!!)))) и надеемся потянуть намного более сложную тему защит JPEG AI от разного рода состязательных атак. Ибо они - плата за прогресс.

Работаем! )

Господа!

У нас настолько много интересного, что не успеваю не только писать сюда, но и высыпаться. Про большую поездку в Китай, в которой мы были на прошлой неделе (вчетвером от лаборатории!), надеюсь, еще напишу.

А вчера мы втроем были в AIRI (исследовательский институт AI, созданный Сбером) с докладом по проблемам JPEG AI (который примут вот-вот) с рассказом об артефактах разных версий драфта JPEG AI и первых результатах взлома, полученных Егором Ковалевым (2 курс!!!) буквально за последний месяц.

Интересно, что темой (тоже недавно) занимается профессор Сколтеха Anh-Huy Phan. Наш доклад был первым и дальше он в начале своего сказал, что ему придется много слайдов пропускать, поскольку мы уже это сказали-показали и мы очень хорошо ушли вперед.

Егор в AIRI также был со своим (звездным) куратором Анастасией Анциферовой (руководящей самой крупной и успешной по публикациям группой в лаборатории). В таком кураторе есть и плюсы, и минусы (в первую очередь занятость Насти, означающая вынужденно большую самостоятельность Егора), но он очень неплохо справляется! 🙂

У них на днях было празднование 3-летия института. У Насти, если приглядеться - прикольная надпись на звездошарике! 😎

Думаю, к концу года будут оч хорошие и интересные результаты - надеюсь, не только доломаем релиз JPEG AI, но и защитим, что намного сложнее 👨‍🎓🤓😉

Продолжаем работу! 😁

Коллеги!

Вспоминая Дженсена Хуанга. Я обещал рассказать про общение на кулуарной OpenTalks.AI, где много внимания было посвящено LLM. Было очень интересно слушать NLP специалистов, которые опять (опять!) недооценили прогресс LLM, "отбирающей рынок" у более "старых" сеток. От чего они грустят 🤷‍♂️ И прогресс не остановится! 🙂

В программировании видятся следующие тренды:

* AI ассистенты начнут годно тестировать и отлаживать код. Для написания тестов их уже используют, но окно контекста, очевидно, пока мало для сложных систем и это сильно сдерживает. Буквально в течении 2-3 лет ситуация сильно поменяется.

* AI ассистенты начнут разбираться в библиотеках и API доступных систем намного лучше кожаных. Текущий Copilot по сути провоцирует "изобретение велосипедов", поскольку в коде бесконечных велосипедов он наиболее эффективен. Переход на следующий уровень в постановке задач и работа на уровне не следующей строчки, а решения (на основе имеющихся с их сравнением) кардинально забустит скорость работы. Можно прогнозировать увеличение популярности open sourсe библиотек, автоматизации багрепортов (и багфиксов) в них. Учитывая, сколько проблем, например, в ffmpeg - это будет революция.

* Программисты превратятся в тимлидов, ставящих задачи AI ассистентам и принимающих результат. Это еще кратно забустит скорость. Компаниям будет выгодно оплачивать AI ассистентов (недешевых!), увольняя программистов.

Самый кардинальный товарищ, толкавший эти идеи, вангует рост производительности в 10 раз, соответственно 3/4 текущих программистов прекратят программировать к 2030. Причем он руководит подразделением, где больше 40 программистов, они за последний год успешно внедрили AutoML (тыщ, тыщ, тыщ) и с его слов получили мощный буст в скорости работы ("вкалывают роботы"🤖).

Я неожиданно оказался в роли скептика 😲😉

Также важна будет тема понимания (сложных алгоритмов), ибо соревнование в знании выиграть будет невозможно.

В любом случае вы предупреждены, а значит готовы к этой революции, правда? 💪

#winter_is_coming

Господа!

В институте ИИ МГУ существуют ежегодные отчеты, которые оценивает внешний экспертный совет. Не могу не поделиться свежей новостью - наша лаборатория по итогам оценки ежегодных отчетов второй год подряд была признана лучшей лабораторией института! 💃💃💃💃💃💃💃🎉🎉🎉🎉🎉🎉

* Больше всего, конечно, повлияли А* статьи от группы метрик о которых я тут писал! Они красавцы (и красавицы)))! 💪

* Также круто, что мы довели 10 наших бенчмарков до первых мест на paperwithcode. Лабораторий с таким количеством бенчмарков в топе на PwC в мире немного. Это отличный вклад в мировой бенчмаркинг научных достижений. 🙂

Планы на этот год по статьям у нас очень хорошие! Продолжаем работу в данном направлении! 🥳🥳🥳🏆🏆🏆🥇🥇🥇

#our_successes@vgcourse

Господа!

У нас опять хорошие новости)

Михаил Воронин (на фото выше, 1 курс магистратуры) в конце прошлой недели слетал в Китай, там доложился и взял Best Presentation Award в своей секции! 👏👏👏 Пруф приложен.

Так что вы не смотрите, что на фото вид получился чутка испуганный. Еще неизвестно, какой у вас будет вид, если вас в одиночку в Китай послать 😉 И вообще! Первый раз доклад на английском всем страшно делать. А вот сделать его так, чтобы Best Presentation дали - это почему-то не у всех получается! 👍👍👍

В общем - сделал и заодно Китай (в первую очередь Шанхай) посмотрел. Электромобили на улицах, поезда на магнитной подушке, очень прикольное динамическое светодиодное освещение зданий и вот это вот все)

С чем Михаила и поздравляем! 🎉🏆🥇🎉🏆🥇

Ну и чтобы 2 раза не вставать. В конце недели в Канаде была очередная AAAI, куда у нас тоже статья зашла. Визу сделать не успели, ее за нас рассказали. AAAI, это на секундочку A*.

Продолжаем работу! )

#our_successes@vgcourse

Господа!

Я думал на прошлый пост про супер залайканную статью на Хабре (о том, что все эти прогнозы что ИИ отберет у программистов работу - фигня) будут комментарии, но никто не написал! 😉

А тем временем ситуация продолжает развиваться. Позавчера твит завирусился (7.7 миллиона просмотров) в котором CEO NVIDIA говорит - не отдавайте детей на учиться на программистов, мы у них работу отберем! 😲 Естественно у кучи людей опять бомбануло) 🤷‍♂️

Неплохой пост выкатил tomshardware, где в общем-то довольно обтекаемо высказался (ибо история изучения прогнозов учит, что часть смелых прогнозов не просто сбывались, а с большим перекрытием самых смелых ожиданий и компьютерная история знает таких немало), но с хорошими ссылками.

В частности на bloomberry, где выложена интересная статистика анализа изменения предложений по работе на Upwork за год после выхода ChatGPT.

Предложения работы для технических писателей упали на 30% (это дофига!), на перевод упали почти на 20%.

Можно было бы сказать - смотрите, смотрите, зато редактирование видео почти на 40% выросло! (все ушли в Тикток/YouTube))) Но есть одно маленькое НО - цена работ на это самое редактирование видео упала на 15%. Далее вспоминаем свежую Sora и строим неутешительный прогноз на область где-то года через два.

Ну и представьте, что вы такой переводчик, получили высшее образование по теме лет 15 назад, работа вам нравится, но вы много заказов получаете не от постоянных клиентов, а с таких сервисов. И тут рынок начал падать по цене на 20%. Ваши чувства? (долбанные компьютерщики!) CEO NVIDIA утверждает, что с программистами будет то же самое на горизонте 15 лет.

Ведь он не может быть прав, правда?

На самом деле программирование (особенно сложных алгоритмов) никуда не денется, но то, что рынок сильно поменяется - это 100%.

Рекомендую графики поизучать!

(Говорил я вам - на начальника учитесь 😂🤣😂)

#winter_is_coming

Господа!

Тут на Хабре в конце января была публикация Программисты всё вымирают и вымирают, которую неистово залайкали до 9 места в топе года https://habr.com/ru/articles/top/yearly/ (т.е. за год было всего 8 статей, которые залайкали сильнее). А миллионы леммингов не могут ошибаться! 😉

Вчера на лекции спрашивали, какая математика была бы полезна программисту. Мне почему-то кажется математическая логика точно была бы весьма полезна... и не только программисту 😁

Итак, логика автора статьи:

* Когда изобретали Fortran и Cobol, целью было в том числе избавление от программистов. Не получилось! Йеее!💃

* Когда Индия и Китай наладили массовое обучение программированию, нас пугали, что индийские и китайские программисты всех заменят. Не получилось! Йеее! 💃

* Нас пугали, что ИИ и роботы заменят человека. Не получилось! Вах! 💃

Логика автора железна:

я всё это уже видел много раз. И все эти страшилки повторяются в разных вариациях из года в год. .... Тот, кто знает историю, знает и будущее. И, как мне кажется, я историю немного знаю, поэтому сижу ровно и не кашляю.

Что не так в его строгой математической логике? 🤔

Можете написать в комментариях? ❓

Может он полностью прав?! Ведь он железно доказал, что можно сесть на попу ровно-ровно и получить удовольствие? 😁

Подсказки: 😉

* А что если взять другие примеры из той же истории? Их конечно же нет, не правда ли? 😉

* Очень полезно посчитать увеличения числа компьютеров с 60-х (когда их были десятки НА СТРАНУ) и рост числа программируемых девайсов сейчас. Да, холодильники, телевизоры, пылесосы, часы продолжают стремительно умнеть и количество программируемых девайсов на человека растет, но предел насыщения уже просматривается. У финансистов есть шутка "Рынки всегда растут" (с). Да-да!) ВСЕ рынки растут ВЕЧНО, а инструменты программирования НИКОГДА не изменятся 😂🤣😂

Напишите в комментариях свое мнение! )

А вообще шикарная статья!!! Очень полезная! Чем больше будет таких статей, тем меньше будет конкуренции у тех, кто и другие примеры из истории знает!)

#education_now

Господа, из интересного. Андрей Карпаты (один из самых известных лекторов в ИИ, ранее директор Тесла по ИИ и сотрудник Open AI) написал тут недавно твит, чуть длиннее 144 символов и с 1.5 миллионами просмотров за 3,5 дня 😉, где указал в том числе (перевод гугловый, выделение мое):

На YouTube/TikTok и т. д. есть много видеороликов, которые создают видимость образования, но если присмотреться, то на самом деле это просто развлечение. Это очень удобно для всех участников: зрителям нравится думать, что они учатся (но на самом деле они просто развлекаются). Людям, создающим этот контент, он также нравится, потому что у развлечения гораздо большая аудитория, известность и доходы. Но что касается обучения, то это ловушка. Этот контент находится на эпсилон расстоянии от просмотра «Девичника». Это похоже на перекус «Садовыми овощными соломками», когда кажется, что вы едите полезные овощи, пока не посмотрите на ингредиенты.

Обучение не должно приносить удовольствие. Это не обязательно должно быть активно или весело, но основным чувством должно быть усилие. Это должно быть не столько похоже на «10-минутную тренировку для всего тела» от местного создателя цифровых медиа, сколько больше похоже на серьезное занятие в тренажерном зале. Вам нужен мысленный эквивалент потоотделения. Дело не в том, что быстрый метод ничего не делает, просто он совершенно неоптимален, если вы действительно хотите учиться.

Я считаю полезным заранее явно заявить о своем намерении как о четкой бинарной переменной в вашем уме. Если вы потребляете контент: вы пытаетесь развлечься или пытаетесь учиться? А если вы создаете контент: вы пытаетесь развлечь или научить? В каждом случае вы пойдете по разному пути. Попытки поиска чего-то промежуточного фактически сводятся к нулю.

Так что для тех, кто действительно хочет учиться. Если вы не пытаетесь изучить что-то узкое и конкретное, закройте эти вкладки быстрыми сообщениями в блоге. Закройте вкладки «Изучите XYZ за 10 минут». Подумайте о альтернативных издержках перекуса и поиска еды - учебников, документов, документов, руководств, длинных форм. Выделите 4-часовое окно. Не просто читайте, делайте заметки, перечитывайте, перефразируйте, обрабатывайте, манипулируйте, учитесь.

А тем, кто действительно пытается обучать, рассмотрите возможность написания/записи длинных форм, предназначенных для того, чтобы кто-то «вспотел», особенно в современную эпоху, когда количество важнее качества. Устройте кому-нибудь настоящую тренировку. Это то, к чему я стремлюсь и в своей образовательной работе. Моя аудитория уменьшится. Тем, кто останется, это может даже не понравиться. Но, по крайней мере, мы чему-то научимся.

Со своей стороны горячо подтверждаю. Уже несколько лет наблюдаю сокращение и процента, и количества людей, готовы идти глубоко. Точнее - на словах их количество даже растет))), а вот на деле... очень часто прокрастинация или желание заработать больше сегодня перевешивает. При том, что завтра у человека не будет хорошей формы идти на самом деле глубоко (на прошлой неделе общался с человеком, защитившим кандидатскую диссертацию в 34 - ему было сложно).

Понятно, что в этом есть плюсы (для тех, кто готов "потеть"), поскольку конкуренция по мере его продвижения заметно сокращается.

Но мы сейчас идем, например, в тот же Иннополис именно за людьми, готовыми идти глубже.

Всем веб-программистам посвящается 😉

#education_now

Всем привет уже завтра начнется спецкурс «Интеллектуальные методы обработки видео».

На первой лекции мы расскажем о нашей лаборатории, а также наши студенты проведут экскурс по своему исследовательскому пути в ней

Ждем всех желающих в 14:35 в аудитории 609

P.s. на гифке изображен четырехмерный кадр вычислительного видео одного из заданий курса

Господа!

На день науки в России AIRI объявил флешмоб о написании своих первых статей, в котором поучаствовали наша сотрудница Настя Анциферова (https://vk.com/@keep_talking-istoriya-moei-pervoi-nauchnoi-publikacii-airivdohnovlyaet) и студентка Катя Шумицкая (https://m.vk.com/@sh.katya2001-istoriya-moei-pervoi-nauchnoi-stati)

Очень рекомендую почитать, особенно текст Насти!

Из эпичного описания ее первой статьи очень хорошо видно, сколько трудностей потребовалось преодолеть, чтобы получить реально годные интересные и полезные результаты! (и становится понятно, почему у Насти получается затаскивать А* публикации сейчас)))

У Кати описание менее эпично, но старт у нее идет по более крутой траектории! ) Что оч круто!

Вообще меня очень радует все это видеть. Я свою первую статью писал во времена, когда интернет был слаб и даже просто доступ к статьям на английском представлял целую историю (большинство статей сканировал в библиотеке с западных научных журналов и приносил мне мой научный Баяковский Юрий Матвеевич). Сейчас же мы считаем нормальным Scopus публикацию у Бакалавра и A*/Q1 у магистра. И у нас у многих получается! (выше много примеров).

Александр Крайнов (директор по развитии ИИ в Яндексе) рассказывал в Иннополисе в декабре прошлого года, как они трекают всех авторов А* публикаций из России.

Надеюсь среди вас будет много тех, кого будут трекать компании (и меньше тех, кто будет долго и мучительно ходить по интервью). И не только в 25, но и в 45, когда Human Parity в Code Generation давно будет достигнута и ИИ-агенты сильно перекроят этот рынок! Все в ваших руках!