Коллеги!

Вчера прошел первый дедлайн нашего челленджа, проводимого в рамках CVPR NTIRE. Проводят его два наших аспиранта и магистр.

В первый раз наш пропоузал зашел на CVPR, причем мы подали аж 6 пропоузалов. Но это CVPR! Кто не в курсе — одна из наиболее топовых конференций изначально по зрению, а сейчас по пачке смежных тем. И прошел только один. Будем набирать опыт и работать над success rate. 😁

Соревнование по сути только началось (первый этап), а у нас (будучи почищено от тестовых и странных) 45 участников, 22 сабмита (17 из них уникальных). Это ОЧЕНЬ круто! 🙂🙂🙂

На ECCV этой осенью, где мы проводили 3 челленджа, у нас было 29 участников в самом "слабом" и 31 в самом "сильном", т.е. разброс был небольшим. И это В ПОЛТОРА РАЗА МЕНЬШЕ, на итог, чем на ПЕРВОМ этапе (задолго до окончания) тут! 😲😲😲

Короче — CVPR сила!!! 💪💪💪 ECCV нервно курит в сторонке.

Кто не следил за темой: мы прокачались в бенчмарках (сделав 18 штук), а там чтобы хорошо сделать — нужно много нюансов учесть (в первую очередь в профессиональной оценке — как подготовить данные, какие метрики, какие меры против накруток, проверка на лики и т.п.). Это только кажется — "раз и сделал". А реально если вы "раз и сделаете", то огребете справедливой критики воз с горкой! Не увезти будет. 😉

НО! Бенчмарки сейчас стало принято делать с открытым датасетом, что во времена DL — маразм. Ибо бенчмарк теперь что-то показывает только при публикации. А потом его топ запомоивается какими-то странными "типа SOTA" методами, которые по какой-то странной никому не понятной причине не воспроизводятся на новых датасетах. Вот она чистая незамутненная наука! Мы сделали много бенчмарков на закрытых датасетах (которые работают долго), но люди (опять абсолютно никому непонятно почему!) не очень любят туда сабмиттиться. 🤷‍♂️😉

Выход сегодня — челленджи. На момент проведения датасет закрыт, а после ко всеобщему удовлетворению открывается. Тема хорошая, но чтобы попасть туда, нужно пройти конкурс. Зато в злачных местах и участников реально много. Туда и идем 😁

Короче! Занимаемся нашим давним очень интересным развлечением — измеряем и соревнуем, набирая опыт в челленджах со все большим и большим числом участников! Параллельно подсвечивая лучших и лучше понимания как в соревнованиях участвовать. ✌️

Кстати, челленджи очень любят компании (и понятно почему). И мы челленджи на деньги компаний делали и будем делать. 😉

Это самое начало истории! Подробности будут! 😁

Stay tuned! 😉

#pro_conferences