Лаборатория ВИР

🏆 OSMa-Bench++ — это расширение бенчмарка OSMa-Bench для оценки методов семантического картографирования в синтетических сценах для задач мобильной манипуляции. Сцены генерируются по текстовым описаниям, а те же описания затем используются как основной источник эталонных данных для оценки количества объектов и их взаимного расположения в тестовой сцене.

Ключевые идеи:
🔹 Автоматическая генерация разнообразных indoor-сцен: от комнат с базовой мебельной компоновкой до сценариев с небольшими манипулируемыми объектами на столах, полках и других поверхностях, где возможны перекрытия и сложные пространственные отношения.
🔹 Prompt-grounded VQA: использование исходного промпта как семантической спецификации сцены для проверки полноты построенного графа.
🔹 Подготовка сгенерированных сцен к запуску в OSMa-Bench: с нормализацией семантики, обработкой материалов, настройкой освещения и навигации.

Такой подход позволяет целенаправленно создавать сценарии, которые редко и несистемно встречаются в фиксированных датасетах, но критичны для задач манипуляции. Например, можно проверять, сохраняет ли карта не только наличие класса объектов, но и число его экземпляров, опорные поверхности, относительное расположение, вложенность и другие отношения, необходимые для дальнейшего планирования действий робота.

🤝 Команда: Регина Куркова (аспирант), Максим Попов (аспирант) и Сергей Колюбин
👨‍💻 Страница проекта
🎓Препринт
🗣 Где рассказали: ICRA 2026 Workshop “Open Challenges for Rigorous Robot Perception”

🏛 Другие проекты нашей лабы

Роботы на проводе 2 сезон на старт!
Как и обещали, пообщаемся с профессором РАН и Университета ИТМО, директором мегафакультета КТиУ, доктором технических наук Алексеем Алексеевичем Бобцовым 👨‍🎓
В повестке разговора:
🌟С чего начиналась робототехника в ИТМО
🧠Структура китайского и русского языков
🤖Перспективы ИИ в робототехнике
📐Математика в ИИ
📈Развитие систем управления
Подписывайся, чтобы не пропустить следующий выпуск😌

Подкаст в вк

Приближается одно из важнейших событий России и мира - Петербургский международный экономический форум 2026 (ПМЭФ).

6-го июня в "молодежный" день форума руководитель лаборатории ВИР, д.т.н. профессор Университета ИТМО Сергей Колюбин примет участие в экспертной дискуссии "Роботы+ИИ: чему и где учиться, чтобы создавать будущее?".

Участники из университетов и ведущих российский технологических компаний обсудят перспективы развития физического ИИ и подготовку специалистов для больших
формирующихся технологических рынков.

Старт в 12:00 павильон F, зона F, 2-й этаж, конференц-зал F21. Всех, кто будет на форуме, призываем не проходить мимо!
Описание мероприятия

⚡️Наш десант на ICRA 2026 - вчера стартовали лето и конференцию с докладов на воркшопах по мультимодальному пространственному интеллекту и очуствствлению роботов для работы в сложных средах. Узнаете архитектуру на экране?)

Впереди насыщенные 4 дня интеллектуального праздника. Закрывать конференцию будем тоже парочкой докладов от лабы. На связи!

Начинаем рассказ о серии наших работ, принятых на ICRA 2026, c RADIO-ViPE - той самой, которую мы недавно просили поддержать, и которая благодаря вашим голосам вошла в топ-3 в номинации "Paper of the Day" на Hugging Face.

🏆 RADIO-ViPE (Reduce All Domains Into One — Video Pose Engine) — это онлайн-система семантического SLAM, которая привносит понимание сцены с открытым словарем в динамические среды — напрямую из монокулярного RGB-видео.

Ключевые идеи:
🔹Использование агломеративной модели (это когда в одну модуль дистиллируют на основе метода учитель-ученик способности энкодеров, работающих по разным принципов) для тесного комплексирование (tightly-coupled fusion) разных способов представления информации об окружении.
🔹 Временно согласованные адаптивные робастные ядра (adaptive robust kernel) численной оптимизации, которые позволяют обеспечить лучшую ассоциацию данных внутри процедуры локализации. Работают на основе оценивания статичности/подвижности визуальных признаков и семантической информации.
🔹 Система с открытым исходным кодом, работающая в режиме онлайн по данным обычных цветных камер без датчиков глубины, не требуя калибровки (или априорного знания) параметров и инициализации положения камеры.

Другими словами, с помощью RADIO-ViPE можно не только строить системы локализации и семантической навигации для роботов, но и получать быстро и дешево обучающие и валидационные датасеты на основе видео со сторонних видеохостингов. Одно из крайне перспективных применений сейчас, потому что для воплощения интеллекта нужно много дата-топлива для обучения моделей.

🤝 Команда: Жаафар Махмуд, Заид Нассер (магистрант), Тианхао Ли (магистрант), Михаил Юманов (бакалавр), Максим Попов (аспирант) и Сергей Колюбин
👨‍💻 Страница проекта
🎓Препринт
🗣 Где расскажем

🏛 Другие проекты нашей лабы

Вы просили - мы сделали!
Открываем второй сезон нашего подкаста "Роботы на проводе"!
И в первом выпуске у нас в гостях доктор технических наук, профессор РАН и Университета ИТМО, директор мегафакультета КТиУ Университета ИТМО Алексей Алексеевич Бобцов.
Вместе с нашим бессменным ведущим, доктором технических наук, профессором Университета ИТМО и руководителем лаборатории "ВИР", Сергеем Алексеевичем Колюбиным обсудим:
🤖 Системы управления
🤝Китайский язык
📐Математику ИИ
🚀Советскую математическую школу
Отмечайте 6 июня красным днём календаря и подписывайтесь, чтобы ничего не пропустить!

Уже скоро, 1 июня в Вене стартует главная международная А* конференция по робототехнике IEEE ICRA 2026

Рады поделиться, что 5 работ нашей лаборатории были приняты и будут представлены очно аспирантами и магистрантами, работающими в лабе (среди соавторов, причем на ведущих ролях, есть и бакалавры), в формате устных докладов и постеров.

Фокус этой серии работ на интеллекте для очувствления (perception intelligence), а именно на понимании роботами и другими физическими агентами окружающего пространства и ориентации в нем с акцентом на устойчивую работу в сложных средах - в динамическом окружении, под водой, с изменяющимся освещением и без предварительной калибровки сенсоров:
- RADIO-ViPE: Online Tightly Coupled Multi-Modal Fusion for Open-Vocabulary Semantic SLAM in Dynamic Environments
- U-VINDO: Underwater Visual-Inertial Odometry Enhanced with Robot Dynamics Predictions Powered by Port-Hamiltonian Neural ODE Networks
- R5DGS: Semantic-Aware 4D Gaussian Splatting with Rigid Body Constraints for Efficient Dynamic Scene Reconstruction
- AgentGrounder: Zero-Shot 3D Visual Pointcloud Grounding using Multimodal Language Models
-OSMa-Bench++: Toward Open-Ended Benchmarking of Semantic Mapping for Manipulation with Prompt-Generated Synthetic Scenes

В ближайшие дни поделимся более подробным разбором и ссылками на репозитории и пре-принты по каждой из работ непосредственно от авторов. А по завершении конференции ждите отчёт с полей с анализом перспективных тем и наиболее ярких работ, представленных на конференции в этом году. Остаемся на связи и воплощаем интеллект! =)

🎓 Продолжаем рубрику с историями наших выпускников!

бакалавриат Робототехника и ИИ
магистратура Робототехника и ИИ

Сегодня своим опытом делится Иван Ненахов — выпускник 2022 года 👇

📍 Сейчас Иван работает разработчиком-исследователем в НПО Старлайн и занимается проектом автопилота для магистрального тягача.

В своей работе он отвечает за распознавание окружающего мира: работает с лидарами, камерами и GPS, разрабатывает высокопроизводительные программные модули обработки данных для систем автономного транспорта 🚛

💬 «Обучение в магистратуре в значительной степени сформировало меня как специалиста, позволило получить первый опыт работы как в практических проектах, так и научной деятельности.
Одной из важнейших особенностей была работа над проектами в международной лаборатории Воплощенного интеллекта и робототехники, где мне довелось поработать с гуманоидным роботом и различными коллаборативными манипуляторами, занимаясь задачами компьютерного зрения с применением глубокого обучения.
Также обучение на программе с практикой в лаборатории дали мне необходимые навыки для победы в олимпиаде “Я Профессионал” в треке Робототехника»

Спасибо Ивану за отзыв и желаем дальнейших успехов в сфере робототехники и автономного транспорта 🖤

Робототехника ИТМО в других соцсетях:
📱ВКонтакте
📲Макс

#РобототехникаИТМО #ФСУиР

Друзья!🕺💃 От нашей лаборатории разместили на HF daily papers очередной свежий открытый проект по одновременной локализации и картографированию в динамическом окружении😎: RADIO-ViPE: Online Tightly Coupled Multi-Modal Fusion for Open-Vocabulary Semantic SLAM in Dynamic Environments🤖. Заходите, изучайте и, пожалуйста, поддержите своим голосом🫶

🤖Финал Робошколы — done, и это было мощно!

На прошлой неделе в рамках образовательного форума Тебе решать! мы провели финал Робошколы — и это тот случай, когда реальность превзошла ожидания 🧨

К нам приехали 46 участников из разных городов России — сильные, заряженные и по-настоящему увлечённые робототехникой.
И вот они — наши победители (да-да, целых 12! 💪):

Усов Дмитрий
Ветров Максим
Дерябина Александра
Раносов Евгений
Давар Рафаил
Павлюк София
Зародов Владимир
Сыздыков Нургалым
Белоусова Александра
Акентьев Андрей
Лещенко Наталья
Маевская Яна

Отдельная благодарность нашему генеральному партнёру — СБЕР 💚
С такой поддержкой делать крутые образовательные проекты становится ещё приятнее.

И самое сладкое 🍒: все победители получают право поступить в магистратуру факультета Систем управления и робототехники ИТМО без экзаменов!

Спасибо всем участникам за энергию, идеи и драйв.
Это было круто. И это только начало 😉

Ждём вас снова — будет ещё интереснее!

Робототехника ИТМО в других соцсетях:
📱ВКонтакте
💥в Макс

#РобототехникаИТМО #ФСУиР