Лаборатория ВИР

Сегодня в Москве и онлайн проходит конференция о современном образовании и технологиях YaC/e, организатор - Яндекс.

В 14:00 на главной сцене пройдет
сессия "В разном темпе: как синхронизировать бизнес, науку и образование в Physical AI", в которой примет участие руководитель лаборатории ВИР Колюбин Сергей Алексеевич.
Посмотреть, в том числе в записи, можно здесь: https://yace.yandex.ru/

Подключайтесь, будет интересно

Сотрудник ИТМО Сергей Колюбин стал лауреатом премии Yandex ML Prize 2026! 🤩

Награду присудили в номинации «Руководители образовательных программ» 🏆

В ИТМО Сергей занимает должность заместителя директора мегафакультета компьютерных технологий и управления. Под его руководством классическая магистратура по робототехнике трансформировалась в программу по физическому ИИ. Также Сергей руководит международной лабораторией «Воплощенный интеллект и робототехника» — здесь создают системы, которые дают роботу зрение и способность действовать без помощи оператора.

Поздравляем Сергея и желаем ему и его команде дальнейших успехов! 💙

А подробнее о премии и о том, какое развитие ждет робототехнику в ИТМО, читайте на портале 👈

Фото предоставлено организаторами премии.

#новости

😵 Парковка ИТМО

В эти минуты проходит конференция ECCV 2026 (Core A*)🧠, на которой представлены 3 работы из нашей лаборатории🤖:

FastR-4DGS: Accelerated Spatio-Temporal Gaussian Rendering via Kinematic and Semantic Priors
📍OpenSUN3D Workshop

QUORUM: Multi-View Feature Consensus for Open-Vocabulary SLAM in Dynamic Scenes
📍NeuSLAM Workshop

Obj3R: Object-Level 3D Mapping via Multi-Cue Data Association in Dynamic Scenes
📍NeuSLAM Workshop

Делимся с вами постерами, которые представляют наши работы на воркшопах💼

Проекты с General Motors и NASA, работа в Норвегии и собственная научная группа в ИТМО 🤨

Это не сценарий фильма, а настоящая история профессора ИТМО Сергея Колюбина. Сейчас он руководит лабораторией «Воплощенного интеллекта и робототехники», где работает около 30 человек: от бакалавров до аспирантов ИТМО.

Основная цель исследователей — научить роботов понимать, что они видят, ориентироваться в пространстве и выполнять команды, подаваемые на естественном языке. За разработками к ученым обращаются крупные заказчики, а исследования команда представляет на ведущих мировых конференциях по ИИ уровня A*.

Мы поговорили с Сергеем и узнали, над какими проектами работают в лаборатории сейчас и как туда попасть.

Все ответы здесь 👈

#интервью #поступлениевИТМО

😵 Парковка ИТМО

Подоспели отличные новости😇

Три работы нашей лабы были приняты на конференцию ECCV 2026 - еще А* в копилку🚀
Исследования развивают результаты по пространственному интеллекту, представленные в июне на ICRA 2026🏆 и мы обязательно расскажем о них чуть позже🤝

А пока подписывайся, чтобы ничего не пропустить👨‍💻

Инженеры лаборатории ВИР за работой. А как проходят ваши трудовые будни в августе?


Фото: Дмитрий Григорьев

Очередное видео с разборами работ с ICRA 2026🇦🇹
В этот раз наш магистрант👨‍🎓, автор работы AgentGrounder👨‍💻, непосредственный участник ICRA 2026🌐 Хюинь Тан Куонг расскажет о фреймворке Khronos для задачи SLAM🧠.

К сожалению, начало видео было утеряно, поэтому снабжаем пост небольшим вступительным словом от рассказчика:
"In this video, we break down Khronos—a framework tackling one of the trickiest challenges in robotics: Spatio-Temporal SLAM.

Robots operating in human spaces constantly face two types of environmental shifts:

Short-term dynamics: Real-time movement like pedestrians passing by.

Long-term changes: "Semi-static" shifts like relocated furniture when no one is watching.

Most current systems struggle to bridge this gap—they either ignore dynamic data or fail to track long-term evolution.

Khronos changes that. By constructing a real-time 4D spatio-temporal map and leveraging "object fragments" to separate sensor noise from true environmental changes, it allows robots not only to navigate safely, but to literally "travel back in time" and query any object’s past state."

Приятного просмотра👀

Публикуем очередную запись семинара лаборатории👀
На этот раз наш пока ещё студент👨‍🎓, участник ICRA 2026🌐, автор работы R5DGS👨‍💻, Денис Гридусов расскажет подробнее и простыми словами о ней🧠
⛺️R5DGS - это фреймворк четырехмерной реконструкции динамических сцен. Всех, кого интересует эта тематика или хочется вникнуть во что-то новое и крутое, приглашаем к просмотру💻

Было много анонсов и вот наконец-то на подкасте "Роботы на проводе"🎙поговорим с Сергеем Загоруйко, PhD📐, ML-инженером до того, как это стало мейнстримом👨🏻‍💻, ведущим научным сотрудником🤓, ITMO Fellow👨‍🎓 о:
🥇международной карьере и инженерах, смело срезающих углы
👀 DETR
📈 вдохновляющем и грустном в современной науке
✍️ перспективных задачах в робототехнике и ИИ
🤠 чему стоит учиться, чтобы быть незаменимым

Если не хотите скачивать, смотрите тут

Вот и подоспела следующая запись семинара с разбором интересных работ с конференции ICRA🤖

Наш аспирант💼, получатель множества именных и не только стипендий🧠, непосредственный участник ICRA 2026🇦🇹 и автор работ R5DGS, AgentGrounder и OSMa-Bench++, Максим Попов👨🏻‍🎓 представит разбор:
🔹VGGT-Long: Chunk it, Loop it, Align it, Pushing VGGT's Limits on Kilometer-scale Long RGB Sequences
🔹Y-MAP-Net: Real-time depth, normals, segmentation, multi-label captioning and 2D human pose in RGB images
🔹Search3D: Hierarchical Open-Vocabulary 3D Segmentation
🔹Open-Vocabulary Online Semantic Mapping for SLAM

Если интересуетесь задачами детекции сегментации и SLAM, рекомендуем к просмотру👨🏻‍💻👩🏼‍💻
Осторожно, английский язык👀

На старт! Внимание! Публикуем первую запись семинара с разбором интересных работ с конференции ICRA🚀

После небольшого приветственного слова руководителя лаборатории ВИР, д.т.н., профессора ИТМО Колюбина Сергея Алексеевича🧠 наша гордость и по совместительству аспирантка Регина Куркова👩‍🎓 непосредственный участник конференции ICRA 2026👑 и автор работы OSMa-Bench++🤓 представит разбор:
Search 3D: Hierarchical Open-Vocabulary 3D Segmentation
Describe Anything Anywhere At Any Moment

Обязательно к просмотру тем, кто интересуется техническим зрением, SLAM и применением ИИ в этих областях👀✍🏻

«Пошел на практику... и как-то остался»

Иногда именно так начинается карьера мечты🌟
История нашего выпускника Ильи Сеньковски — отличное тому подтверждение.
На втором курсе Илья пришел на практику в ЦНИИ РТК вместе с другом. Думал получить опыт, а получил... работу 🌟

Сначала — студенческое конструкторско-технологическое бюро, а затем — центр экстремальной робототехники, где сегодня он работает инженером-конструктором 1 категории.
И теперь вместо скучной рутины — роботы для космоса, медицины, глубоководных исследований и других экстремальных задач.

Сам Илья говорит, что многое началось именно на факультете: преподаватели, которые умели увлечь своим предметом, собственная лаборатория, реальные инженерные проекты и возможность постоянно что-то собирать, испытывать и совершенствовать.

После бакалавриата по направлению Мехатроника и робототехника он поступил в магистратуру Робототехника и искусственный интеллект — и ни разу не пожалел. Сегодня знания в области ИИ, технического зрения, электроники и программирования помогают ему руководить сложными инженерными проектами и говорить с разработчиками буквально на одном языке

🌟 Мораль истории простая: иногда один шаг на практику может привести к работе с роботами, которые отправятся туда, где человеку находиться слишком опасно. Так что не откладывайте возможности «на потом» 🌟 Именно ваша история успеха начинается прямо сейчас.

Ждем вас на факультете Систем управления и робототехники ИТМО

Робототехника ИТМО в других соцсетях:
📱 ВКонтакте
📲 Макс

🎙️Новый выпуск подкаста «Роботы на проводе» уже совсем скоро!

У нас в гостях — Сергей Загоруйко, PhD, ведущий научный сотрудник факультета систем управления и робототехники ИТМО и инженер-исследователь в области искусственного интеллекта с опытом работы в ведущих мировых компаниях.
Сергей присоединился к ИТМО благодаря программе ITMO Fellowship, которая помогает привлекать в университет ученых мирового уровня для работы над передовыми исследованиями.

О чем поговорим?
🌟 Как строится международная карьера инженера, и почему иногда важно «смело срезать углы»
🌟 Что сегодня вдохновляет в науке, а что, наоборот, заставляет задуматься
🌟 Какие задачи в робототехнике и ИИ станут самыми востребованными в ближайшие годы
🌟 И главное — чему стоит учиться уже сейчас, чтобы оставаться незаменимым специалистом

Обещаем интересный разговор без сложных терминов (может быть совсем чуть-чуть), но с большим количеством инсайтов и личных историй.

🔔Подписывайтесь на наш канал и включайте уведомления — этот выпуск точно не захочется пропустить!

Вчера собрались в неформальной обстановке и провели семинар лаборатории, где обсудили конференцию ICRA🤖 Участники конференции от нашей лаборатории представили наиболее интересные работы и подробно их разобрали✍🏻 Глубоко, как мы это умеем😎
Получилось хорошо, поэтому в ближайшее время поделимся записью этого мероприятия с вами🤝 Подписывайтесь, чтобы ничего не пропустить👀
А чтобы скоротать ожидания, можно освежить в памяти, какие работы сотрудники лаборатории ВИР представили на конференции ICRA:
🔸RADIO-ViPE
🔸OSMa-Bench++
🔸AgentGrounder
🔸R5DGS

Продолжаем записывать второй сезон подкаста "Роботы на проводе" 🤖 В студии очередной интереснейший гость 😎 с многолетним опытом работы с ведущими мировыми учёными в области ИИ и технического зрения📸 Спойлер: он присоединился к образовательной команде ИТМО🏆 А остальные спойлеры будут в анонсе, внимательно следите за нашими новостями👀

🏆 R5DGS - это фреймворк четырехмерной реконструкции динамических сцен. Метод сочетает в себе семантическую осведомленность, возможность физически-правдоподобной экстраполяции состояний объектов во времени и эффективность инференса.

Мы развиваем идеи TRACE и добавляем то, чего ему не хватало: объектный уровень понимания сцены и ускорение предсказания будущих кадров.

Ключевые идеи:
🔹 Identity Encoding для каждой гауссианы - компактные векторы и обучаемый поверх них классификатор позволяют сгруппировать гауссианы в объекты после обучения.
🔹 Прогнозирование на объектном уровне - вместо предсказания физических параметров для десятков тысяч гауссиан мы интегрируем динамику только для центроидов объектов и распространяем движение жёсткими преобразованиеми.
→ Это даёт +11 FPS при экстраполяции будущих кадров без потери физической правдоподобности траекторий.
🔹 Решение задачи визуальной привязки по текстовому запросу - с помощью сопоставления CLIP эмбеддингов запроса и каждого из объектов в сцене можно извлечь соответствующую группу гауссиан и рендерить объект в любой момент времени и с любой камеры.

В итоге мы получаем 4D-представление сцены, которое:
- предсказывает будущее поведение объектов,
- работает эффективнее за счёт объектного уровня динамики,
- поддерживает текстовое управление без дополнительного обучения.

Это шаг к управляемым, физически-консистентным 4D цифровым двойникам для робототехники, автономного транспорта и дополненной реальности.

🤝 Команда: Денис Гридусов (бакалавр), Максим Попов (аспирант) и Сергей Колюбин

👨‍💻 Страница проекта

🎓 Препринт

🗣 Где расскажем: ICRA 2026 Workshop on Semantics for Reliable Robot Autonomy: From Environment Understanding and Reasoning to Safe Interaction

🏛 Другие проекты нашей лабы

🏆 AgentGrounder — это фреймворк для решения задачи zero-shot 3D visual grounding, т.е. поиска объекта внутри сцены по текстовому запросу на естественном языке без дополнительного обучения.

Ключевые идеи:
🔹 Двухэтапный агентный конвейер с офлайн построением таблицы объектов (Object Lookup Table) и онлайн-агентом, который разлагает запрос на подзадачи и находит релевантные объекты;
🔹 Агент имеет в своем распоряжении инструменты геометрического рассуждения и генерации новых видов напрямую из облака точек;
🔹 Использование фундаментальных визуально-языковых моделей (LVLM), что позволяет использовать фреймворк без дополнительного обучения.

Используя связку AgentGrounder с методом семантического картирования (например, с нашим же RADIO-ViPE), мы можем находить объекты в любых сценах по любым текстовым запросам, даже сильно запутанным. Так наш подход не только делает роботов умнее, но и имеет множество других применений: от использования в VR/AR до помощи в редактировании 3D контента.

🤝 Команда проекта: Куонг Хюинь (магистрант), Максим Попов (аспирант), Денис Гридусов (бакалавр), Сергей Колюбин

👨‍💻 Страница проекта
🎓 Препринт

🏛 Другие проекты нашей лабы

Если не дошли до Экспоцентра в Питере в прошлую субботу на молодежный день ПМЭФ (а там было многолюдно), то ловите запись трансляции экспертной дискуссии про ИИ и робототехнику.

Под модерацией директора по стратегии ИТМО и директора Яндекс.Образования Дарьи Козловой вместе с коллегами из Альянса ИИ, Яндекса, Т-Технологий, МИФИ и Университета Сириус примерили на себя роли визионеров, ученых, разработчиков образовательных курсов и программ, студентов и молодых предпринимателей. Вышло бодро и интересно!

https://roscongress.ru/sessions/spief-2026-den-budushchego-roboty-ii-chemu-i-gde-uchitsya-chtoby-sozdavat-budushchee/translation/#