Center for Cognitive Modeling

🪼 — Команда ЦКМ ITL-Mapper заняла 2 место в хакатоне "Лидеры Цифровой Трансформации"!

"Лидеры цифровой трансформации" — крупный международный онлайн-хакатон для IT-специалистов. Команда Центра участвовала в направлении "Редактор лидарных карт для автоматического удаления динамических объектов" и заняла 2 место среди 38 участников.

Над задачей работали Владислав Дюжев, Александр Лазарев, Леонид Иванов и Виталий Илюхин под руководством Дмитрия Юдина. Целью было не просто занять призовое место, а создать полезный инструмент, который можно использовать в исследованиях Центра.

За 3 недели ребята реализовали алгоритмы нейросетевой сегментации облаков точек, полученных с лидара беспилотного московского трамвая. И даже успели добавить в десктопное приложение сегментацию по клику мыши на основе метода PointSAM.

🪼 А пока наши сотрудники работают над другими вдохновляющими проектами поздравим ребят реакциями! Следите за уведомлениями, планируем выложить в открытый доступ код нашего решения.

⚡ — Начинаем семинар, присоединяйтесь к трансляции в ВК или на YouTube!

🎓 — Семинар 10. Обзор международной конференции IROS, Ханчжоу, Китай | Александр Панов, Алексей Скрынник, Кирилл Муравьёв, Антон Андрейчук

Недавно наши сотрудники посетили IROS, одну из крупнейших международных конференций по робототехнике и ИИ. Мы уже делились нашими впечатлениями, но не сильно затрагивали программу. Пришло время это исправить на сегодняшнем семинаре!

Собрали всё самое интересное в одной презентации:
🪼Обзор пленарных докладов
🪼Ключевые тренды CV, RL, LLM в робототехнике
🪼Самые актуальные воркшопы
🪼Тренды в бизнесе, и как их отразила выставка роботов
🪼Партнёрства по научным и коммерческим проектам

Заглянуть в суть конференции чуть раньше можно в каналах:
🪼Grounding Knowledge Александра Панова
🪼iMapDAY Дмитрия Юдина
Для навигации используйте хэштег: #IROS2025

👉🏻 Дата: 6.11.25, четверг в 17:00
📹 Трансляция: Youtube или ВК

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире. Ждём всех!

#AI #RL #CV

🪼 — Центр когнитивного моделирования на Дне Карьеры МФТИ уже сегодня!

Приходите, чтобы узнать о Центре ещё больше и лично обсудить самые волнующие вопросы.

Расскажем о:
🪼Поступлении
🪼Стажировке
🪼Обучении
🪼Карьерных перспективах

Будем ждать вас у стенда с 14:00.

🎓 — Семинар 9. Объектно-центричные модели мира | Виталий Воробьёв

В моделях, основанных на неструктурированных репрезентациях, возникает проблема связывания (binding problem): такие модели не могут корректно объединять разрозненные сенсорные признаки, например форму, цвет и положение, в целостное восприятие объекта.

Объектно-центричные модели мира решают эту проблему, представляя информацию через явное выделение объектов и их свойств, что делает внутренние репрезентации более структурированными и интерпретируемыми.

На семинаре аспирантом нашего Центра будут рассмотрены современные подходы к выделению объектно-центричных состояний и построению моделей мира. Особое внимание будет уделено последним разработкам нашей команды, направленным на повышение качества объектно-центричных моделей мира.

👉🏻 Дата: 30.10.25, четверг в 17:00
📹 Трансляция: Youtube или ВК

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#CV

🦾 — Продлеваем набор в бакалавриат для студентов 3 курса ФПМИ МФТИ по искусственному интеллекту и робототехнике до 5 ноября!

В Центре под руководством ведущих специалистов вы сможете заниматься написанием статей на передовые международные конференции, а также работать над прикладными проектами по тематикам:

🌱Обучение с подкреплением для задач робототехники (манипуляция, навигация)
🌱Мультимодальные карты знаний в компьютерном зрении и робототехнике
🌱Компьютерное зрение для задач робототехники и беспилотного транспорта
🌱Большие языковые и мультимодальные модели для генерации действий в робототехнике
🌱Мультимодальные среды и модели в обучении с подкреплением

А что дальше?
🌱 Не прекращать учиться: у нас есть магистратура и аспирантура
🌱 Строить карьеру: наши выпускники идут на топовые позиции как в науке, так и в коммерции

🙂 Подавайте заявку через форму до 5 ноября включительно. Собеседования будут проходить с 6 ноября по 20.

Презентацию программы, учебный план и другие подробности можно посмотреть на сайте.

🪼 — Четвёртый день IROS 2025 в Ханчжоу.

Мы представили вторую тройку работ. Доклады и постеры вызвали большой интерес у публики, что не может не радовать!

Всех заинтересованных приглашаем погрузиться в работы:
🪼K. Muravyev, A. Melekhin, D. Yudin, K. Yakovlev
PRISM-TopoMap: Online Topological Mapping with Place Recognition and Scan Matching

Метод PRISM-TopoMap, помогает роботам эффективно ориентироваться в меняющейся среде. В отличие от громоздких метрических карт, он использует топологический подход — фиксирует связи между ключевыми точками, экономит память и ускоряет навигацию. Благодаря улучшенному алгоритму распознавания MSSPlace-G робот «узнаёт» места, даже если изменились освещение или ракурс, а затем обновляет карту прямо во время движения.

Метод прошёл тесты в виртуальных 3D-средах и на реальном колесном роботе. В сравнении с другими системами (SLAM, RTAB-Map и др.) PRISM-TopoMap показал лучшую связность графа, максимальное покрытие пространства и устойчивость к ошибкам датчиков. Такой подход особенно важен для автономных тележек на складах, дронов-курьеров и роботов в условиях, где GPS недоступен.

🪼S. Pchelintsev, M. Patratskiy, A. Onishenko, A. Korchemnyi, A. Medvedev, U. Vinogradova, I. Galuzinsky, A. Postnikov, A. Kovalev, A. Panov
LERa: Replanning with Visual Feedback in Instruction Following

В робототехнике всё чаще применяют большие языковые модели для планирования задач, однако их зависимость от текстовых данных мешает адаптироваться к изменениям и сбоям в реальных условиях.

Для преодоления этих ограничений предлагается LERa — подход Look, Explain, Replan, основанный на модели визуального языка и использующий визуальную обратную связь. В отличие от существующих методов, LERa работает с необработанным RGB-изображением, инструкциями на естественном языке, первоначальным планом выполнения задачи и системой обнаружения сбоев — без дополнительной информации вроде данных об обнаружении объектов или заранее заданных условий, которые могут быть недоступны в конкретной ситуации.

🪼D. Grigorev A. Kovalev, A. Panov
VerifyLLM: LLM-Based Pre-Execution Task Plan Verification for Robots

В сфере робототехники учёные решают важную задачу — обеспечить надёжное и эффективное планирование задач. Предварительная проверка планов высокого уровня перед их реализацией позволяет существенно снизить количество ошибок и повысить общую эффективность систем.

В данной статье представлена архитектура для автоматической проверки планов задач высокого уровня до их выполнения в симуляторе или в реальных условиях. Наш подход, основанный на использовании LLM, включает два основных этапа: преобразование инструкций на естественном языке в линейную временную логику (LTL) и дальнейший детальный анализ последовательностей действий.

После сессий можно было сходить на Farewell — ужин с местной кухней и шоу, которое раскрыло для посетителей новые грани культуры Китая.

🎓 — Семинар 8. Multi-Agent LLM Systems | Анатолий Борзилов

Использование многоагентных систем на основе больших языковых моделей позволяет добиться большой эффективности при решении разнообразных задач. Такие системы используются для написания программного кода, планирования маршрутов, симуляции социальных взаимодействий и многих других областях.

На семинаре аспирантом нашего Центра будут рассмотрены существующие многоагентные системы на основе больших языковых моделей, специализирующиеся на различных задачах. Также будет представлен CoSMAC: основанная на StarCraft II многоагентная среда для языковых моделей, сосредоточенная на коммуникации между агентами.

👉🏻 Дата: 23.10.25, четверг в 17:00
📹 Трансляция: Youtube или ВК

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#LLM

🪼 — Третий день IROS 2025 в Ханчжоу.

Сегодня команда Центра презентовала первые 3 доклада, мы подошли к процессу творчески, на месте придумали и смастерили интерактивный постер.

Работы:
🪼A. Narendra, D. Makarov, A. Panov
M3PO: Massively Multi-Task Model-Based Policy Optimization

Новый метод M3PO, расширяющий классическую архитектуру Proximal Policy Optimization (PPO), в которой объединены мультизадачность и модель мира, которую робот выучивает в процессе взаимодействия при онлайн-обучении. В результате метод обеспечивает быстрое обучение компактных с точки зрения количества параметров стратегий, пригодных для быстрого развертывания на робототехнических манипуляторах.

🪼A. Andreychuk, K. Yakovlev, A. Panov, A. Skrynnik
Advancing Learnable Multi-Agent Pathfinding Solvers with Active Fine-Tuning

MAPF - это подход к планированию маршрутов для нескольких роботов в общей среде. Хотя оптимальное решение MAPF — NP-hard, эффективные решатели важны для логистики, поисково-спасательных операций и других задач.

Мы предлагаем МАРF-GPT-DDG — новый метод дообучения модели МАРF на экспертных данных. Благодаря механизму генерации дельта-данных, он ускоряет обучение и повышает производительность. Эксперименты показывают, что MAPF-GPT-DDG превосходит существующие решатели, включая MAPF-GPT. Примечательно, что система работает с задачами, включающими до миллиона агентов в одной среде, устанавливая новый стандарт масштабируемости.

🪼S. Dergachev, K. Yakovlev
Decentralized Uncertainty-Aware Multi-Agent Collision Avoidance with Model Predictive Path Integral

Децентрализованная навигация с несколькими агентами в условиях неопределённости сложная задача в робототехнике. Для её решения нужны стратегии предотвращения столкновений, учитывающие кинематические ограничения и погрешности.

В статье предложен новый метод, объединяющий МPPI C адаптацией оптимального избегания столкновений. Подход обеспечивает безопасную навигацию за счёт внедрения ограничений безопасности в процесс выборки МРРІ.

Тестирование в симуляторе Gazebo подтвердило применимость метода для роботизированных платформ. Исходный код доступен по ссылке: http://github.com/PathPlanning/MPPI-Collision-Avoidance.

А завершился день банкетом с традиционной едой и выступлениями, где на сцене древние легенды сменялись демонстрацией достижений в робототехнике.

🪼 Завтра выступает вторая тройка спикеров, поддержим их реакциями!