Center for Cognitive Modeling

🎓 — Семинар 19. Визуальные промпты для сегментации произвольных объектов | Михаил Авшалумов

В рамках семинара, магистр нашего Центра рассмотрит один из актуальных подходов к задаче сегментации объектов на изображениях — использование визуальных запросов вместо традиционных промтов или текстовых описаний.

Обсудим существующие методы, которые позволяют использовать референсное изображение в качестве входного "запроса" к нейросетевой модели, их архитектуры и особенности.

Михаил расскажет об экспериментах по этой теме, проведённых в Центре, и дальнейших планах работ в этом направлении.

👉🏻 Дата: 27.02.25, четверг в 17:00

📹 Трансляция Youtube

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#семинары #CV

🇷🇺 — С Днем защитника Отечества!

⚡️ — Начинаем семинар, присоединяйтесь к трансляции!

🎓 — Семинар 18. Пространственно-временной метрико-семантический SLAM в динамических средах | Олег Буличев

На семинаре будет представлен обзор современных методов SLAM (Simultaneous Localization and Mapping) с акцентом на их модульную структуру. Особое внимание будет уделено надстройкам, таким как использование графов, семантических карт и других методов, повышающих точность и устойчивость системы.

Вторая часть будет отведена специфике пространственно-временного метрико-семантического SLAM, позволяющего учитывать изменения в динамической среде, включая отслеживание движущихся объектов и поддержание семантической согласованности. Одним из таких методов является "Khronos: A Unified Approach for Spatio-Temporal Metric-Semantic SLAM in Dynamic Environments", где предложен новый подход к объединению краткосрочной динамики и долгосрочных изменений. На семинаре будет разбор этой работы и предложены возможные улучшения.
5️⃣ Github

👉🏻 Дата: 20.02.25, четверг в 17:00

📹 Трансляция Youtube

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#семинары #CV #planning

⚡️ — Начинаем семинар, присоединяйтесь к трансляции!

🎓 — Семинар 17. Распознавание физических свойств объектов на изображениях | Маргарита Кичик, Роман Титков

Современные модели компьютерного зрения успешно определяют категории объектов и их расположение, однако извлечение физических свойств, таких как материал, плотность или упругость, остается сложной задачей. В рамках семинара будут рассмотрены подходы к распознаванию физических характеристик объектов с упором на определение материалов объектов. Отдельно рассмотрим существующие наборы данных, предназначенные для анализа материалов.

Маргарита расскажет про датасеты для семантической сегментации материалов и работы, посвященные этой задаче, а также про эксперименты, проведенные в ЦКМ и дальнейшие планы исследований по этому направлению.

Роман расскажет о ранних экспериментах по классификации материалов, проведённых с использованием как классических методов, так и нейросетевых подходов на основе дообученной модели CLIP.

👉🏻 Дата: 13.02.25, четверг в 17:00

📹 Трансляция Youtube

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#семинары #CV

Center for Cognitive Modeling pinned a photo

Поздравление ректора МФТИ Дмитрия Ливанова с Днём российской науки 🎉

Уважаемые коллеги, учёные, преподаватели, аспиранты и студенты!

Поздравляю вас с Днем российской науки!

Наука — это двигатель прогресса, фундамент технологического суверенитета и ключ к будущему. Благодаря вашим усилиям разрабатываются передовые технологии, совершаются открытия, меняющие жизнь людей и укрепляющие позиции нашей страны в мире.

МФТИ — это не просто вуз, а экосистема, где зарождаются амбициозные идеи, работают выдающиеся учёные, а молодые таланты делают первые шаги в большой науке. Исследования в области искусственного интеллекта, биотехнологий, физики, математики и других направлений, проводимые в наших стенах, формируют будущее технологий и определяют траекторию развития многих отраслей.

Сегодня я хочу выразить благодарность каждому, кто посвятил себя науке, кто исследует, изобретает, обучает, вдохновляет. Пусть вас сопровождают удача, вдохновение и смелость ставить перед собой самые амбициозные цели. Желаю вам крепкого здоровья, новых открытий и преданных единомышленников!

С праздником!

🦾🔥👩‍🚀 — Объявляем набор на стажировку в области искусственного интеллекта и робототехники (Robotics, LLM, RL, CV, Planning)!

Оплачиваемая стажировка в Центре когнитивного моделирования Института ИИ МФТИ предполагает работу над прикладными или поисковыми проектами в составе опытной команды, написание статей в ведущие конференции и журналы.

Стажировка проходит в рамках одного из направлений работ Центра:
— большие поведенческие модели;
— методы манипуляция двуруких роботов;
— нейросетевые методы компьютерного зрения;
— обучение с подкреплением;
— большие языковые модели.

В процессе вашей работы вы сможете погрузиться в:
— разработку новых SOTA алгоритмов;
— написание публикаций и участие в международных конференциях со своими результатами;
— современные проблемы внедрения передовых методов искусственного интеллекта для решения практических задач.

Стажировку можно совмещать с написанием вашего бакалаврского или магистерского диплома. После успешного окончания стажировки возможно трудоустройство в лаборатории Центра, поступление в магистратуру и аспирантуру, продолжение работы в компаниях-партнерах.

Прием заявок до 10 марта 2025 включительно!

Заполнить анкету тут 👉 ссылка

Вопросы можно задать нам в сообщениях или по почте: mukhina.ad@phystech.edu, @fissun.

Подробнее

#стажировка

⚡️ — Начинаем семинар, присоединяйтесь к трансляции!

🎓 — Семинар 16. Объектно-центричные модели мира | Виталий Воробьёв, Владимир Фролов

Начинаем весенний цикл семинаров!

Большинство современных моделей мира сталкиваются с проблемой связывания. Суть этой проблемы заключается в том, что модели, объединяющие всю информацию в единый вектор, теряют способность эффективно обучаться из-за смешения признаков. Одним из решений этой задачи являются объектно-центричные модели мира, где ключевым элементом выступают слоты. Каждый слот представляет собой вектор, кодирующий характеристики объекта: форму, положение, текстуру и другие атрибуты.

В рамках семинара, Владимир Фролов представит базовые модели для выделения слотов на основе архитектуры SA (Slot Attention). Кроме того, он расскажет о методе SMM (Slot mixture model), разработанном в Центре когнитивного моделирования, и его последующих усовершенствованиях.

Виталий Воробьёв, аспирант нашего Центра, выступит с докладом о применении слотовых экстракторов для работы с видео и построения моделей мира, способных прогнозировать следующие состояния слотов. Также он представит новый метод COMPAS (COMPose Actions and Slots), предназначенный для повышения точности предсказаний в динамических средах с учетом действий.

👉🏻 Дата: 06.02.25, четверг в 17:00

📹 Трансляция Youtube

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#семинары #RL #CV

Center for Cognitive Modeling pinned «🦾🔥💫 — Вакансия комьюнити-менеджера для развития нашего Центра! Наш Центр активно развивается. С момента формирования научных лабораторий и запуска магистерской программы МТИИ на физтехе в 2019г прошло уже более 5 лет. За это время мы уже успели многого достичь:…»

🦾🔥💫 — Вакансия комьюнити-менеджера для развития нашего Центра!

Наш Центр активно развивается. С момента формирования научных лабораторий и запуска магистерской программы МТИИ на физтехе в 2019г прошло уже более 5 лет.
За это время мы уже успели многого достичь: победы в крупнейших всероссийских и международных соревнованиях (Up Great, Habitat, Waymo Challenge, Flatland, MineRL и др), ежегодные публикации и участие в топовых конференциях уровня A*, Более 100+ научных семинаров, более 50+ защит магистров и аспирантов, защита докторских диссертаций у наших руководителей и, конечно, активное участие в развитии ИИ в России.

Но самое интересное только начинается! Есть много направлений жизнедеятельности нашего Центра от развития бакалаврских и аспирантских программ до проведения научных семинаров и продвижения наших соц. сетей (хотели бы больше делиться нашими успехами и рассказывать о наших исследованиях и разработках!), в которых можно себя проявить!
Если вы хотите стать частью и принимать активное участие в развитии одной из крупнейших и передовых лабораторий по ИИ и робототехнике - это ваш шанс!

Подробнее с описанием вакансии можно ознакомиться по ссылке
Для подачи заявки достаточно заполнить 👉 анкету

Поиск кандидата уже идет, поэтому если вам интереса вакансия, то первым делом заполняйте анкету и мы с вами сразу свяжемся!

Верим, что сможем найти лучшего кандидата, с кем продолжим строить одну из лучших лабораторий в России и мире!

Две работы нашей группы были приняты на вторую после NeurIPS ведущую конференцию по ИИ - ICLR 2025 📝🎉🍾:
1) POGEMA Bench - статья по быстрому бенчмарку для мультиагентных задач поиска пути (MAPF) - собрали вместе все-все актуальные методы и алгоритмы (MARL, классика и наши гибридные), показали что MAPF это важная и сложная задача (не то что ваш StarCraft🎮) и что наш бенч хорошо выделяется среди других сред для MARL
2) DHTM - новый алгоритм памяти на хеббовских принцпиах, который быстро и эффективно запоминает последовательности наблюдений и действий в задаче обучения агента в среде с вознаграждениями и при этом без бэкпропа побивает рекуррентные сетки и трансформеры🦾

Конференция будет проходить в Сингапуре в апреле - как обычно сделаем обзор интересных работ оттуда🇸🇬

А вот и первые акцепты!🎉

Поздравляем наших дорогих  подписчиков с наступающим Новым Годом и Рождеством! 🥳

Желаем побольше интересных инсайтов, побольше свободных карт для экспериментов, полезных рецензий и акцептов, конечно, побольше! Ура!
🎄🇷🇺🎄

Всем привет!🔥

Итоги встречи 15.11.2024
(презентация|запись)

#RL #Memory #LLM #VLM

На встрече были разобраны новые работы по использованию механизмов памяти при принятии решений в контексте VLM и RL агентов

🔺 Optimus-1: Hybrid Multimodal Memory Empowered Agents Excel in Long-Horizon Tasks

В данной работе рассматривается VLM агент, решающий сложные задачи в среде Minecraft

Авторы считают, что существующие агенты сталкиваются с трудностями при выполнении long-horizon задач в open-world сеттинге в связи с тем, что им не хватает знания о мире и его мультимодального описания

Для решения этих проблем авторы предлагают Hybrid Multimodal Memory (HMM) модуль, который:
✔️ преобразует знание в Hierarchical Directed Knowledge Graph, позволяющий явно представить знание о мире и изучить его
✔️ суммаризует историческую информацию в Abstracted Multimodal Experience Pool, который передает агентам дополнительную информацию для in-context обучения

Вместе с Knowledge-Guided Planner и Experience-Driven Reflector модулями, необходимыми для лучшего планирования и рефлексии агента для long-horizon задач, HMM образует мультимодального агента Optimus-1

Предложенный подход позволяет нивелировать различие между топовыми проприетарными и open-sourced VLM моделямями и достичь результатов, сравнимых с человеческими, при решении задач в Minecraft

🔺 AdaMemento: Adaptive Memory-Assisted Policy Optimization for Reinforcement Learning

Механизмы памяти помогают оптимизировать стратегию в постановке задачи с разреженными функциями вознаграждения

AdaMemento — адаптивный memory-enhanced RL фреймворк, позволяющий решать такие задачи. Он состоит из Memory-reflection module, позволяющего использовать как положительный, так и отрицательный опыт, обучаясь использовать локальные стратегии на основании текущих состояний, и Coarse-fine distinction module, позволяющего эффективно собирать информативные траектории в память за счет Fine-grained intrinsic-motivation paradigm, различающей небольшие различия (нюансы) в похожих состояниях

Использование данного подхода позволило получить существенно лучшие результаты по сравнению с другими бейзлайнами на такой тяжелой задаче как Atari/Montezuma's Revenge

🔺 Общие выводы

В обеих работах используются модули внешней памяти, позволяющие подкрепить принятие решения агента дополнительной информацией, что позволяет добиваться лучших результатов по сравнению с методами без таких модулей

Подписаться⤵️
Embodied AI Reading Club

Новый год ещё далеко, но одновременно и близко 🦾🥳🎄

⚡️— Начинаем финальный семинар в этом году, присоединяйтесь!🌲

🎓 — Семинар 15. Планирование траекторий многозвенного манипулятора в динамических средах | Нураддин Керимов, Александр Онегин

Финальный семинар этого года!🌲

На семинаре мы проведем обзор методов планирования многозвенных роботов-манипуляторов в динамических средах, делиберативного и реактивного семейства. Расскажем про разработанный нами делиберативный планировщик Safe-Interval RRT, который объединяет в себе идеи двунаправленного быстрого исследования пространства, идею нахождения безопасных интервалов (известная идея эвристического поиска), а также технику быстрого нахождения безопасных интервалов.

Мы приводим результаты массового тестирования нашего планировщика и показываем, что он превосходит SOTA методы по времени работы, количеству успешно решённых тестов и качеству решений.

👉🏻 Дата: 19.12.24, четверг в 17:00

📹 Трансляция Youtube

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#семинары #robotics #planning