Center for Cognitive Modeling

И 10 секунд видео для понимания атмосферы 🎻

#ECAI2024 Передаем всем привет из Сантьяго-де-Компостела, где проходит вещуая конференция по ИИ в Европе. Как обычно, программа начинается с воркшопов и туториалов, которых тут почти 50 штук. Организация конференции на высшем уровне и благодаря не такой скученности как на ICLR или AAAI здесь получается более содержательное обсуждение докладов, нет очередий и у организаторов хватает времени на разные мелки приятные орг моменты. Пакет участника очень полезный и современный. На ресепшене был струнный концерт, а на открытии были незатянутые приветсвенные слова от мэра города, министра образования и ректора университета. Но обо всем по порядку.

На воркшопе Multimodal, Affective and Interactive eXplainable AI был обзорный доклад от Albert Gatt про работы VL-SHAP и VALSE про граундинг языковых моделей и классические языковые задачки в эпоху LLM. Порадовала работа про видео ViLMA с бенчмакром про swapping аргументов действия. Еще отмечу интересную работу на воркшопе Adjustable Autonomy and Physical Embodied Intelligence про model-based для многих агентов Multi-Agent Model-Based Reinforcement Learning in Discrete Non-Markovian Reward Decision Processes, где обсуждалась формализация немарковских процессов в явном виде - наконец-то есть нормальная математическая постановка для реальных сред в RL. И упомяну воркшоп для управленцев Machine Learning Meets Differential Equations, где было много различных примеров дифференциальных уравнение, которые успешно аппроксимируются нейросетевыми методами.

Center for Cognitive Modeling pinned a photo

Всем привет!

Завтра (18 октября) в 17:15 Ева Бакаева расскажет про

Vision-and-Language Navigation

В докладе будет представлен обзор различных задач и направлений области Vision-and-Language Navigation (VLN). Рассмотрим основные VLN бенчмарки, использование LLM и VLM для их решения и актуальные работы

Статьи:
1. Vision-and-Language Navigation: Interpreting visually-grounded navigation instructions in real environments
2. REVERIE: Remote Embodied Visual Referring Expression in Real Indoor Environments
3. Room-Across-Room: Multilingual Vision-and-Language Navigation with Dense Spatiotemporal Grounding
4. Touchdown: Natural Language Navigation and Spatial Reasoning in Visual Street Environments
5. Vision-based Navigation with Language-based Assistance via Imitation Learning with Indirect Intervention
6. CoWs on Pasture: Baselines and Benchmarks for Language-Driven Zero-Shot Object Navigation
7. Memory-Maze: Scenario Driven Benchmark and Visual Language Navigation Model for Guiding Blind People
8. LM-Nav: Robotic Navigation with Large Pre-Trained Models of Language, Vision, and Action
9. NaVid: Video-based VLM Plans the Next Step for Vision-and-Language Navigation
10. BehAV: Behavioral Rule Guided Autonomy Using VLMs for Robot Navigation in Outdoor Scenes

Ссылка на подключение будет позже

💫 — Присоединяйтесь к трансляции!

🦾🔥💫 — Объявляем набор на осеннюю стажировку в области искусственного интеллекта (Robotics, LLM, RL, CV, Planning)!

Оплачиваемая стажировка в Центре когнитивного моделирования ФПМИ МФТИ предполагает работу над прикладными или поисковыми проектами в составе опытной команды, написание статей в ведущие конференции и журналы.

Стажировка проходит в рамках одного из направлений работ Центра:
— Мультимодальное обучение с подкреплением
— Многоагентное планирование пути
— Мультиагентное обучение с подкреплением
— Неоднозначности в языковых моделях
— Робастное обучение с подкреплением
— Распознавание места
— Локализация для беспилотного траснпорта

В процессе вашей работы вы сможете погрузиться в:
— Разработку новых SOTA алгоритмов
— Написание публикаций и участие в международных конференциях со своими результатами
— Cовременные проблемы внедрения передовых методов искусственного интеллекта для решения практических задач

Стажировку можно совмещать с написанием вашего бакалаврского или магистерского диплома. После успешного окончания стажировки возможно трудоустройство в лаборатории Центра, поступление в магистратуру и аспирантуру , продолжение работы в компаниях партнерах.

Прием заявок до 15 ноября 2024 включительно!

Заполнить анкету👉 ссылка

Вопросы можно задать нам в сообщениях или по почте: vainberg.ri@mipt.ru, @rvainberg

Подробнее

#стажировка #LLM #RL #selfdriving #multiagent #CV #planning

🎓 — Семинар 7. Нейросетевые методы регистрации облаков точек в задачах иерархической локализации| Александр Мелехин

Регистрация облаков точек представляет собой важную задачу в области компьютерного зрения и робототехники, заключающуюся в поиске оптимальной трансформации между двумя облаками точек. Она находит множество применений, в том числе в задаче иерархической локализации, где служит одним из ключевых этапов, уточняя положение и ориентацию агента в пространстве.

В докладе будет представлен обзор данной задачи, а также проведён анализ современных нейросетевых методов, которые демонстрируют высокую эффективность в решении задач регистрации облаков точек.

👉🏻 Дата: 17.10.24, четверг в 17:00

📹 Трансляция Youtube

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#семинары #CV #robotics

В рамках конференции “Нейроинформатика-2024” объявлен конкурс молодых специалистов на соискание премии имени академика Андрея Леоновича Микаэляна.

А.Л. Микаэлян – выдающийся ученый с мировым именем в области квантовой электроники, голографии, систем оптической памяти и нейронных сетей. Он является признанным основоположником волноводно-ферритной техники. А.Л. Микаэлян основал ряд направлений в лазерной физике, оптоэлектронике, ферритной технике. Он открыл явление многократной фокусировки электромагнитных волн и самовосстановления волнового фронта в неоднородных средах, выдвинул идею создания оптического волновода на базе этого явления. Им разработан ряд методов решения обратных задач геометрической оптики. Применение этих методов позволило создать новый класс канализирующих и фокусирующих систем.

К участию в конкурсе приглашаются молодые специалисты (включая студентов и аспирантов) в возрасте до 30 лет включительно.
Кандидаты наук в конкурсе участия не принимают.
Жюри будет оценивать новизну и оригинальность исследования, качество доклада и презентации.
Обязательное требование – личное представление работы на секционном или стендовом заседании.

Победители и призеры получат дипломы и денежные призы:
Диплом I степени – 50 000 руб. (одна премия)
Диплом II степени – 30 000 руб. (две премии)
Диплом III степени – 20 000 руб. (три премии)

#IROS2024 Первый день конференции, по традиции, посвящен воркшопам и туториалам, среди которых было и организованное нашей командой мероприятие под руководством Константина Яковлева - Multi-Robot Path Planning: Heuristic Search Meets Reinforcement Learning (Tutorial). В полдня мы уместили довольно разнообразную программу. В первой части с лекциями выступили Свен Кениг (UC Irvine, создать большого количества метода многоагентного классического планирования, по которым ездят роботы в Амазоне) и Гийом Сарторетти (Университет Сингапура, основоположник обучаемого MAPF). Успели даже подискутировать на счет проблем RL в многоагентных задачах. Во второй частия, Алексей Скрынник и Антон Андрейчук рассказали про нашу среду и набор инструментов для обучения и тестирования обучаемых и классических MAPF алгоритмов - POGEMA. Рассказали и про наши последние результаты: базовую модель MAPF-GPT и обзор сред в MARL. В конце подробно на python тетрадке показали как все запускать, скачивать и обучать. Интерес, на удивление, в робо-сообществе был значительный, даже код запустить не поленилась почти половина участников.