Center for Cognitive Modeling

А это я собираю данные на Алохе в режиме телеуправления по видео с камеры манипулятора (экранчик внизу) — непростая задача 😅

Подключайтесь к выступлению руководителя нашего Центра Александра Панова на AIJ!
https://aij.ru/program?concreteDate=2024-12-13

Сегодня для широкого круга открылась конференция AI Journey📎. Как минимум это самая освещаемая конференция по ИИ в России с серьезной научной составляющей. К ней приурочили много разных событий🎇: запуск нового грузовика Navio, новые модели в бенчмарке Мера от Т-банка и МТС, новый роботы от Центра робототехники Сбера, запуск альянса альянсов ИИ и др. Очень импонирует девиз - "ИИ помогает" - людей не заменяют, а помогают им делать их задачи. На пленарные доклады позвали и иностранцев из БРИКС++, запомнился оригинальный "Шмидхубдранат" в стиле с кепкой. Яндекс вспоминал как же ИИ за эти годы улучшил поиск, перевод и предсказание пробок. От AIRI Андрей Кузнецов разложил по полочкам задачки в генеративном проектировании. Подписали сегодня и соглашение о принципах разработки роботов общего назначения🤖. Отметилась и наша команда в постерной сессии, а завтра расскажем про поведенческие модели - подключайтесь в трансляцию!📺

⚡️— Начинаем семинар, присоединяйтесь!

🎓 — Семинар 14. Transformer-based online RL | Никита Качаев, Даниил Зелезецкий

Трансформерные модели показали прорывные результаты в различных областях машинного обучения благодаря способности учитывать длительные временные зависимости и эффективно масштабироваться, что делает их применение перспективными для обучения с подкреплением. В задачах RL трансформеры способны улучшить способность агента к памяти, генерализацию и принятие решений на основе долгосрочной истории взаимодействий

Однако, внедрение трансформеров в RL сталкивается с рядом трудностей. Среди главных вызовов — нестабильность обучения, сложность оптимизации и высокая вычислительная стоимость. В докладе будет рассмотрен текущий прогресс в использовании трансформерных моделей для задач онлайн обучения с подкреплением и сделан обзор работ по on-policy/off-policy методам. Обсуждение охватит ключевые преимущества а также ограничения применения трансформерных моделей в онлайн RL

👉🏻 Дата: 12.12.24, четверг в 17:00

📹 Трансляция Youtube

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#семинары #transformers #RL

Теперь можно сказать официально - команда Автороботикс в составе крутых инженеров из МАДИ и блестящих AI-специалистов из Центра когнитивного моделирования МФТИ преодолела (хоть и частично) технологический барьер и стала победителем технологического конкурса НТИ 5 уровень. Среди 8 участников, включая Иннополис и ЛЭТИ, наша электрическая газель под управлением интеллектуальной системы единственная в полностью автномном режиме в реальной дорожной ситуации перевезла полтонны груза без нарушений ПДД на почти сотню км с макимальной скоростью 90 км/ч🚛. И это без сотен тысяч часов наката по одному маршруту и без тысяч тереабайтов данных для обучения как у Яндекса или Теслы. Все эффективнее и надежнее🦾. Команда замечательных профессионалов - горд, что смог с вами поработать! Молодцы!🙌

⚡️— Начинаем семинар, присоединяйтесь!

🎓 — Семинар 13. Использование графа сцены для нейросетевой навигации робота | Никита Осколков, Zhang Huzhenyu

В последнее время для робототехнических задач навигации и манипулирования все активнее используются методы, основанных на картах знаний и обучении с подкреплением. В докладе будут представлены передовые подходы к построению графов 3D-сцен и рассказано об их применении в задачах управления и принятии решений роботом. Будет описан генератор графов, разработанный в фотореалистичном симуляторе Isaac Sim.

Также будет представлен практический опыт использования метода построения карты знаний BBQ на пользовательском наборе данных из симулятора Isaac Sim, который демонстрирует универсальность подхода на различных примерах.
Кроме того, мы обсудим базовые подходы обучения с подкреплением в задаче навигации робота по изображениям бортовой камеры. Наконец, рассмотрим влияние использования карт знаний в сценариях, где входные данные навигационной модели включают текстовые описания задач или маски объектов.

👉🏻 Дата: 05.12.24, четверг в 17:00

📹 Трансляция Youtube

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#семинары #robotics #RL

🎓 — Семинар 12. Leveraging Single and Multi-Task RL Algorithms for Mobile-Aloha Robot | Aditya Narendra

Traditional Reinforcement Learning (RL) methods often require careful algorithm design, hyper-parameter tuning, and experimentation to perform optimally across multiple tasks. Multi-task models, however, offer increased efficiency, better generalization, and improved resource utilization, which are crucial for robots performing diverse autonomous tasks. On the other hand, single-task models often demonstrate better results and more robust task-specific policies.

In this paper, we demonstrate the versatility of these models through experiments on the Mobile Aloha robot, which has both manipulation and navigation capabilities. The main idea behind our work is to demonstrate the use of various types of RL algorithms (single and multi-task) for multi-control robots (in our case, Mobile Aloha) which has not been explored much in the past. The presentation would include the work done in two different simulators: Mujoco and Isaac-Sim.

👉🏻 Дата: 28.11.24, четверг в 17:00

📹 Трансляция Youtube

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#семинары #robotics #RL

⚡️— Начинаем семинар, присоединяйтесь к трансляции!

Неделю назад прошло знаменательное для меня событие - защита диссертации на соискание учёной степени доктора физико-математических наук по специальности 1.2.1 “Искусственный интеллект и машинное обучение” (тема “Методы и алгоритмы нейросимвольного обучения и планирования поведения когнитивных агентов”🤖) в МФТИ🤝👍. Диссертационный совет, состоящий из ведущих специалистов в области искусственного интеллекта и робототехники🦾 благосклонно отнесся к работе и проголосовал за присуждение степени🥳. Хотел бы поблагодарить всех своих коллег из МФТИ, AIRI и ФИЦ ИУ РАН, которые своими идеями и результатами помогли выполнить эту работу🤝. Самое интересное еще впереди 😉 Саму диссертацию можно посмотреть вот здесь.

🎓 — Семинар 11. Реконструкция семантических 3D-сцен с применением Гауссовского сплаттинга | Роман Титков, Егор Зубков

Гауссовский сплаттинг (Gaussian Splatting) представляет собой инновационный метод реконструкции 3D-сцен, позволяющий эффективно и компактно представлять геометрическую и семантическую информацию пространства. Этот подход имеет практическое применение в робототехнике, системах дополненной реальности и задачах визуализации. В докладе будут рассмотрены ключевые аспекты метода, включая преобразование входных данных в гауссианы, добавление семантической информации из изображений c использованием автоэнкодеров для сжатия признаков и восстановление поз камер с использованием различных методов SLAM. Особое внимание будет уделено оптимизации вычислений для работы в реальном времени, а также обсуждению перспектив применения метода в практических задачах.

👉🏻 Дата: 21.11.24, четверг в 17:00

📹 Трансляция Youtube

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#семинары #robotics #CV