Grounding Knowledge 🦾

🎓 — Семинар 1. Использование человеческих эгоцентричных данных для обучения VLA и WAM моделей | Даниил Зелезецкий

Архитектуры Vision-Language-Action (VLA) в последние годы показали высокую результативность в задачах роботизированной манипуляции, однако их дальнейшее масштабирование во многом ограничивается доступностью обучающих данных.

В отличие от языковых и визуальных моделей, для которых существуют массивные наборы данных, сбор роботизированных траекторий требует использования реального оборудования, телеоперации и значительных временных затрат. В связи с этим человеческие эгоцентричные видео рассматриваются как значительно более масштабируемый источник данных о взаимодействии с физическим миром.

При этом непосредственное использование человеческих данных для обучения робота осложняется различиями в кинематике, морфологии и пространстве действий человека и робота.

Современные подходы решают эту проблему либо за счёт преобразования человеческих движений и построения унифицированного представления действий, либо используя эгоцентричные видео для обучения более общих представлений о динамике окружающего мира, которые затем могут быть перенесены между различными embodiment.

На данном семинаре аспирантом нашего Центра будут рассмотрены современные подходы к использованию человеческих эгоцентричных данных при обучении VLA и World Action Models (WAM).

Отдельное внимание будет уделено двум направлениям: масштабированию VLA за счёт совместного использования человеческих и роботизированных траекторий и обучению WAM, в которых человеческие видео используются для формирования представления о динамике среды и последствиях действий.

Будут рассмотрены преимущества такого подхода, способы переноса знаний между человеком и роботом, а также роль предсказания будущих состояний и латентной динамики в построении более универсальных роботизированных политик.

👉🏻 Дата: 10.09.26, четверг в 17:00
📹 Трансляция: YouTube или ВКонтакте

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#семинары #rl

Открываем сезон семинаров ЦКМ🦾

#AAAI2027 Продолжаем работу старшим членом программного комитета на ключевой конференции начала каждого года. Только что завершил написание мета-рецензий на свой пул из 15 статей. На AAAI довольно нестандартная схема рецензирования: сначала идет 1 фаза, на которой обычно дают 2 рецензии и если среди них нет условно ни одной пложительной, то статья сразу отклоняется без дискуссии. Обычно только половина статей переходит на вторую фазу, где приходит еще две рецензии и идет полноценное обсуждение авторов и рецензентов.

Так вот сейчас у меня была задача как раз отобрать статьи в фазу два. Как обычно, в моем пуле обычно статьи по VLA/WAM и более стандартному RL🤖. Среди рецензентов очень много коллег из Китая (на вскидку около 2/3)🇨🇳. Оценки оказались на удивление очень низкими - ни у одной статьи не было сразу двух положительных рецензий (то есть с оценкой 6 и выше)😲. К одной статье так и не пришло второе ревью (хотя кара для рецезентов-авторов обычно серьезная) и пришлось ее писать самому (на AAAI это называется Emergуncy Review)💪. В итоге эта статья и оказалась единственной с двумя 6. Получается, что я рекомендовал на 2 фазу только 5 статей (30% всего) из них уверенно, только 2. Небывалый отсев похоже будет в этом году🪓.

Нужно отметить, что статьи действительно не впечатляют - ни одна из них не произвела впечатление глубокой проработки - все довольно поверхностно и видно, что делалось/генерировалось в спешке.

Кстати на AAAI есть такая фишка в этом году, как братский SPC - то есть мне назначили друго старшего члена программного комитета, с которым я при желании могу обсудить его и свои статьи. Я при этом тоже вижу его оценки и рецензии. У него кстати пограничные рекомендации к фазе 2 для 10 статей из 15, но тема больше про классический RL и общую робототехнику. Созвониться он кстати не предлагал - видимо тоже все делает в последний момент😁

Осень наступила, и мы возвращаемся к регулярным научным семинарам #AIRI_Seminars — встречаемся раз в две недели по средам! Первый в этом сезоне семинар пройдёт 16 сентября в 17:00 ⤵️

Тема: «Малые языковые модели — будущее агентного ИИ?»

Докладчик: Андрей Галичин, руководитель группы «Передовой агентный интеллект» Института AIRI

Оппонент: Ульяна Исаева, руководитель направления оценки LLM в SberAI

Подробное описание и регистрация на офлайн-формат на сайте.

Трансляция на YouTube | VK Видео

Очень гордимся прикладными разработками нашей команды, особенно в нишах, которые даже на международном уровне далеко не заполнены🦾

«Лето с AIRI 2026» не заканчивается! Делимся лекциями и семинарами ⏯

Мы записали всё, о чём на протяжении двух недель говорили исследователи и эксперты на летней школе. Собрали целый багаж знаний — 76 видео! — из разных областей ИИ и делимся им с вами, чтобы все могли послушать и узнать для себя что-то новое и интересное.

📎Сохраняйте ссылки на плейлисты: VK Видео, YouTube — и пересылайте их тем, кому тоже может быть полезно)

А вот подоспели и записи с Летней школы AIRI. Есть там и мое выступление про современные методы и челленджи в манипуляции для роботов 👤

Сегодня одним днем побывал на Технопроме в родном Новосибирске. Это один из государственных конгрессов на тему использования технологий в промышленности. Поучаствовал в сессии мультиагентных систем ИИ для науки. Рекламировал нашу коллаборативную систему ResearcherOS, которую мы сами используемых в своих исследованиях (скоро подробнее про нее расскажу). Приятно было увидеть своих бывших однокурсников и вообще много выпускников ФФ НГУ😉 Жаль до Академа доехать никак не получилось и даже свежеоткрытый Скиф остался на потом. Но уже знаю, что и там для настройки пучков используют ИИ-исследователей 🦾

🏆 Подведены итоги КОЗ №3 и КОЗ №4 «Экспедиция.Земля»

Жюри системы технологических конкурсов Up Great «Экспедиция.Земля», организуемой Фондом НТИ, утвердило результаты двух конкурсов отдельных заданий.

Испытания проходили по двум направлениям: археология и инженерная разведка. Команды проверяли наземные роботизированные комплексы для поиска, локализации и классификации объектов на поверхности и под землей.

КОЗ №3 — «Археология»

🥇 Победитель — команда «Геопейджер Археология»
Премия — 10 млн рублей

🥈 Призер, 2 место — команда «Аврора»
Премия — 6 млн рублей

🥉 Призер, 3 место — команда TerraCognitaBot
Премия — 4 млн рублей

КОЗ №4 — «Инженерная разведка»

🥇 Победитель — команда «Аврора»
Премия — 12 млн рублей

🏅 Призер — команда «Поддорожный»
Премия — 8 млн рублей

Поздравляем команды и благодарим участников, экспертов, судейскую группу и всех, кто обеспечивал проведение испытаний.

Очень рад поделиться новостью, что наша команда из МФТИ TerraCognitaBot заняла почетное третье место в соревновании автономного поиска объектов под землей - Экспедиция.Археология🎉. На самом деле наш робот и система навигации были самые надежные, но вот анализ данных немного подвел - сказался недостаток опыта работы с георадаром. Уступили только коммерческим компаниям, которые на этом специализируются. Но мы продолжаем работу в этом направлении и готовимся к новым заездам в этом конкурсе, который будет идти еще целый год 🦾

На Телеканале 360 вышел репортаж про нашу систему интеллектуальной навигации: https://rutube.ru/video/0aeb98742d7362f0eb101570d424261d/

Это и на Дзене продублировали: https://dzen.ru/video/watch/6a7c3857029aa7747abbb608

#News

#NeurIPS2026 Сегодня завершается фаза обсуждения статей между рецензентами и AC. Должен сказать, что идет это обсуждение очень вяло. Не все рецензенты (чуть больше половины) даже заполнили поле Final Justification и обновили свою оценку😴. Тем не менее кое-где рецензенты внимательно отнеслись к ответам и даже подняли оценку. Теперь из моего пула в 10 работ с большими шансами на приянтие уже 5 статей (оценки более 3,67, до начала дискуссии с авторами было 2). Осталось теперь только дожать рецензентов, которые в начале настаивали на отклонении и так и не поучаствовали в дискуссии. Благо есть возможность отметить их как "unresponsible"🪓 и подать на наказание (отклонение их собственных работ). Хотя, может быть, их апатия как раз и вызвана плохими оценами на их собственные статьи😞 Еще и мой SPC со мной так и не связался - интересно как он посмотрит на 50% acceptance rate в моем пуле😂

Еще отмечу два инструмента, которые дали AC - это оценка галлюцинаций в ссылках в статьях и оценка расхождения оценок кого-то из рецензетов. Мне правда они особо не помогли - галлюцинаций не было, а у одного из товарищей с боьшим расхождением оценко в положительной рецензии не было ничего криминального. Но в целом штуки полезные.

Прошел тут недавно несложный квест с избранием в IEEE Senior Members. Следовал вот такому гайду доброго человека :) Отдельное спасибо моим коллегам, которые помогли с обязательными рекомендациями от уже избраных старших членов. В былые времена, когда вовлеченность российских исследователей в активности IEEE была довольно большая, это было действительно почетно и нужно сказать, что в России в области робототехники такой статус буквально у 3-5 человек. Теперь это скорее просто для отметки в журналах и конференциях RAS сообщества, которое организует много важных для нас конференций, таких как IROS, ICRA и выпускает журнал RA-L. Будем надеяться, что в будущем разъединения научного сообщества будет меньше и можно будет этот статус испоьзовать и для чего-то еще :)

Трансляции лекций «Лето с AIRI 2026»

Наша летняя школа по искусственному интеллекту близится к завершению. Делимся записями трансляций потоковых лекций⤵️

⏯«Тренды в развитии ИИ и исследования AIRI»
Иван Оселедец, д.ф.-м.н., профессор РАН, генеральный директор Института AIRI, декан факультета искусственного интеллекта МГУ

⏯«Обучаемая манипуляция объектами: от RL к VLA моделям»
Александр Панов, д.ф.-м.н., профессор РАН, директор лаборатории «Когнитивные системы ИИ» Института AIRI, директор Центра когнитивного моделирования МФТИ

⏯«На пути к сильному ИИ в медицине»
Дмитрий Дылов, PhD, директор лаборатории «Сильный ИИ в медицине» Института AIRI

⏯«Стратегия и подходы применения генеративного ИИ в кибербезопасности»
Антон Митрофанов, исполнительный директор, Управление экспертизы кибербезопасности Сбера

⏯«От весов до прода: как ломают и защищают ИИ-системы»
Олег Рогов, к.ф.-м.н., руководитель группы «Доверенные и безопасные интеллектуальные системы» Института AIRI, руководитель лаборатории безопасного ИИ AIRI-МТУСИ

⏯«Vision? Language? Action? Models»
Владислав Куренков, руководитель группы «Адаптивные агенты» Института AIRI

⏯«Интерпретируемый ИИ в анализе многоканальных электрофизиологических данных»
Алексей Осадчий, д.к.н., руководитель группы «Нейроинтерфейсы» Института AIRI, директор Центра биоэлектрических интерфейсов НИУ ВШЭ

⏯«От промпта к цифровому сотруднику»
Ярослав Беспалов, руководитель группы «Мультимодальные архитектуры ИИ» лаборатории «Сильный ИИ в медицине» Института AIRI

⏯«На пути к L5 автономии в транспорте. Актуальные задачи современных систем»
Дмитрий Сенюшкин, к.к.н., руководитель группы «Автономное зрение» Института AIRI

⏯«От машинного обучения к ИИ материаловедению»
Роман Еремин, к.ф.-м.н., руководитель группы «Дизайн новых материалов» Института AIRI

⏯«Может ли ИИ заменить учёных?» Автономные агенты и будущее науки»
Пётр Анохин, к.б.н., руководитель группы «Нейрокогнитивные архитектуры» Института AIRI

⏯«Ура, Уроборос! От понимания BIM к самоэволюции и градостроительству»
Артём Просветов, исполнительный директор по исследованию данных, Сбер

⏯«Знает ли модель, что она не знает? Введение в оценивание неопределённости в LLM и VLM»
Елизавета Гончарова, к.к.н., руководитель группы «Мультимодальный ИИ» лаборатории FusionBrain Института AIRI

⏯«Всем пятёрки, или как оценивать AI-исследователей — парадоксы, ловушки, качество и новизна»
Анастасия Волкова, руководитель направления по исследованию данных Центра исследований генеративного ИИ Sber AI

⏯«Как не потерять права на свои разработки»
Вита Власова, руководитель направления партнёрского сопровождения и интеллектуальной собственности Института AIRI

⏯«Faithfulness в языковых моделях»
Глеб Ершов, Data Science-инженер Авито

⏯«Как ИИ помогает взламывать код жизни»
Алёна Аспидова, инженер-исследователь группы геномики Центра ИИ-разработки новых лекарственных препаратов AIDD Института AIRI

⏯«Эффективный ИИ: главные оптимизации последних лет и почему они сработали»
Данил Сивцов, инженер-исследователь группы «Вычислительный интеллект» Института AIRI

⏯«Терминальные агенты в задачах автоматизации доменных исследований»
Даниил Сухоруков, научный сотрудник группы «ИИ в промышленности» Института AIRI

⏯«Современные методы квантования моделей»
Начын-Энхэдоржу Ооржак, специалист по исследованию данных, Блок «Риски», Сбер

Записями всех лекций и семинаров мы поделимся после завершения Школы✔️

Прочитал сегодня лекцию на нашей школе по ИИ, робототехнике, агентам и вообщем всем самым передовым темам - Лето с AIRI. Участвую в наших школах с самого их появления, когда они проходили еще вместе со школой РАИИ и с каждым годом уровень организации, содержания и продуманности растет💪 Команда оргов большие молодцы. В этом году все проходит под Краснодаром, в Усть-Лабинске, где построили целый оазис античности👏 Лицей и гостиница разительно контрастируют с небольшой казачьей станицей) Отобрали 80 продвинутых студентов, которые сейчас полностью погружены в проекты с нашими менторами. На лекции обсудили манипуляцию и как ее решают сейчас от RL до VLA и WAM. Интересно на этот раз увидеть результаты проектов, тем более с современными агентами😉