Center for Cognitive Modeling

🎓 — Семинар 4. Следование языковым инструкциям в воплощённой среде: планирование с LLM и явные модели мира | Анатолий Онищенко

На семинаре аспирант нашего Центра рассмотрит задачу следования языковой инструкции в домашних и офисных средах, где робот должен по инструкции определить цель и выполнить действия для её достижения. Сделает обзор подходов к высокоуровневому планированию на основе больших языковых моделей.

Отдельное внимание будет уделено надёжности планирования, то есть способам проверки действий, предложенных языковой моделью, а также явным моделям мира, которые можно использовать при планировании и интерпретировать.

В завершение обсудим проблемы оценки таких систем и существующих бенчмарков, а также наш подход к их решению.

👉🏻 Дата: 01.10.26, четверг в 17:00
📹 Трансляция: YouTube или ВКонтакте

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

💫 — Начинаем семинар, присоединяйтесь к трансляции в ВК или на YouTube!

🎓 — Семинар 3. Анализ динамики обучения и геометрии представлений в глубоких нейронных сетях | Шокоров Вячеслав

На семинаре выпускник МФТИ, ФПМИ, Вячеслав Шокоров расскажет о своей диссертационной работе. Она посвящена разработке единого теоретического подхода к описанию внутренних механизмов преобразования сигнала и динамики обучения в глубоких нейронных сетях.

В основе предлагаемого метода лежит геометрическая концепция нелинейных нуль-пространств, позволяющая разделить влияние глубины и ширины модели, а также интерпретировать процесс обучения классификатора как последовательное подавление признаков описывающих внутриклассовую вариабельность при сохранении межклассовых различий. С точки зрения данного формализма описывается семантическая роль операции центрирования как иерархического фильтра фоновых признаков. Также предлагается декомпозиция весовых матриц для выявления шумовых и сигнальных компонент, что позволяет построить эффективный алгоритм оценки качества изображений.

Кроме того, разработана интерпретируемая декомпозиция функции потерь CosFace на компоненты притягивания и отталкивания, существенно снижающая вычислительную сложность обучения модели. В совокупности полученные результаты формируют целостную картину работы ключевых архитектурных блоков модели, повышая интерпретируемость, предсказуемость и эффективность нейросетей в прикладных задачах классификации.

👉🏻 Дата: 24.09.26, четверг в 17:00
📹 Трансляция: YouTube или ВКонтакте

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

🧠 — Не только наука: наши сотрудники развивают робототехнику среди молодёжи

Мы часто рассказываем про исследования, статьи и стажировки. Но за пределами лабораторий наша работа дополняется популяризацией робототехники. Студент нашей магистратуры Карташов Георгий наставляет команду 20042 Time Walk из Школы №1566 по направлению FIRST Tech Challenge.

Этим летом команда вернулась с международного чемпионата Istanbul FIRST Premier Event. Это международная программа и серия соревнований по робототехнике для популяризации STEM-компетенций среди молодёжи. В соревнованиях участвовали 74 команды из более чем 20 стран, отобранные по итогам региональных турниров.

Результаты команды:
🔹 Победа в номинации за развитие связей с научным и техническим сообществом
🔹 3 место в матчах на игровом поле в рамках своего дивизиона

Георгий внёс большой вклад в подготовку ребят к матчам и собеседованиям с экспертами. Давайте поздравим наставника и его команду Time Walk!

💫 — Начинаем семинар, присоединяйтесь к трансляции в ВК или на YouTube

🎓 — Семинар 2. Интеллектуальный 3D-трекинг для построения графов сцены и ответов на вопросы по видео | Зимина Софья, Макаров Владислав

На семинаре будет рассматриваться метод построения 3D-графа сцены по видео на основе интеллектуального трекинга объектов. Трекер объединяет сегментацию SAM3, 3D-реконструкцию Depth Anything 3, визуальные признаки DINOv3 и оценку движения, формируя устойчивые идентификаторы объектов и накапливая их геометрию во времени. Полученное объектно-ориентированное представление используется для генерации и проверки visual question answering (VQA). В докладе особое внимание будет уделено вопросам, требующим глобального понимания сцены: подсчёту уникальных объектов и сравнению их размеров на основе восстановленной 3D-геометрии.

👉🏻 Дата: 17.09.25, четверг в 17:00
📹 Трансляция Youtube или ВК

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#cv

🪼Наш сотрудник Никита Байнаев-Мангилёв на XI Международной конференции по когнитивной науке. Вторая часть полезных материалов!

Темы конференции — нейронаука, психология, лингвистика, математическое моделирование и ИИ. Если вам откликаются темы, то теперь у вас есть что почитать на выходных📖

Константин Анохин — гиперсетевая теория и когнитом

Представил гиперсетевую теорию высших функций мозга и понятие когнитома. В этой концепции сознание и субъективность возникают не в отдельной области мозга, а как системное свойство сети взаимодействующих нейронных ансамблей и следов индивидуального опыта. Ключевая идея состоит в том, что отдельные нейронные элементы и локальные сети объединяются в более сложную самоорганизующуюся архитектуру, способную формировать целостный субъективный опыт. Такой подход позволяет рассматривать сознание не как функцию одного «центра», а как результат организации и взаимодействия множества распределённых процессов в мозге.

🔗 Статья о когнитоме

Евгений Витяев — «Математически точный искусственный интеллект, основанный на моделях когнитивных процессов»

Представил работу «Математически точный искусственный интеллект, основанный на моделях когнитивных процессов». Его подход строится вокруг идеи, что мозг обнаруживает причинные связи во внешнем мире и использует их для прогнозирования. Автор формализует так называемые максимально специфические вероятностные правила и показывает, как из них можно получать непротиворечивые предсказания, устойчивые категории и модели восприятия и сознания.

🔗 Статья

Оксана Ещенко — межрегиональные взаимодействия мозга при пространственном обучении и навигации у крыс

Рассказывала о межрегиональных взаимодействиях мозга при пространственном обучении и навигации у крыс. В эксперименте одновременно регистрировали активность гиппокампа, префронтальной коры и таламического ядра reuniens; переход от исследования среды к целенаправленной навигации сопровождался усилением бета-синхронизации между гиппокампом и reuniens, а при навигационных ошибках эта связь ослабевала. Практически полная версия этой работы опубликована как препринт Hippocampus-reuniens beta coupling supports goal-directed spatial navigation, где показано, что сила этой связи растёт по мере повышения эффективности навигации.

🔗 Препринт

Булат Батуев и Сергей Сухов — управление направлением передачи активности между популяциями импульсных нейронов

Исследовали, как управлять направлением передачи активности между популяциями импульсных нейронов. Они моделировали LIF-нейроны и с помощью спектральных методов, включая partial directed coherence, оценивали, в каком направлении распространяется информация между популяциями. В опубликованной работе авторы показывают, что изменение режима внешнего воздействия и даже уровня фонового шума позволяет менять или инвертировать направление информационного потока в импульсной сети.

🔗 Статья

💫 — Начинаем семинар, присоединяйтесь к трансляции в ВК или на YouTube!

🎓 — Семинар 1. Использование человеческих эгоцентричных данных для обучения VLA и WAM моделей | Даниил Зелезецкий

Архитектуры Vision-Language-Action (VLA) в последние годы показали высокую результативность в задачах роботизированной манипуляции, однако их дальнейшее масштабирование во многом ограничивается доступностью обучающих данных.

В отличие от языковых и визуальных моделей, для которых существуют массивные наборы данных, сбор роботизированных траекторий требует использования реального оборудования, телеоперации и значительных временных затрат. В связи с этим человеческие эгоцентричные видео рассматриваются как значительно более масштабируемый источник данных о взаимодействии с физическим миром.

При этом непосредственное использование человеческих данных для обучения робота осложняется различиями в кинематике, морфологии и пространстве действий человека и робота.

Современные подходы решают эту проблему либо за счёт преобразования человеческих движений и построения унифицированного представления действий, либо используя эгоцентричные видео для обучения более общих представлений о динамике окружающего мира, которые затем могут быть перенесены между различными embodiment.

На данном семинаре аспирантом нашего Центра будут рассмотрены современные подходы к использованию человеческих эгоцентричных данных при обучении VLA и World Action Models (WAM).

Отдельное внимание будет уделено двум направлениям: масштабированию VLA за счёт совместного использования человеческих и роботизированных траекторий и обучению WAM, в которых человеческие видео используются для формирования представления о динамике среды и последствиях действий.

Будут рассмотрены преимущества такого подхода, способы переноса знаний между человеком и роботом, а также роль предсказания будущих состояний и латентной динамики в построении более универсальных роботизированных политик.

👉🏻 Дата: 10.09.26, четверг в 17:00
📹 Трансляция: YouTube или ВКонтакте

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#семинары #rl

🪼Наш сотрудник Никита Байнаев-Мангилёв съездил на XI Международную конференцию по когнитивной науке в Нижнем Новгороде. Делимся полезной информацией!

В Нижнем Новгороде прошла XI Международная конференция по когнитивной науке — это междисциплинарная конференция на стыке нейронауки, психологии, лингвистики, математического моделирования и искусственного интеллекта.

Сергей Парин — «В поисках сознания»

Обсуждал саму проблему определения сознания и предлагал искать не одно универсальное определение, а набор его признаков. Один из центральных тезисов состоял в том, что сознание можно рассматривать как механизм социального взаимодействия, а его отдельные предпосылки можно искать и у животных. В конце лекции эта проблема связывалась и с перспективой появления сознательных систем искусственного интеллекта.

Олег Кузнецов — «Может ли искусственный интеллект стать человекоподобным?»

Рассматривал различие между успешным решением интеллектуальных задач и настоящим пониманием. По его мнению, одних языковых моделей недостаточно для сильного ИИ: такая система должна быть автономным агентом, взаимодействовать со средой, формировать собственную картину мира и иметь собственные цели.

Татьяна Черниговская — лекция о языке как когнитивной способности

На примерах дельфинов, птиц и приматов она показывала, что животная коммуникация гораздо сложнее, чем принято считать: у некоторых видов есть индивидуальные «имена», они способны понимать человеческую речь и стоить достаточно сложные предложения. Поэтому граница между человеческим языком и коммуникацией других видов оказывается не такой однозначной, как долгое время предполагалось.

Скоро вторая часть, следите за обновлениями!

🪼Дайджест ЦКМ: что мы читали на этой неделе

Собрали для вас подборку интересных работ — от генерации поз схвата до универсальных моделей мира.

GraspGen-X: Cross-Embodiment 6-DOF Diffusion-based Grasping

Фундаментальная модель для генерации 6-DoF-позы схвата по геометрии объекта. Умеет адаптироваться к новым захватам через описание их рабочего объёма без отдельного переобучения. Ранжирует кандидатов по вероятности успешного схвата, используя опыт на миллиардах симуляционных примеров для тысяч объектов.

Быстрый тест на наших любимых объектах выдаёт вполне разумные позы для схвата.

🔗 статья| гитхаб

Hydra-0: Action Flow for Generalist World Modeling and Control

Универсальная модель мира, обусловленная последовательностью действий. Представляет действия робота в виде движения пикселей (action flow) — это позволяет моделировать последствия действий в разных воплощениях, задачах и средах.

Результаты впечатляют: на 90,4% меньшая погрешность при движении робота и на 60,2% — при движении объектов по сравнению с Cosmos-2.5.

🔗 сайт | статья

EmbodimentSemantic: A Spatial Scene-Graph Dataset and Benchmark for Vision-Language Models on Embodied Manipulation Trajectories

Авторы взяли датасет LIBERO-Spatial и построили для него графы пространственных отношений на основе состояния симулятора и геометрических эвристик. На полученных графах сравнили разные VLM по качеству предсказания триплетов. Также исследовали влияние графов на success rate VLA: во время evaluation графы генерировали из текущего состояния симулятора и добавляли к инструкции VLA, чтобы проверить, помогают ли они в задачах манипуляции.

🔗 статья

Q-Learning With World Models

Исследователи из Generalist представили GEN-1.5 — модель, которая способна обучаться новым физическим навыкам по одной демонстрации, без дообучения и градиентных обновлений.

Ключевые фишки:
— Physical prompting: в контекст передаётся полноценная сенсомоторная демонстрация (визуальные наблюдения, состояния робота и действия) — аналог in-context prompt для LLM.
— Масштаб претрейна: модель обучалась более 8 месяцев на большом объёме данных физического взаимодействия. Способность к one-shot in-context learning появилась как emergent property, а не была заложена в архитектуру.

Веса и pipeline пока закрыты, но blogpost уже есть.

🔗 blogpost

Похожее направление — In-Context Imitation Learning with Visual Reasoning (ICLR 2026)

Тоже in-context imitation learning по сенсомоторным демонстрациям, но с дополнительным visual reasoning: модель сначала предсказывает промежуточную визуальную траекторию движения робота в image space, а затем генерирует low-level actions. Reasoning выступает связующим звеном между наблюдением и действием.

Работа принята на IROS 2026, есть статья на arXiv и открытый код — в отличие от GEN-1.5, её уже можно изучать и воспроизводить.

🔗 статья | гитхаб

✏️Читаем, анализируем, берём в работу!

Симуляция становится промышленной инфраструктурой.
#партнёрский_пост

Бизнес-школа МФТИ — о том, как принципы работы с симуляторами в робототехнике перекликаются с подходами к стратегическому планированию.

В робототехнике симулятор используют для обучения алгоритмов управления до переноса на физическую машину. Это ускоряет разработку, однако создаёт проблему sim‑to‑real: робот успешно работает в модели, затем сталкивается с другой динамикой в реальности.

Показательный пример — калибровка коллегами из МФТИ привода антропоморфного робота в дифференцируемом симуляторе MuJoCo. Настройка параметров трения и инерции по данным энкодера и истории управляющих команд заняла около полутора минут и снизила ошибку положения на 64% — без дополнительных датчиков и дорогих стендов.

В этой логике физический робот поставляет данные для калибровки цифрового двойника, а основной объём экспериментов проводится в симуляции. Так симулятор становится частью инженерного контура — от его достоверности зависит качество управления и успех проекта.

Похожий принцип используется сейчас в «Третьей ступени»⁠: сначала строится модель новой индустрии и проверяется стратегическая ставка, затем она переводится в план реальных действий.

🪼Дайджест ЦКМ: что читают наши сотрудники?

Собрали для вас подборку свежих инструментов и статей — от альтернатив ROS2 до генерации схем для научных статей. Смотрим, анализируем, берём в работу.

Физический ИИ от прототипа до продакшена

Foxglove.dev — аналог Rerun.io для визуализации и отладки робототехнических систем. Удобный инструмент, чтобы смотреть данные с сенсоров в реальном времени и не терять время на самописные дашборды.
🔗 foxglove.dev | docs.foxglove.dev

DORA RS: 100% Rust для роботов

Агентная архитектура с потоками данных. В 10–17 раз быстрее ROS2 благодаря zero-copy shared memory, 4 паттерна коммуникации и production-ready fault tolerance. Если вы устали от ROS — присмотритесь.
🔗 dora-rs.ai | github.com/dora-rs/dora

PaperBanana: генерация схем для статей

Независимая реализация метода для автоматической генерации академических иллюстраций. Помогает быстро сделать схему метода, не тратя часы на визуализацию вручную.
🔗 github.com/llmsresearch/paperbanana | arxiv.org/abs/2601.23265

Семантический RL для VLA

Adapting Generalist Robot Policies with Semantic Reinforcement Learning — для тех, кто следит за развитием VLA-моделей и обобщением политик.
🔗 arxiv.org/abs/2606.31958

Графы опыта для самоулучшающихся агентов

Experience Graphs: The Data Foundation for Self-Improving Agents. Как структурировать опыт агента, чтобы он учился на своих же действиях.
🔗 arxiv.org/abs/2606.29823

☀️Хороших новостей много не бывает! Наши работы приняты на EMNLP 2026!

Пришли новости с ведущей конференции по обработке естественного языка — EMNLP 2026 (A*), которая состоится в Будапеште. У нашего Центра сразу несколько принятых работ!

🪼Extending LLM Context via Associative Recurrent Memory — Findings EMNLP 2026 (A*)
Среди авторов: Юрий Куратов, Айдар Булатов

Про развитие линейки RMT-моделей в кооперации с коллегами из MBUZAI. Работа с историей — и она того стоила.

🪼VLA Grounder: Language-Conditioning Space Optimization for Black-Box VLA Models — Main EMNLP 2026 (A*)
Среди авторов: Алексей Ковалёв, Дамир Шодиев, Алексей Староверов, Никита Качаев

Про ремпромпт VLA-моделей. Работа успела отметиться на воркшопе ICML и с первого раза прошла на конференцию!

🪼Does VLA Even Know the Basics? Measuring Commonsense and World Knowledge Retention in Vision-Language-Action Models — Main EMNLP 2026 (A*)
Среди авторов: Алексей Ковалёв, Никита Качаев

Про смещённость знаний в VLA-моделях.

🪼Multi-Specialist LLM Relay System for Competitive Programming — Main EMNLP 2026 (A*)
Среди авторов: Алсу Сагирова

Про мультиагентную эстафету для решения задач олимпиадного программирования.

🌱Поздравляем всех авторов с отличным результатом!

🦾 Результаты соревнований Up Great «Экспедиции.Земля» — мы снова в топе!

Ранее мы уже рассказывали о том, как команда TerraCognitaBot Олега Буличева разработывала решение для археологических раскопок в рамках конкурса Up Great «Экспедиция.Земля». Была проделана большая работа и мы готовы поделиться с вами результатами!

💫Наша команда заняла третье место и выиграла премию 4 млн рублей!
Нас обошли только крупные коммерческие компании с бóльшими ресурсами и опытом.

Для команды ЦКМ это отличный результат, подтверждающий, что наши разработки конкурентоспособны и против крупных индустриальных игроков. Но мы знаем, что это не предел, поддержите команду реакциями!

🪼Подробнее

🚍 Беспилотный автобус в Долгопрудном: наши технологии — в основе

В администрации Долгопрудного прошло совещание по запуску беспилотного общественного транспорта в городе. Ключевыми технологическими центрами проекта стали сотрудники ЦКМ Института ИИ МФТИ и МАДИ — наша объединённая команда уже располагает комплексом разработок для автономного управления.

Команда планирует развивать и интегрировать целый комплекс модулей: распознавание и прогнозирование поведения окружающих объектов, распознавание сигналов светофоров, систему интеллектуальной навигации, а также технологии мониторинга пассажирского салона, включая обнаружение забытых предметов. Отдельное внимание уделяется тому, чтобы максимально использовать уже имеющуюся бортовую инфраструктуру автобусов и дополнять её необходимыми сенсорами, в том числе лидарами.

«У Института уже есть практический опыт создания систем автономного транспорта. Совместно с коллегами из МАДИ специалисты МФТИ разработали и испытали беспилотный автомобиль на базе электрической «Газели», для которого команда Физтеха создавала систему высокоточной локализации и ряд алгоритмов автономного управления. Решение прошло серию испытаний, а накопленные технологии и программные модули теперь могут быть адаптированы для более сложной задачи — беспилотных пассажирских перевозок»,
— заведующий лабораторией интеллектуального транспорта ЦКМ Дмитрий Юдин.

⚡️ Этот проект — важный шаг от лабораторных разработок к технологиям, которые меняют городскую среду.