Конференция объединила исследователей ИИ со всей России. И наши ребята внесли свой вклад, представив работы Центра и партнёров:
🪼Татьяна Земскова с работой "Beyond Bare Queries: Open-Vocabulary Object Grounding with 3D Scene Graph"
Подход под названием BBQ (Beyond Bare Queries) помогает в решении проблемы автономных агентов по поиску объектов, неоднозначно описанных на естественном языке. Он создает представление 3D-сцены в виде графа с метрическими и семантическими пространственными связями и задействует крупную языковую модель в качестве интерфейса «человек-агент» через наш алгоритм дедуктивного анализа сцены.
🪼Анатолий Онищенко с работой "LookPlanGraph: Embodied Instruction Following Method with VLM Graph Augmentation"
Метод, который объединяет графовое планирование с динамическим обновлением сцены, позволяет роботу адаптироваться к изменяющейся среде и корректировать план действий в процессе выполнения задачи.
🪼Адитья Нарендра с работой "M3PO: Massively Multi-Task Model-Based Policy Optimzation"
Новый метод M3PO, расширяющий классическую архитектуру Proximal Policy Optimization (PPO), в которой объединены мультизадачность и модель мира, которую робот выучивает в процессе взаимодействия при онлайн-обучении. В результате метод обеспечивает быстрое обучение компактных с точки зрения количества параметров стратегий, пригодных для быстрого развертывания на робототехнических манипуляторах.
🪼Григорий Горбов с работой "CrafText Benchmark: Advancing Instruction Following in Complex Multimodal Open-Ended World"
CrafText — бенчмарк для оценки способности агентов следовать инструкциям в мультимодальной среде с разнообразными заданиями и динамическим взаимодействием. CrafText включает 3924 инструкции, содержащие 3423 уникальных слова, и охватывает задачи из разных областей.
🪼Ева Бакаева с работой "AmbiK: Dataset of Ambiguous Tasks in Kitchen Environment"
Обработка неоднозначных инструкций в реальных условиях представляет сложность для LLM. Существуют различные методы выявления неоднозначности задач, однако их сравнение затруднено из-за использования разных наборов данных и отсутствия универсального эталона. Решить эту проблему поможет AmbiK (Ambiguous Tasks in Kitchen Environment) — полностью текстовый набор данных, содержащий неоднозначные инструкции, предназначенные для робота в кухонной среде.
#CV #VLM #AI