В Китае создали «мозг» для роботов, предсказывающий последствия действий
 
Как сообщает Robbyant, подразделение китайской Ant Group в области воплощенного ИИ, компания представила модель LingBot-VA 2.0. Ее называют первой в отрасли моделью, созданной специально для роботов: она не адаптирована из систем генерации видео, а разработана с нуля для работы в физическом мире.
Большинство существующих систем воплощенного ИИ строят на видеомоделях, которые изначально разрабатывали для генерации цифрового контента — то есть для создания красивых картинок и роликов. Такие модели хороши в реалистичности изображения, но не в физической точности и скорости исполнения действий. Как отмечают в Robbyant, при адаптации подобных систем под управление роботами страдает и способность модели обобщать опыт на новые ситуации, и реальная производительность в физическом мире.
LingBot-VA 2.0 пошла другим путем — ее обучили с нуля именно на задачах из физического мира, а не «докрутили» под них уже готовую видеомодель. В основе лежит авторегрессионная архитектура — это значит, что система строит предсказания шаг за шагом, каждый раз опираясь на предыдущий результат. Модель прогнозирует, как действия робота изменят окружающую обстановку, и на основе этих причинно-следственных связей выбирает следующее действие.
Разработчики выделяют четыре ключевых архитектурных решения.
✔️ Первое — семантический визуально-действенный токенизатор, который совместно сжимает визуальную информацию и данные о действиях, помогая модели точнее переводить словесные инструкции в конкретные движения робота.
✔️ Второе — строгая причинная стратегия предобучения, которая следит, чтобы предсказания шли в правильном временном порядке, не перепрыгивая и не путая последовательность событий.
✔️ Третье — архитектура Mixture of Experts, «смесь экспертов», при которой модель состоит из множества специализированных «под-моделей», и для каждой задачи включаются только нужные из них. Это увеличивает общие возможности системы, не замедляя при этом скорость ее работы.
✔️ Четвертое — усовершенствованный асинхронный механизм вывода, который позволяет роботу одновременно предсказывать будущие состояния и выполнять текущие действия, постоянно корректируя решения на основе реальных наблюдений.
По словам компании, все эти решения вместе позволяют управлять роботом в реальном времени с частотой 150 герц на одной видеокарте — то есть система обновляет свои решения 150 раз в секунду. Модель также способна освоить новую задачу манипуляции всего по 20 демонстрациям, используя обучение в контексте — без необходимости заново настраивать параметры самой сети.
 
(По материалам сайта «Наука»)