#GPTApplication LIV: Языковая ценность изображения для роботов 🤖

🤓 В статье Language-Image Value Learning представлен новый подход, который сочетает в себе reinforcement learning и mutual information constractive learning для обучения роботов зрительно-языковому представлению с использованием системы вознаграждений.

Основные выводы из статьи:

🗂 Можно использовать большие наборы видеоданных для обучения моделей. Затем модель самостоятельно может назначать вознаграждения (поощрение за правильные действия модели) отдельным кадрам в видео, где могут быть представлены роботы или люди, выполняющие определенные задачи в новых условиях.

🧠 LIV можно зафайнтюнить за счет точной настройки с использованием данных, специфичных для предметной области, что позволит лучше управлять роботами.

👨‍💻 К примеру, робота из видео, готовящего сочный 🍔, тренировали на датасете EpicKitchen

Мы уже рассматривали Tennis AI как пример обучения моделей на специфических данных, теперь доступно на роботах 🤖