В гуманоидных роботах все пытаются сделать "LLM moment”: обучить роботов делать произвольные действия в новом окружении. Это ключевое свойство AI-систем – генерализация.

Квартиры довольно уникальные, дырки в носках тоже у всех уникальные, поэтому без генерализации настоящих домашних гуманоидов не построить.

Вот классный видос где ребята из стартапа Physical Intelligence снимают три случайных квартиры на Airbnb чтобы проверить генерализацию уборки посуды и прочих задач. В одной из квартир робот решил что плита это шкаф и всю посуду сложил в плиту. Что-ж.

В отличии от текстовых моделей, в роботных задачах есть проблема: не на чем обучаться. Тебе нужны тысячи и десятки тысяч часов видео каждой конкретной работы от первого лица – а таких мало. А часто нужны ещё дорожки с сенсоров – ведь это сквозная система из глаз, ручек и ножек.

Есть три основных направления:
- Сажать людей с камерами на лбу мыть посуду
- Сажать роботов подключённых к телеметрическому управлению мыть посуду
- Симулировать реальность: делать максимально похожие на настоящие, но разнообразные кухни, и мыть там посуду

Последнее выглядит особенно прикольно, но в реальности там сложно с разнообразием и корректностью. Мою квартиру точно не сэмулируешь – у меня тут странная лепная посуда и дерзкий кот.

Вот тут можно позалипать в почти 4к-часовой видео датасет людей которые делают разные задачи от первого лица в разных точках мира. Да, мы сами собираем данные для того чтобы роботы нас захватили 🌟