Generalist AI представила GEN-1.5 - foundation model для роботов, которая умеет учиться новому физическому действию по одному короткому примеру, без дообучения.

Модели показывают действие длиной всего 3–12 секунд, после чего робот сразу пытается выполнить его сам. В тестах на 10 разных задачах такой one-shot подход дал в среднем 59% успешных выполнений.

Если дать модели 5 минут демонстраций и всего 10 шагов градиентного обучения, результат поднимается до 83%.

Есть и более странные примеры. GEN-1.5 умеет соединять два отдельных навыка в один сценарий, переносить демонстрацию из симуляции на реального робота и в некоторых случаях повторять действие, которое человек показал руками прямо перед камерой.

Модель также импровизирует: например, вместо щётки может использовать банан, чтобы сдвинуть предмет, или придумать другой способ работы с совком.

Пока задачи короткие и показатели далеко не идеальны. Но направление интересное: роботов постепенно начинают не программировать под каждый новый сценарий, а просто показывать им, что нужно сделать.

https://generalistai.com/blog/gen-1.5