Стартап Generalist анонсировали робота, который может выучить действие всего за одно повторение

Достаточно один раз показать GEN-1.5, что и как надо сделать, и он тут же сможет продолжить делать это самостоятельно в one-shot, без файнтюнинга и обновления весов.

Демонстрация вставляется в контекстное окно модели, как в промпт у LLM. Модель смотрит на это как на часть последовательности и продолжает ее.

Самое интересное, что это эмерджентное свойство. Авторы прямо пишут, что они не делали никаких архитектурных изменений под in-context learning, просто скармливали модели огромный объем физического опыта (дома, склады, заводы и пр), и она сама начала показывать способность к обучению по одному примеру. Примерно как GPT-3 когда-то.

При этом в блоге написано, что иногда in-context обучение работает даже лучше, чем 1-5 шагов дообучения на тех же данных.

https://generalistai.com/blog/gen-1.5