Конференции потрясающая штука. На воркшопе рассказывал про наш прогресс. Решил помимо черрипикнутых видео, где мы конечно молодцы, показать лайв демо. Там наша модель местами работает, а местами не работает. И вообще про проблемы обучения VLA

Например, одна из необъясненных проблем это вот такие странные траектории. Это игрушечная модель которая учится кликать в одну из двух кнопок. Все траектории в данных у неё прямые и попадают прямо в середину кнопки. А потом на инференсе она заходит на цель с какого-то уголка и наворачивает невероятные вензеля (зеленый курсор наш)

В основном всем понравилось. Но один парень сказал, что я всё делаю неправильно, траектории курсора не нужны и все такое. Я задумался почему он неправ какое зерно правды в этом есть и к вечеру придумал три вероятных источника этой проблемы и какие эксперименты провести, чтобы её победить