Сегодня первый день конференции Robotics Science and Systems 2024, которая проходит в Techincal University Delft в Голландии.

Мои мысли и заметки с первого дня. Большую часть времени я провел на workshop по Dexterous Manipulation, где рассказывали о том как собственно учить роботов манипулировать различными объектами. Главное наблюдение – все хотят больше данных, и придумывают различные хитрости чтобы их собирать.

Фундаментально в Robotics возможны два типа данных. Первый, это trial & error данные которые генерируют сами роботы (aka reinforcement learning, RL). В 99% эти данные из симуляций, что довольно часто приводит к проблемам переноса выученного поведения в реальность. Второй тип данных – это демонстрация человеком (aka imitation learning, IL). Этот подход набрал популярность в последние годы, и сейчас активно развивается, большинство SoTA в манипуляции построено на imitation learning. При этом, сильно упрощая, RL скейлится, но плохо работает, а IL работает но плохо скейлится.

Второе наблюдение – все мечтают о foundational model, которая сможет управлять чем угодно, любым embodiment (телом?), будь это гуманоид, “собаки”, либо любой роборукой, либо любой “ладонью”. Уверен что в течение года появятся работы, где авторы будут пытаться управлять одной моделью сразу всеми возможными роботами.

Во второй половине дня у меня была групповая экскурсия на AirSpace факультет TU Delft. Местная команда “летающих роботов” показала нашей группе свои разработки. Мне очень понравилась идея и демки квадрокоптера работающего на event-based камере (она показывает изменения яркости пикселей вместо самой яркости). Робот преобразует поток с такой камеры в сигналы непосредственное управляющие четырьмя двигателями. При этом control policy это Spiking neural network вычисляемая на neuromorphic chip от Intel. Такая архитектура позволяет этой полиси запускаться с частотой 300 Hz (это очень много для NN-based policy) и потреблять примерно в 100 раз меньше энергии чем аналогичные решения на стандартных вычислительных ресурсах типа Nvidia Jetson.

Очень понравились летающие роботы DelFly с хлопающими крыльями. Это такие робо-мухи или робо-стрекозы, очень легкие (самая маленькая 3 грамма) и к тому же очень маневренные. При этом роботы достаточно энергоэффективные, робот среднего размера может пролететь до 20 минут на одной зарядке.