Surgical Robot Transformer (SRT): Imitation Learning for Surgical Tasks

заимплементить трансформер под хирургического робота так, чтобы он мог зашивать раны и не только? да!

авторы из стенфорда решили такое сделать, и получилось очень даже круто. при том они не используют никакие данные из кинематики, а только картиночные инпуты (которые даже сильно даунсемплят до 224х224х3, но результат все равно очень даже крутой). и это довольно нетривиально для такого рода работ

реализуют на основе имитейшн лернинга и Action-Chunking Transformer, который группирует небольшой чанк действий в одну группу и третирует их как один юнит. сделано это для того, чтобы нивелировать момент накопления ошибок (который довольно часто случается во время инференса при сетапе имитейшн лернинга)

еще есть залипательные видосы с демонстрацией работы трансформера

ждем теперь, когда такое будет возможно делать в более-менее сносном темпе

👀LINK