Гарний приклад про який я говорив у минулому
відео. Якщо ти робиш з ШІ щось в чому твоє розуміння десь нульове, то нічого не вийде.
Хотів для машинки зробити стабілізацію відео, яка б працювала у браузері, на клієнті, в реальному часі, без затримки. Знайшов схожий проєкт на пайтоні, і засів з Codex портувати його на JS.
Від Codex я канєшна в захваті. Ми з ним спланували портування з пайтону по TDD, щоб на кожному кроці бути максимально наближеним до оригінальної імплементації.
Розробили фреймворк покадрового оцінювання та порівнювання якості стабілізації. Кодекс прям позадротськи підходить до вирішення задачі.
Сам продебажив перфоманс, знайшов повільну частину в JS, переніс її в С++ і зробив невеликий WASM модуль.
Але от результат вийшов дещо далеким від того що можна було б назвати стабілізацією. Звичайно стабілізація в реальному часі, лише по картинці — це нелегка задача, ще й так щоб воно працювало швидко і в браузері.
З цікавого виявилось що порт кодексу в деяких місцях працює краще ніж оригінал. Але вцілому воно майже не відрізняється від нестабільної картинки. І отут я нічого не можу зробити, бо не розумію принципи роботи цих алгоритмів.
Вийшло трохи покращити стабілізацію шляхом спеціалізації алгоритму під типові вібрації на машинках. Тобто стрибки вверх-вниз та кругова повздовжня вібрація, коли машинку кидає вліво вправо по кочкам.
А так загалом, найкращий спосіб стабілізації — це інтеграція показників з гіроскопу. Тому буду пробувати цей шлях.
Демо
https://romanliutikov.com/projects/stabilizer/
