Data science, наука о данных.
@haarrp - админ
РКН: clck.ru/3FmyAp
Post #4670
4.96K
🇨🇳 Ant Group выпустили LingBot-Depth — open-модель, которая закрывает одну из самых больных проблем робототехники
Это редкий случай, когда софт реально лечит хардверную боль.
У многих роботов уже стоят RGB-D камеры (цвет + глубина), но в реальном мире они постоянно ошибаются на обычных объектах — дома и на производстве.
Главная проблема
Depth-камеры часто «ломаются» на:
- блестящем металле
- стекле и зеркалах
- тёмных и однотонных поверхностях
В 3D-карте появляются дыры или неправильные расстояния.
Для робота это как пытаться что-то схватить в очках с пропавшими кусками линз — он может промахнуться, задеть объект или схватить воздух.
Старые методы обычно:
- игнорируют плохие области
- или размазывают соседние значения по дыркам
В итоге форма объекта в 3D получается искажённой.
Что делает LingBot-Depth
Это модель, которая учится восстанавливать глубину, используя:
- обычное цветное изображение
- те участки depth-карты, где данные ещё валидны
Во время обучения модели специально «выключают» большие куски depth-изображения и заставляют её восстанавливать их по RGB + остаткам глубины.
Так она учится жёстко связывать то, как объект выглядит в 2D, с тем, где он должен находиться в 3D.
Ключевой момент — сохранение метрического масштаба.
Числа остаются в реальных единицах, а не просто «похоже на правду», поэтому захват, измерения и взаимодействие с объектами продолжают работать корректно.
Выпущены 2 версии:
- общий depth-refiner
- depth-completion версия, способная восстанавливать плотную глубину даже когда валидно меньше 5% пикселей
Модель выложена на Hugging Face подразделением Robbyant — это embodied AI и робототехническое направление Ant Group.
github.com/Robbyant/lingbot-depth
Это редкий случай, когда софт реально лечит хардверную боль.
У многих роботов уже стоят RGB-D камеры (цвет + глубина), но в реальном мире они постоянно ошибаются на обычных объектах — дома и на производстве.
Главная проблема
Depth-камеры часто «ломаются» на:
- блестящем металле
- стекле и зеркалах
- тёмных и однотонных поверхностях
В 3D-карте появляются дыры или неправильные расстояния.
Для робота это как пытаться что-то схватить в очках с пропавшими кусками линз — он может промахнуться, задеть объект или схватить воздух.
Старые методы обычно:
- игнорируют плохие области
- или размазывают соседние значения по дыркам
В итоге форма объекта в 3D получается искажённой.
Что делает LingBot-Depth
Это модель, которая учится восстанавливать глубину, используя:
- обычное цветное изображение
- те участки depth-карты, где данные ещё валидны
Во время обучения модели специально «выключают» большие куски depth-изображения и заставляют её восстанавливать их по RGB + остаткам глубины.
Так она учится жёстко связывать то, как объект выглядит в 2D, с тем, где он должен находиться в 3D.
Ключевой момент — сохранение метрического масштаба.
Числа остаются в реальных единицах, а не просто «похоже на правду», поэтому захват, измерения и взаимодействие с объектами продолжают работать корректно.
Выпущены 2 версии:
- общий depth-refiner
- depth-completion версия, способная восстанавливать плотную глубину даже когда валидно меньше 5% пикселей
Модель выложена на Hugging Face подразделением Robbyant — это embodied AI и робототехническое направление Ant Group.
github.com/Robbyant/lingbot-depth
- ❤ 13
- 👍 5
- 🔥 3
