Возглавил направление AI Core & Bitrix Robotics в Битрикс24

Вартанян уже рассказал, что Битрикс24 открыл лабораторию робототехники
Тот Валера, который приезжал ковырять нутро и мозги пациента, это я
Робота зовут Марта, это гуманоид AgiBot X2

На видео Марта сама встаеет с пола, держит толчок, здоровается по имени, показывает сердечко и прощается
Пульта нет, управление передано агентному харнесу, ничего не записано заранее
Ей говорят голосом, она решает, что сделать, и делает

Мозги Марты подключены к омни-модели, она даёт низкую задержку и живой голос, с Мартой приятно разговаривать
Сверху агентный харнес, тот же, на котором мы последние месяцы собирали Коворк и BitrixGPT, промпты, скиллы, память о людях, инструменты и интеграция в Битрикс24

Только вместо bash и git у неё шаг, разворот, жест, камера
Через харнес получилось не просто дёргать робота командами
Марта понимает, кто перед ней, о чём её попросили и получилось ли сделать

Производитель отдаёт железо, ходьбу, баланс и набор жестов
Остальное делаешь сам, вот примерный набор что надо сделать, собрать, протестировать, и часть запихнуть на пк внутрь робота

VAD понимает, когда человек начал и закончил говорить
STT переводит речь в текст
TTS отвечает голосом
AEC подавление эха, чтобы Марта не слышала и не перебивала саму себя
Hardware Bridge мост к железу робота: камеры, лидар, микрофон, динамик, жесты, ходьба
Face Recognition узнаёт людей по лицу и помнит, кто есть кто
Object Detection видит предметы на всех камерах и знает, на каком они расстоянии
Mapping строит карту помещения по лидару и камере глубины
Localization понимает, где она стоит на этой карте
Orientation знает, куда повёрнута и куда смотрит
Lidar Obstacle Avoidance видит препятствия лидаром и обходит их
То есть всё, что превращает ходячее железо в робота, с которым можно работать

Робот отдаёт данные с датчиков и выполняет команды, а мозги пока живут на отдельном компьютере
Следующий шаг: перенести их на борт, на Jetson Orin внутри робота

Самое сложное сейчас
Научить Марту понимать, где она находится
Камеры, стерео, глубина, карта помещения есть, а быстрой и честной локализации из них пока не собрали
Бывает, она уверена, что стоит у окна, а стоит у стола
На видео она уже находит меня по детекциии лиц меня и идёт к столу, но пока не с первого раза
Когда начнёт уверенно знать, где стоит, "подойди ко мне к столу" станет рабочим сценарием

Мне это напоминает GPT в 2023, готовых бизнес-кейсов ещё нет, интерес уже есть
Будем строить место, где роботы и люди работают вместе, внутри экосферы Битрикс24

Дальше буду рассказывать, как учим Марту ориентироваться и какие грабли собрали по пути

Stay tuned!