Программируем роботов

Помните, я писал, как обстукиваю идеи об AI? Но лучше всего я думаю у доски: рисую стрелки, зачеркиваю, показываю пальцем — «вот тут что-то не сходится». Хочется, чтобы AI участвовал и в этом процессе.

Представляю Робина рядом: видит доску и мои каракули, слышит, что я объясняю, связывает это с тем, что обсуждали раньше. Я меняю схему, а он замечает, как поменялся аргумент.

Имхо, робот тут был бы очень кстати: повернуть камеру туда, где я рисую или на что показываю, а потом повернуться ко мне, когда обсуждаем идею. И показать без слов, что у него есть мысль. Захотелось разобраться, насколько сложно сделать такое.

Мы с Codex поресерчили варианты и нашли Reachy Mini: у него есть Python SDK и симулятор, поэтому можно начать с привычного кода, еще до покупки железа. Собрали демо: по обращению робот поворачивается к доске, кадр с его виртуальной камеры идет в Codex SDK, а модель задает вопрос по увиденному.

На тестовой доске были цель — понять, почему уходят пользователи, и план — выпустить пять новых фич. Агент прочитал записи и спросил, как выпуск фич поможет выяснить причины ухода. В видео — симуляция, на картинке — как хочется, чтобы это выглядело вживую.

В целом, никакого rocket science, дружбан вам поможет с этим справиться. Ключевой вопрос: что именно добавляет физическое присутствие? Например, по повороту головы видно, куда Робин смотрит, а поднятый усик может означать, что у него есть мысль.

Если тоже хотите попробовать, у Reachy есть пошаговые туториалы: движение головы и усиков, камера и звук. А Conversation App можно посмотреть как пример того, как соединить это с LLM.