Приключения Позитроника (Сергей Архангельский)

Сергей - фаундер прикольного стартапа Phail.ai - они измеряют насколько все эти новомодные модельки реально эффективны. Недавно Сергей проезжал через Берлин - и я решили поговорить с ним поглубже на эту тему и обсудить как в реальности можно забенчмаркать сложные события. Ну и про то как это вообще сегодня работает. Когда есть бесчисленное число рук, гриперов и вычислителей.
https://youtu.be/mo6mpvFdjVw

Спасибо Антону за разговор!

Как AI меняет общение:
На дискорд сервер пишет человек, рассказывает что ему нравится что мы делаем, говорит что прочитал мои посты в LinkedIn и на сайте. Год назад я бы ему поверил, а сейчас думаю — это правда он прочитал или это AI-flattering

Вот вам видео прямо с полей. Мы берем готовые AI-robotics модели (на этом видео это π 0.5) и дообучаем их выполнять реальные задачи. В данном случае, учим перекладывать полотенца из IKEA из одной коробки в другую.

С одной стороны, здорово что хоть что-то работает. Оно как-то перекладывает. Даже выучило что стоящее полотенце надо сначала "уронить" на дно, а потом уже перекладывать. С другой стороны, еще очень далеко до человека.

Следующим шагом будем измерять насколько именно далеко.

На прошлой неделе я наконец публично рассказал, чем именно мы занимаемся в Positronic. С момента моего предыдущего поста про компанию прошло почти полгода, и за это время у нас, мягко говоря, многое изменилось.

Главный инсайт за последний год – ML-робототехника пока не работает. В лабораториях – да, там есть интересные результаты. Куча денег вливается, много прогресса, но экономика всё ещё далека от сходимости: люди дешевле роботов.

Она сойдется, в этом нет сомнений, через несколько лет (от 5 до 10, по моим оценкам) нас ждет взрывной рост автоматзиации. Путь займёт гораздо больше времени чем многие думают. Поэтому мы сфокусировались на базовых вещах — данных, evaluation ML-robotics моделей и упрощении подкючения разного железа к ML-моделям.

Если любопытно, первая версия нашей open source библиотеки здесь.

Сегодня впервые в жизни имел серьёзный опыт общения с полтичиским чиновником — на Кипре. В России до этого сталкивался только на бытовом уровне: милиция, МФЦ и всё в таком духе.

Поразило как явно человеку очень нравится власть. Нравится быть важным, нравятся внимательные слушатели-подчиненные которые делают заметки, нравится раздавать поручения и ощущать, что он решает вопросы. Я не привык к такому в бизнес и стартап мире, для меня это что-то непривычное

И что интересно – он эффективен. Я вижу реальные результаты его работы, и мой вопрос тоже был решён позитивно. Но вот эта смесь самовлюблённости и наслаждения своей властью — запомнилось.

Не знаю, бывают ли выборные чиновники другими, или это необходимая часть роли?

Счастье это когда тебе не надо быть кем-то или чем-то

Многие из моих знакомых знают, что начиная с осени прошлого года я начал новый проект – Positronic Robotics.

На базе искусственного интеллекта мы разрабатываем домашнего робота–помощника – машинку выполняющую рутинные домашние обязанности которые люди ненавидят – загрузка и разгрузка посудомойки, очистка кухонного стола и кухни, уборка сухих и мокрых пятен, наведение порядка и т.п.

Во вселенной Азимова изобретение “позитронного мозга” стало ключом к созданию по-настоящему полезных роботов которые смогли облегчить жизнь людей. А в нашей вселенной в текущий момент “мозги” являются единственным барьером к тому, чтобы роботы помогали ежедневно нам на кухне. “Тела” (сервомоторы, электроника, материалы для каркаса) уже достаточно хороши, что доказано, например, вот этим экспериментом, в котором телеуправляемый робот прекрасно справляется с домашними обязанностями.

Почему домашние роботы? Искусственные “мозги” для роботов это одна из самых важных, если не самая важная на текущий момент задача в моей области. А как говорил Ричард Хэмминг, вы готовы делать работу на Нобелевскую премию тогда когда вы сами решили что готовы делать её.

Здесь в канале я буду делиться нашим прогрессом и новостями. Подписывайтесь.

Channel name was changed to «Приключения Позитроника (Сергей Архангельский)»

Channel photo updated

AI очень сильно меняет то как мы учимся. Десять лет назад, наблюдая за бурным развитием платформ для онлайн образования вроде Coursera, я завидовал современным студентам, у которых теперь есть доступ к любым знаниям. Но по сравнению с тем что становится возможным сейчас это все мелочи.

Теперь, вместо того чтобы подробно разбираться в статье, можно ее загрузить в ChatGPT и позадавать ей вопросы. Чувствуется это как будто ты болтаешь с автором на poster session на конференции. Вот мой недавний пример: https://chatgpt.com/share/67b9a574-7750-800e-bc97-95ee8f7edae4

По мотивам посещения конференции экспериментирую с телеуправлением роборукой 🤖. Берем трекинг от Meta Quest 3 и прокидываем на libfranka.

Сегодня первый день конференции Robotics Science and Systems 2024, которая проходит в Techincal University Delft в Голландии.

Мои мысли и заметки с первого дня. Большую часть времени я провел на workshop по Dexterous Manipulation, где рассказывали о том как собственно учить роботов манипулировать различными объектами. Главное наблюдение – все хотят больше данных, и придумывают различные хитрости чтобы их собирать.

Фундаментально в Robotics возможны два типа данных. Первый, это trial & error данные которые генерируют сами роботы (aka reinforcement learning, RL). В 99% эти данные из симуляций, что довольно часто приводит к проблемам переноса выученного поведения в реальность. Второй тип данных – это демонстрация человеком (aka imitation learning, IL). Этот подход набрал популярность в последние годы, и сейчас активно развивается, большинство SoTA в манипуляции построено на imitation learning. При этом, сильно упрощая, RL скейлится, но плохо работает, а IL работает но плохо скейлится.

Второе наблюдение – все мечтают о foundational model, которая сможет управлять чем угодно, любым embodiment (телом?), будь это гуманоид, “собаки”, либо любой роборукой, либо любой “ладонью”. Уверен что в течение года появятся работы, где авторы будут пытаться управлять одной моделью сразу всеми возможными роботами.

Во второй половине дня у меня была групповая экскурсия на AirSpace факультет TU Delft. Местная команда “летающих роботов” показала нашей группе свои разработки. Мне очень понравилась идея и демки квадрокоптера работающего на event-based камере (она показывает изменения яркости пикселей вместо самой яркости). Робот преобразует поток с такой камеры в сигналы непосредственное управляющие четырьмя двигателями. При этом control policy это Spiking neural network вычисляемая на neuromorphic chip от Intel. Такая архитектура позволяет этой полиси запускаться с частотой 300 Hz (это очень много для NN-based policy) и потреблять примерно в 100 раз меньше энергии чем аналогичные решения на стандартных вычислительных ресурсах типа Nvidia Jetson.

Очень понравились летающие роботы DelFly с хлопающими крыльями. Это такие робо-мухи или робо-стрекозы, очень легкие (самая маленькая 3 грамма) и к тому же очень маневренные. При этом роботы достаточно энергоэффективные, робот среднего размера может пролететь до 20 минут на одной зарядке.

В первый раз за 2.5 года оказался в Москве. Очень смешанные ощущения.

С одной стороны все знакомое, все родное, все такое же как и было. Ну может только стало больше китайских машин на улицах. А так рестораны и кафе как всегда изысканны и модны, улицы чисты и просторны, люди красивы и ухоженны. Лоск, масштаб и амбиции ни куда не делись, может даже выросли. Ну не работает Apple Pay, но это мелочь.

Правда еще не работает множество VPN сервисов, некоторые сайты не открываются, и в воздухе атмосфера двоемыслия. Правда что чем громче музыка, тем легче не замечать этот диссонанс?

Вчера продолжил читать книгу Deep Work, которую начал достаточно давно, но так и не закончил. И сегодня, вдохновленный ею, пробовал работать “глубоко” – без уведомлений (включил режим Do Not Disturb), без чтения почты и мессенджеров, без “уделения” внимания другим задачам. Только кодинг.

И это оказалось достаточно сложно. Первый час прошел быстро, и он был очень эффективным. Через час захотелось сделать разминку, пройтись, выпить чай, потянуться. Другими словами, передохнуть. Несмотря на перерыв, второй час был уже менее эффективным, мне было сложнее сконцентрироваться, несколько раз я ловил себя на желании отвлечься – проверить не написала ли мне что-то жена, проверить почту. Очень интересно было подтвердить слова Nir Eyal о том что причины отвлечения от работы в подавляющем большинстве внутренние, а не внешние. Другими словами, часто мы сами хотим отвлечься.

Третий час был еще менее эффективным, хотелось отвлекаться еще чаще, особенно когда возникали сложности. Но даже за эти 3 часа неидеальной глубокой работы мне удалось очень хорошо продвинуться. Буду продолжать экспериментировать с “глубокой” работой, мне интуитивно кажется что это может сильно улучшить качество жизни и продуктивность.

Channel name was changed to «Размышления и Отражения»

Channel photo updated

Video version of “Sparks of AGI” paper. Great examples of what GPT4 is capable of.

https://youtu.be/qbIk7-JPB2c

Люблю такое – как выглядела бы Джоконда в разных странах мира. Автор.