RoboFuture

Прикрутил одну из популярных LLM к голосовой колонке Сбера. Наконец-то с голосовыми помощниками теперь можно вести по-настоящему содержательные разговоры. Кажется, гештальт с говорящими колонками на этом можно закрывать.

Пока работает не очень быстро, но ускорение - это лишь вопрос времени.

https://youtu.be/PW6AHgKSQUE

Написал статью о том, как можно обучить GPT-3 своей картине мира и сделать из неё чат-бота для Telegram. Вот что из этого может получиться!

https://habr.com/ru/post/712534/

Ещё один пример, который сносит крышу.
Я хотел найти утилиту, которая бы переводила текст в буфере обмена Rus <-> Eng, чтобы не тратить время на поход в Google Translatе, но ничего подобного не нашлось.

Тогда я попросил ChatGPT написать мне такую программу и она выдала некий код. Код я запустил и к моему бесконечному удивлению он заработал сразу без каких-либо ошибок и дополнительных настроек!

Код выложил на GitHub. Readme и лицензионное соглашение также сгенерированы сетью! Все права принадлежат ИИ.

https://github.com/Rai220/clipboard_translator

Пример запроса по которому была выполнена генерация: Write a python program that translate text in the clipboard on hotkey and puts it back to clipboard. The program need to translate Russian to English and English to Russian.

Давно ничего не писал, но мимо темы ChatGPT пройти не могу! Это новая модель от Open AI которая рвёт тест Тьюринга на британский флаг. Она не просто общается как человек, а оказывается действительно интересным собеседником на сложные темы. Я решил выяснить, что она "думает" о гипотезе, что основная часть нашего интеллекта содержится в языке на котором мы разговариваем. В результате получился интересный диалог. Вот небольшая выдержка:

Я: Как связаны разум и язык?
Сеть: ... Можно утверждать, что основная часть ума и мышления заключается в правилах человеческого языка, поскольку язык обеспечивает структуру и основу для наших мыслительных процессов ...

Я: Возможен ли разум, сравнимый с человеческим, без языка?
Сеть: ... Трудно представить разум, сравнимый с человеческим, без языка, поскольку язык играет решающую роль в формировании наших мыслей и поведения. Без языка мы не смогли бы выражать или передавать свои мысли и идеи, и нам не хватало бы концептуальных рамок и ментальных структур ...

Я: Если принять, что основная часть разума находится в языке, то возможно ли, что большие языковые машины могут быть разумными?
Сеть: ... важно признать, что самосознание — сложная концепция для воспроизведения в машине, и неясно, возможно ли создать действительно самосознающий искусственный интеллект ...

Я: Как понять, что у большой языковой модели есть сознание?
Сеть: ... есть некоторые потенциальные индикаторы того, что большая языковая модель может иметь сознание. Например, если машина способна заниматься саморефлексией и самоанализом, и если она способна принимать решения и совершать действия на основе своих внутренних психических состояний, это можно рассматривать как свидетельство наличия сознания. ...

Полную версию интервью (с озвучкой и отрисовкой от Visper) можно посмотреть тут - https://youtu.be/DmijfRiA3_Q
Сразу предупрежу, что синтез звучит несколько занудно, но с учетом крайней актуальности темы послушать всё-таки советую!

Амазон выпустил домашнего робота за $999. Мой прогноз попал почти в точку.

https://www.youtube.com/watch?v=sj1t3msy8dc

🔥 Ты всего лишь машина, имитаця жизни. Может ли робот написать симфонию, создать шедевр? - кажется, ответ на этот известный вопрос, заданный Азимовым, скоро станет утвердительным.

Я только что разговаривал с сетью GPT-3 в режиме чата, задавая ей всякие философские вопросы. Посмотрите, какая красота получается! Жирным выделен текст, который генерирует сеть в ответ на мои вопросы - я не вносил никаких правок, кроме форматирования.

Кажется, мы с вами живем в очень интересное время!

P.S. Оригинал диалога был, конечно, на английском. Прогнал через гугл-переводчик. Русской версии GPT-3 пока не существует.

Давно не писал, но этим не могу не поделиться. На kickstarter наконец-то появился интересный проект домашнего робота - Nabot AI. Ребята показывают очень правильный путь развития для роботов-пылесосов (формфактор пылесос + манипулятор + CV с распознаванием домашней обстановки).

Думаю, что в эту игру уже включились Amazon, iRobot и Xiaomi, которые выпустят свои продукты через 1-2 года. Уровень развития CV, AI и роботехники сегодня позволяет делать те кейсы, которые показаны в описании проекта.

(В то же время совсем не призываю инвестировать именно этого робота - не думаю, что они смогут выпустить законченный продукт)

https://www.kickstarter.com/projects/ximpatico/nabot-ai-trainable-and-programmable-robot

​Не могу не поделиться. Один мой знакомый запилил проект сети (на базе GPT-2), в котором ИИ помогает писать тексты (вы начинаете писать - сеть подхватывает). Потестить можно здесь: https://text.skynet.center/
Система неплохо справляется с текстами на любую тему, но я решил проверить, что получится, если попробовать сгенерировать сказку. В итоге получилось это!

Черный текст написал я, синий - сгенерировала сеть. В середине мне уже самому стало интересно, чем же все закончится 😂

Мне кажется, это готовый скилл для голосовых колонок - "Алиса, расскажи сказку!" и она генерирует каждый раз разные истории такого плана. Это просто хит получится!

​Это же просто мат. статистика! как она может что-то понять? Там же просто матрицы перемножаются и все! Такой аргумент можно услышать про AI/ML. И да, и нет. Конечно, внутри лежат понятные принципы и каждый отдельный нейрон устроен очень просто, но в какой-то момент количество начинает переходить в качество. Мы же не говорим, что мозг это просто кучка атомов, а эволюция - просто набор случайных изменений.

Процесс обучения сети основан на большом количестве шагов при которых небольшие полезные достижения накапливаются, в результате во внутренних слоях возникает некое подобие абстракции, если эта абстракция удобна для достижения цели.

Мне очень нравится пример с картинки. На нем показано содержимое одного из внутренних слоев нейронки, распознающей изображения (конволюционных ядер).

Это те объекты, на которые сеть научилась обращать внимание, посчитала их важными - чётко выделяются глаза, узоры шкур, прямые углы человеческих предметов, градиенты.

Только подумайте - сеть с нуля вывела, что в мире существуют объекты с глазами и это важно для распознавания изображений! Это совсем не похоже на классическую статистику.

Кстати, если вам хоть немного интересна биология, очень рекомендую почитать фундаментальную книгу академика РАН Александра Маркова "Рождение сложности".

ИИ и поиск абстракций. Очевидно, что даже сегодняшней ИИ очень силен в поиске скрытых зависимостей. Взять Хотя бы вот эту новость - AI может за год предсказать смерть без видимых (для врачей) причин по кардиограмме. (https://incrussia.ru/news/nejroset-nauchili-predskazyvat-smert/). То есть оно работает, очевидно что там есть какие-то внутренние зависимости, но никто толком не знает какие и из обучившейся сети достать эти знания очень трудно.

Дальше будет больше. Слабый, но мощный ИИ будет находить все больше таких скрытых законов во всех областях нашего мира, от физики до социологии. Google уже заигрывает с поиском решений для квантовой гравитации через ML (https://ai.googleblog.com/2019/11/new-solutions-for-quantum-gravity-with.html?m=1), а ведь может так оказаться, что эта теория в принципе не постижима для учёных с нашим уровнем математики.

Люди двигаются всегда по одному шагу. Нельзя придумать банк, не подумав деньги, нельзя придумать оркестр или iTunes, не придумав абстрактного понятия музыки. Поэтому принципы на которых делаются прогнозы сетью мы скорее всего не поймем, но если это работает и она действительно может предсказать информацию, важную для жизни, то какая разница, как? Скажите мне где и почём!

​🤖 Я жду, что в ближайшее время (1-3 года) на рынок выйдет домашний робот с функционалом бОльшим, чем у пылесоса и ценой до $1000. Это будет устройство со следующими способностями:
a) Навигация и перемещение по дому, распознавание типов комнат
b) Голосовое управление
c) Способность манипулировать небольшими предметами (мелкая уборка, перемещение, сортировка, поиск)
в) CV с распознаванием людей и бытовых предметов
г) API с набором высокоуровневых команд, вроде “взять предмет”, “идти в комнату”, “обход помещения”, “ожидание появления человека в зоне видимости”.

Главный вопрос - варианты применения. Практика показывает, что такой вопрос не в силах решить даже крупная корпорация вроде Apple (вспомните, какие приложения были в первом iPhone), поэтому главным фактором в продвижении такого устройства должен быть магазин приложений (навыков) и SDK для их разработки, тогда независимые разработчики смогут быстро проверить десятки тысяч гипотез и найти области применения, где этот робот действительно будет нужен и полезен.

Технически у нас все уже для этого есть - мобильные чипы уже неплохо справляются с задачами CV и навигации по камерам, а сверх точные манипуляторы при таком подходе не нужны.

Я думаю, что как только такой продукт появится на рынке (например от Amazon или Google), стоит вкладываться в его изучение - разработчикам это даст очень востребованные навыки, бизнесменам - возможность занять лучше места в пока свободной ракете.

А пока посмотрите на очередного кандидата - корейского робота Liku от компании Torooc с неплохим фукнционалом и отличными внешними данными.

http://www.likuwith.me/?ckattempt=1
У них есть канал на YouTube где они показывают работу своих прототипов и пробуют найти кейсы использования - многие очевидно совершенно нежизнеспособные, о чем я выше как раз говорил: https://www.youtube.com/channel/UCDpo9NfE0x4895vlguEj-jw/featured

Да, это не Atlas от Bostom Dynamics, но выглядит достаточно неплохо для домашнего испльзования (хотя я думаю, что первый популярный домашний робот будет больше похож на смесь Amazon Echo и iRobot Roomba).

Хотите, чтобы этот малыш пытался поднимать вещи с полва в вашем доме?

Внезапно все вокруг стали запускать сетку, извлекающую вокал и минусовку из аудиозаписи. Также есть фукнция разделения на отдельные инструменты. Работает просто потрясающе! По сравнению с теми алгоритмическими фильтрами, что были раньше (например, удаление вокала в Audacity), это просто небо и земля - скачок на два порядка минимум! Отдельно стоит отметить, что обработка происходит практически мгновенно даже без GPU.

Прогнал через сеть немного известных песен, послушайте, как она справилась с песней “прекрасное далеко”!

Ссылка на GitHub для самостоятельного запуска: https://github.com/deezer/spleeter

🦁 Профессия - дрессировщик роботов.
Скорее всего в ближашее время наряду с программистами появится профессия дрессировщика домашних роботов. Домашний робот вероятно будет поставляться с предобученным ИИ, который уже будет снабжен базовыми навыками поведения в домашинх условиях (он из коробки будет распознавать людей, мусор, комнаты, бытовые ситуации, интонацию, обладать навыками навигации по дому и захвата предметов). Человек, который будет добавлять такому роботу новый функционал, будет заниматься дообучением этого ИИ (Transfer learning). А что нужно для успешного дообучения?

- Знать сильные и слабые стороны своего "питомца" - что у него получается хорошо, что плохо, какие есть подводные камни в его поведении и какие фокусы он может предподнести.
- Уметь составлять учебную программу (учебные примеры) таким образом, чтобы "подопечный" максимально быстро учисля нужным навыкам и затем мог применять их в самых разнообразных ситуациях, при этом не приобрел негативных "привычек" и не потерял другие нужные навыки.
- Делать задачи достаточно разнообразными, чтобы их нельзя было зазубрить, но при этом легко было составлять новые (аугментация данных).
- Организовать процесс тренировки (виртуальная или реальная среда) и выбрать правильный подход (обучать на примере или дать ученику самому дойти до решения (Q-learning)).

Так что ждем, что рядом с такими гигантами, как Возняк и Торвальдс скоро оставит свой след какой-нибудь новоявленый Запашный! 🎪

💻 Ключевое отличие ML от классического программирования в том, что мы используем по сути один и тот же алгоритм для решения сразу всех задач. Да, мы много говорим о тюнинге под конкретную задачу, но основной подход одинаковый что для синтеза речи, что для управления автомобилем. Кажется невероятным, но кажется мы нашли универсальный подход к решению любой задачи.

Вот что об этом пишет Педро Домингос в своей книге “Верховный алгоритм”:

Само наличие компьютеров - серьезнейший признак существования Верховного алгоритма. Если бы вы отправились в начало ХХ века и рассказали, что вскоре будет изобретена машина, которая сможет решать проблемы во всех сферах человеческой деятельности — одна и та же машина для всех проблем, — никто бы не поверил. Вам бы объяснили, что машины могут делать что-то одно: сеялки не печатают, а пишущие машинки не сеют. Затем, в 1936 году, Алан Тьюринг придумал любопытное устройство с лентой и головкой, которая читает и пишет символы. Сегодня оно известно как машина Тьюринга. С ее помощью может быть решена каждая проблема, какую только можно решить с помощью логической дедукции. Более того, так называемая универсальная машина Тьюринга может симулировать любую другую, прочтя с ленты ее спецификацию, — другими словами, ее можно запрограммировать делать что угодно. Верховный алгоритм предназначен для индукции, то есть процесса обучения, точно так же как машина Тьюринга для дедукции. Он может научиться симулировать любые другие алгоритмы путем чтения примеров их поведения на входе и выходе. Равно как многие модели вычислений эквивалентны машине Тьюринга, вероятно, существует много эквивалентных формулировок универсального обучающегося алгоритма. Суть в том, чтобы найти первую такую формулировку, как Тьюринг в свое время нашел первый вариант многоцелевого компьютера.

👾 Нейросеть вместо физического движка. Ребята обучили сеть симулировать поведение объектов со сложной физикой (уровня хороших консольных игр) и получили прирост производительности на три порядка по сравнению с полным просчетом по точкам без какой-либо видимой потери в качестве.

https://youtu.be/yjEvV86byxg

Думаю, что в ближайшее время многие трудоемкие алгоритмы будут вытеснены сетями - в первую очередь тот же рейтрейсинг в играх. А следующим этапом всю игру (графику + физику + игровую механику) можно будет оформить в виде одной обученой сети - вот это будет интересно.

Сама публикация: https://static-wordpress.akamaized.net/montreal.ubisoft.com/wp-content/uploads/2019/08/27140237/deep-cloth-paper.pdf

👍 Потраясающее видео о синтезе речи голосом знаменитостей от проекта VeraVoice. Послушайте! Путин очень реалистично получается, я бы поверил.

https://youtu.be/WyU-gJ2NTGc

Я обратил внимание на некоторые моменты - общие фразы, например “Уважаемые граждани России. Дорогие друзья” звучат очень реалистично с точки зрения интонации, потому что они ровно в таком виде встречаются в обучающей выборке (это гипотеза, но я в ней практически уверен).
Фразы, которых в выборке скорее всего нет, например: “наши инженеры научили говорить сеть разными голосами” звучат намного менее натурально, интонации там практически нет, возникает эффект того, что “диктор не понимает о чем говорит”.

На это стоит обратить внимание, если вам нужно отличить синтез от реальной записи. Хотя, вряд ли этот совет продержится долго. Еще пара итераций и отличить синтез без специальных средств станет невозомжно.

Второй выдающий эффект - “металлический дребезг”. Здесь он замаскирован под что-то вроде “телефонной записи низкого качества”, но все равно слышен. Это сайд-эффект от обратного преобразования из спектрограммы в звук, от которого полностью никто не может избавиться на сегодняшний день. Особенно слышно на шипящих.

☢️ Сегодня фреймворки для работы с нейросетями настолько просты и прекрасны, что с ними совершенно невозможно перестать развлекаться - хочется пробовать все новые и новые идеи, постоянно перезапуская обучение. Часто это идет даже в ущерб основной задаче. Я думал, что это что-то новенькое, пока не встретил в книге “Вы, конечно, шутите, мистер Фейнман!” следующий отрывок, где он пишет про механические компьютеры из 1943 года.

…он начал страдать от компьютерной болезни — о ней сегодня знает каждый, кто работал с компьютерами. Это очень серьезная болезнь, и работать при ней невозможно. Беда с компьютерами состоит в том, что ты с ними играешь. Они так прекрасны, столько возможностей — если четное число, делаешь это, если нечетное, делаешь то, и очень скоро на одной-единственной машине можно делать все более и более изощренные вещи, если только ты достаточно умен.

Через некоторое время вся система развалилась. Френкель не обращал на нее никакого внимания, он больше никем не руководил. Система действовала очень-очень медленно, а он в это время сидел в комнате, прикидывая, как бы заставить один из табуляторов автоматически печатать арктангенс X. Потом табулятор включался, печатал колонки, потом — бац, бац, бац — вычислял арктангенс автоматически путем интегрирования и составлял всю таблицу за одну операцию. Абсолютно бесполезное занятие. Ведь у нас уже были таблицы арктангенсов. Но если вы когда-нибудь работали с компьютерами, вы понимаете, что это за болезнь — восхищение от возможности увидеть, как много можно сделать. Френкель подцепил эту болезнь впервые, бедный парень; бедный парень, который изобрел всю эту штуку.

Не узнаете себя, случайно?
А книгу очень советую, хоть она и не про роботов, а про гениального физика, стоявшего у истоков создания атомной бомбы.

🧠 ИИ позволяет решать задачи по поиску закономерностей в очень шумных и косвенных данных. В каком-то смысле это первые проявляения нечеловеческого интеллекта, который мы не можем полностью осознать, но можем успешно использовать. Мои любимые примеры таких задач:

1. Распознавание набираемого текста по звуку печати (https://www.youtube.com/watch?v=2OjzI9m7W10)
2. Распознавание позы людей по отражению wifi сигнала (http://rfpose.csail.mit.edu/)
3. Распознавание изображения, которое видит человек с помощью ЭЭГ-датчиков (https://www.youtube.com/watch?v=nf-P3b2AnZw)

Во всех этих примерах использованы датчики, существовавшие уже в прошлом веке, но появление ML позволило получить с их помощью удивительные результаты!

Думаю, что таких решений вокруг нас очень и очень много, просто мы пока не умеем их замечать, так как еще не привыкли мыслить новыми возможностями.