тоже моушн

думаю deepdream знаком почти каждому. глючные видосы в которых нейросеть разглядела морды собак или рыб или башни замков. по ссылке ниже нечто удивившее меня, первый раз наткнулся на дипдрим про цветочки. пролистай инстаграм этого парня, местами выглядит очень впечатляюще

https://www.instagram.com/p/CM7DQiinE1R/?utm_source=ig_web_copy_link

он же ведет канал на ютубе. в этом видео показывает что вообще умеют нейронки с художественной точки зрения

https://youtu.be/HNwXrHiHW7Q

дэррик шульц обучает художников основам нейросетей, убирает зажимы и страхи. на гитхабе он собрал прекрасную коллекцию колабов для разных художественных задач

https://github.com/dvschultz/ml-art-colabs

кстати, для тех кого пугает слово колаб или кто уже его открывал но ничего не понял, постараюсь это исправить:

колаб создан программистами для программистов, но на деле это очень дружественная среда для любого уровня пользователей

главная фишка - все вычисления происходят на серверах гугла. пользоваться можно без ограничений, только раз в 10 часов надо переподключаться

тот кто пробовал запускать нейронку у себя на машине, скорее всего столкнулся с кучей сложностей, так было со мной

в колабе такого нет. нужно просто поочередно запускать заранее прописанные команды (ячейки = cells) и получать результат. если перед этим читать комментарии автора все становится очень просто.

не бойся колаба! попробуй

вот тут создатель изначального сетапа подробно рассказывает как это работает. там же ссылка на патч.

любой может попробовать это у себя на компе - нужно поставить учебную бесплатную версию тача и желательно иметь хорошую видео карту, так как все вычисления происходят на ней

https://youtu.be/XVh_eHL_7XU

а это инсталляция для выставки в Томске. интерактив, touchdesigner. захват изображения с камеры, вычисление optical flow, дальше через glsl шейдер создаются частицы, которым присваиваются вектора и скорость движения из карты optical flow

вот такое можно сгенерить за пару кликов мышкой (ну почти). хорошая модель обученная на современных абстрактных картинах

важно понимать что процесс обучения происходит не с нуля а с другой уже обученной модели, в моем случае это лица, дефолтный ffhq от nvidia. на этой картинке запечатлен прекрасный момент - лица уже забываются и проявляются краски. хочу такое тоже под музыку запустить, попозже выложу

кстати вот так выглядит плитка того чему учится сетка. то что получается сейчас уже похоже но до финала далеко. в начале обучения на каждой итерации хорошо видны изменения, сейчас их почти нет и непонятно, сеть еще учится или уже достигла предела

а здесь происходит вся магия оживления картинки под музыку. для того чтобы попробовать необязательно тренировать что то, можно выбрать из большого списка уже предложенных обученных моделей и музыка тоже доступна прямо в колабе

https://github.com/mikaelalafriz/lucid-sonic-dreams

вот тут можно тренировать свою модель

https://github.com/dvschultz/ml-art-colabs/blob/master/Stylegan2_ada_Custom_Training.ipynb

а, ну да, музыка - Max Cooper - Distant Light

нейро эксперимент. натренировал stylegan2-ada на красивых картинках с пинтереста по тегам fluid neon paint etc. затем использовал полученную модель для создания видео в колабе Lucid Sonic Dreams

Channel created