CGIT_Vines

Получение трёхмерных сцен из видео с достраиванием недостающих ракурсов — это просто вопрос времени. Вопрос очень ближайшего времени! Об этом говорит Peggy Wang, в прошлом студент Стенфорда по ИИ и робототехнике, также бывшая сотрудница RealityLabs. С её слов, она в данный момент занимается подобной работой.

Второй важный звонок заключается в том, что старший научный сотрудник Nvidia по созданию фундаментальных моделей для агентов ИИ, робототехники и игр утверждает, что SORA — это не просто рандомно галлюцинирующая сеть, как DALL·E или ей подобные, а сеть, в основе имеющая физический движок, управляемый данными. То, что она создаёт, это не просто выученные паттерны; это, как он утверждает, расчёты, и приводит в пример чашку кофе с двумя плавающими в ней кораблями. Вероятно, внутри своего пространства SORA создаёт трёхмерную среду, внутри которой происходит анимация объектов и их симуляция.

Самое страшное, если всеми этими параметрами дадут управлять, тогда повалятся по эффекту карточного домика многие пайплайны, которые устанавливались десятилетиями. Как следствие мы получим полностью генерируемые и управляемые по наполнению среды.

Я, честно, пишу и сам с трудом в этом верю, просто потому, что у меня пока не умещается это в голове.

ElevenLabs подсуетились вовремя и анонсировали новый продукт по озвучиванию видео по текстовому описанию.

В идеале, конечно, давать смотреть исходное видео, а потом предоставлять возможность текстового тюнинга, но пока что имеем то, что имеем.

Первое, что мне интересно: как они договорились рекламировать свой проект за счет другого; а второе, как долго они продержатся, потому как с ресурсами OpenAI эта ниша будет прибрана рано или поздно под одну компанию.

Записаться в Waitlist тут

Смотреть, конечно же, со звуком.

Листаю ленту и думаю, как круто сняли, еще пару секунд 🤨 просмотра видео, и только потом понимаю, что это тоже SORA. Если бы муравьи не палили, то я бы и не понял.
Как жить-то дальше?

Меня, конечно же, во всей этой движухе интересует больше всего, что будет с играми и в особенности с их производством. Страшно ли теперь мне? Ну так, знаете, бодрит немного!

Реально нужно будет бояться, когда мы получим низкоуровневый доступ к настройкам сцен, когда можно будет менять отдельные части или генерировать их в отрыве от локаций в 360 градусной развертке, чтобы потом перенести в виде NERF в трехмерную среду. И даже тут останется довольно много ручной работы.

Я все еще смотрю одним глазом на ребят, которые в команде занимаются ретопом, вторым глазом вспоминаю свой пост о том, что мы просто пропустим этапы органического изменения пайплайнов, просто перескочив сразу несколько, а то и десяток, лет привычного линейного развития. Помните этот пост? Конечно, нет)

Как и много лет назад, когда я только создавал канал, говорил, что совсем не технические навыки цениться будут в первую очередь, не важно, куда вы нажимаете, и в каком софте, гораздо важнее, что вы получаете на выходе, как вы это упаковываете и как реализуете.

Это невероятно, мы все сегодня проснулись в новом мире!

Только посмотрите на эту генерацию видео, фокусное расстояние, гамма и дисторсия линзы...

Кажется мы все живём в симуляции в которой еще одна симуляция создает реальный мир района!
Ранее район был нормальный, а теперь этот район полностью сгенерированный в модели SORA!

Это невероятно!

Будьте осторожны с опцией памяти в Chat GPT!

Не пройдут больше приколы с бабушками, инвалидами и фейковыми денежными вознаграждениями🤑

ChatGPT добавил возможность сохранения диалогов. Это позволит запоминать ваш стиль общения, ваши особенности и предпочтения. Опция отключаема.

По подписке Plus пока функция недоступна, либо это связано с регионом.

Из недр Unity бывают и приятные новости.

Research-отделение выпустило работу по генерации физически корректного рендеринга. Эта работа основывается на предыдущих исследованиях по генерации и извлечению diffuse-карт, что на самом деле является самым важным и ответственным этапом. Т. к. на основе карты диффузии генерируются все остальные карты, необходимые для физически корректного отображения: Metallic, Roughness, Normal.

Те, кто хоть когда-либо касался PBR-текстур, понимает, что одних только лишь корректных значений материалов, чтобы получить крутые текстуры, не достаточно; тут важны художественные навыки. Поэтому текстуры, полученные при генерации, могут использоваться для прототипов, либо для решения художественных задач с заниженной планкой качества.

Сегодня постараюсь протестировать и отчитаться по результатам.

Попробовать тут.
Варианты кидайте в коменты.

В тестовых сборках Windows нашли собственный апскейлер, на подобии DLSS или FSR, который будет использоваться для игр и для просмотра видео.

Пока не ясно на красных или зеленых чипах он будет работать, в идеале, конечно, и на тех и на других.

Выход вероятно скоро.

Как же круто будет с реально рабочей XR когда-нибудь.

В квартирах и городах воцарят идеи минимализма, функциональности и рационализма; все остальное можно будет добавить, проснувшись утром, под настроение.

Сегодня так херово, что скин для Норильска будет посвящен Hello Kitty. А минуты творчества на Барбадосе всегда можно посветить пейзажу зимнего утра среди панелек в серо-синих тонах с саундтреком постпанка. Вот это я понимаю, эмоциональные качели! 🦄

На случай, если искали, что посмотреть.

Двое создателей фильма на Netflix, "Социальная дилемма", выступают с докладом об обратной стороне применения ИИ.

Полезно в целом для расширения кругозора, и пару мыслей довольно забавны.

Как, например, появление саммаризаторов, которые могут сделать краткий пересказ двухчасового видео. Сделаны они были только потому, что обычных текстовых данных всего человечества уже не хватает, чтобы выпускать новые версии LLM; а тут бери и пользуйся несколькими петабайтами видео и подкастов.

Не знаю, задумывали авторы так специально или нет, но после просмотра явно выделяются 2 эмоции и одна мысль: "быстрее-быстрее", "страшно-страшно", а это самый верный способ сделать импульсный мув. Мысль в конце: быстрее бы все это уже зарегулировали.

Как мы можем видеть с атомным оружием, это не совсем работает. Одни получились ровнее других, сохранив лидерство и элементы управления; тут будет то же самое, и мы, в качестве ресурсов для данных, прямо в эпицентре этого нового распределения.

https://youtu.be/pSpHE7PVwhY?si=ikmuRP3X-5J8MV7O

Классная новость из Норвегии: правительство купило 110000 лицензий GPT 3.5-Turbo для школьников и учителей Осло – департамент образования Норвегии «не может делать вид, будто ничего не происходит, учитывая что все учащиеся уже имеют бесплатный доступ к ChatGPT».

Понравилась мысль, что некоторые учителя считают, что появление ChatGPT некорректно сравнивать с появлением «интернета» по масштабу влияния на образовательный процесс – так как многие способы борьбы с плагиатом оставались актуальными даже в эпоху интернета, правильнее сравнивать ChatGPT с появлением первого учебника (по масштабу).

Детей и учителей будут учить правильно и этично применять языковую модель в обучении, и строить образовательный процесс с учетом такой технологий.

Ссылка на оригинал новости на норвежском:
https://www.digi.no/artikler/oslo-kjoper-chat-gpt-til-110-000-elever-og-laerere/543339

Искренне желаю норвежцам успехов в первом шаге к крупной реформе образования на базе LLM-возможностей

Так уж получается, что второй день подряд Эпики всплывают в инфополе.

Да, Disney купил долю в компании Epic Games за $1.5 миллиарда. Да, они теперь, как и Lego, будут иметь свой кластер в метаверсе Fortnite. Да, уже официально можно называть это метаверсом. Если пару лет назад я с осторожностью называл вектор движения компании в эту сторону, то теперь уже точно нет сомнений.
Так что можно готовить отдельные терабайтники под эти модули.

Я даже больше скажу: это новый тренд на бизнес-модель и монетизацию.

Кого вы потенциально там еще можете увидеть, или кто сделает конкурирующий метаверс с такой же большой фанбазой и, самое важное, с таким же большим финансовым инструментом, кидайте в комменты.

Теперь второй момент. Формообразующий контент для этих версов будет делаться инхаус у эпиков, очевидно, потому что важно соблюдать гайдлайны версов. А контент второй и третьих категорий, очевидно, невозможно из-за объемов производить внутри, потому тут все будет отдано на аутсорс и в UGC.

И третий момент, игры стали инструментом маркетинга, а значит, на этом можно заработать, пример в прошлом посте с Яндексом.

Интересный кейс получился из интеграции Яндекс.Еда в Fortnite. Как известно, где-то около полугода назад, Эпики запустили UEFN — версию движка для разработки мини-игр для более прямой и быстрой интеграции в Fortnite.

И, честно говоря, я вижу, вообще в принципе, первую интеграцию крупного бренда с Fortnite.

Это еще необычно по той причине, что по классике обычно интегрируются в классические, типа метаверсы, Roblox, Minecraft (не метаверс в классическом представлении), Decentraland, Sandbox и т. д.

Для интеграции выбрали, на мой взгляд, самую удачную из существующих концепций — Prop Hunt, когда нужно прятаться в любые предметы, как тифоны в Prey. Не дорого и запоминающе.

Мне очень интересно с точки зрения процессов, как это было реализовано, если кто-то из разработчиков, принимающих участие, меня читает, или кто-то из Яндекса, напишите, пожалуйста, или поделитесь контактами! 😘

Протестируем 6 рукопожатий!

Интернет сейчас весь завален видео и картинками с этими очками. Люди видят что-то неожиданное, репостят, инфлюенсеры покупают и снимают контент, медиа все это поддерживают, инвесторы вкидывают деньги в том числе и на разработку конкурентных продуктов.

Все потому, что экономика хайпа работает, даже по второму кругу. И снова есть надежда на массовость, ее даже уже видно. Понятно, что не на этой итерации шлемов, потому что ценник конский, но готовность общества к wearables HMD прямо на улицах уже очевидна. Надеюсь, вы тоже это уже прочитали между строк хайпа.

А вообще симпсоны… Ну вы поняли.

Ну все, понеслась!

🤖 Тренд пойман! И я рад тому, что все больше появляются физические воплощения разнообразных GPT pet'ов.
Loona - собачка на колесиках с интеграцией с Amazon Lex (системой распознавания речи, ее же использует Alexa) и бриджом до ChatGPT.

Пространство взаимодействия сканируется 3D ToF камерой, так что он всегда будет в курсе, где препятствия, и где вы.

В идеале для подобных игрушек не хватает чего-то уникального, либо реально суперсильного искусственного интеллекта для того, чтобы с ним было интересно разговаривать, либо интересного способа взаимодействия, либо какой-то полезной функции. Например, будить вас, пинать во время прокрастинации или хотя бы пылесосить пол.

Цена - $370.

Прошло несколько лет со спада волны хайпа по VR-шлемам разной степени конфигурации, и вот сейчас рынок снова оживился с анонсом Vision Pro.

Появляются примеры использования для разных нужд, в том числе оттачиваются способы UI-взаимодействия. На что у меня большая надежда, потому что самые удачные пойдут в народ на остальной зоопарк устройств.

Пока что идет процесс перепридумывания уже открытых механик, как эта с гитарой. Она все еще не идеально удобная, т.к. не учит игре, а показывает, где и как надо ставить пальцы. С аккордами, кстати, получилось более удачно.