Dreams and Robots

В сентябре 2024 года я попросил GPT сделать трехмерные модели в формате Obj. По сути он должен был текстом набросать координаты вертексов и соединить их в полигоны.

Получилось, откровенно говоря, не очень. Вот тут был пост об этом, если вы пропустили:
https://t.me/dreamsrobots/218

В январе 2026 результаты уже немного другие. Ловите ёлочку и котика.

Если вы не впечатлены, то прикладываю Obj-файл, можете открыть его в текстовом редакторе. Самое удивительное, что GPT понимает пространство - можно его попросить повернуть уши у кота, приподнять голову, удлинить ствол у дерева и так далее.

Такой вот суровый text-to-3d

#gpt #3d

Я долго вынашивал идею поста про перспективы программирования и вайб-кодинг вообще, а Ютуб взял и подкинул видео, в котором мои путаные мысли уже разложены по полочкам и озвучены.

Посмотрите обязательно, особенно если не являетесь программистами.

https://www.youtube.com/watch?v=AIKYXFIRIkI

Главная мысль: сейчас программисты получают возможность вообще перестать общаться с людьми и в кайф заниматься чистыми технологиями, а эксперты могут сами автоматизировать свои нишевые задачи, не вписываясь в дорогостоящий и чаще всего фрустрирующий цикл разработки с подрядчиком.

Если вы эксперт в своей области, значит вы точно знаете, какие задачи вам необходимо автоматизировать - потому что их вы обычно стараетесь спихнуть на других, теряя время и качество работы. Сегодня, с минимальными вложениями, вы можете самостоятельно сделать себе инструмент для автоматизации, при этом не становясь программистом в громком смысле этого слова. Поскольку вы точно знаете, что вам нужно, то инструмент получится заточенным под ваши уникальные нишевые потребности.

Помню на заре интернета гуляла байка про бухгалтера, который написал пару скриптов в Экселе и после этого работал час в день. Берите пример с лучших.

#programming

Поменялось ли ваше мнение об ИИ-искусстве (живописи, музыке, видео) и о формах, которые оно принимает, за прошедший год?
anonymous poll

Нет, ничего не поменялось – 141
👍👍👍👍👍👍👍 42%

Да, скорее в негативную сторону – 98
👍👍👍👍👍 30%

Да, скорее в позитивную сторону – 93
👍👍👍👍👍 28%

👥 332 people voted so far.

Понятно, что пользоваться Гигачатом в условиях честной конкуренции нет особого смысла, но я обнаружил область, в которой он уделывает любую другую нейросеть. Это... Поэзия на русском языке!

Из-за токенизации большинство моделей плохо работают со слогами, поэтому и не понимают концепцию стихотворного размера. А вот Гигачат умеет и в размер, и в рифму, и в специфические схемы рифмовки, например для лимериков.

Да, не Бродский, но иногда проскакивает что-то на уровне раннего Блока. Если пройдёт встроенную цензуру, конечно.

Даже есть некоторое управление. Можно написать первую строку (или несколько) и попросить продолжить. С переменным успехом получается задавать размер и схему рифм. К сожалению, не принимает на вход готовые рифмы как в буриме.

Попробовать можно в боте: @gigachat_bot, там в меню найдёте пункт "Написать стих".

Кстати, если тут есть люди из Сбера, передайте своим безграмотным коллегам, что "стих" - это одна строка стихотворного текста.

#llm #gigachat

Существует несколько языков разметки для создания разного рода диаграмм и mind-map. Например Mermaid и PlantUML.

Самое интересное, что современные языковые модели их отлично понимают, и вы можете получать от них ответ в графическом виде.

Например, вы можете запросить у GPT:

Сделай mermaid-диаграмму связей всех основных персонажей первого сезона сериала Вавилон-5.

Полученный результат вставьте в окно редактора на сайте https://mermaid.live/

Если же вы программируете и при этом используете Codex, то можете запросить у него:

Нарисуй PlantUML-диаграмму всех классов, унаследованных от ScriptableObject в папке Assets/Scripts/SO. Учитывай неявные зависимости, прокинутые через инжект, сервис локатор и так далее.

Результат можно будет просмотреть тут: https://www.plantuml.com/ или же в VS Code с расширением PlantUML.

Пользуйтесь, очень удобно.

#gpt #совет #продолжаемпоститькакнивчемнибывало

Сундар Пичаи, CEO стартапа под названием Google, в своей речи, посвященной подведению итогов третьего квартала 2024 года заявил, что:

Сегодня более четверти всего нового кода в Google генерируется ИИ, а затем проверяется и утверждается инженерами. Это помогает нашим инженерам делать больше и двигаться быстрее.

Ну, Гугл - это Гугл. А что у вас? Я вот заметил, что, конечно, ключевые архитектурные вещи я делаю сам, но всякий бойлерплейт и нудные задачи, на которые иногда лень отвлекаться, проще и быстрее свалить на GPT4o или Claude. А бойлерплейт зачастую как раз занимает больше строк, так что этот процент может быть даже выше. А ещё заметил, что я все реже прямо тщательно проверяю их код. Проверяю, конечно, но не с микроскопом. Потому что в 90 процентов случаев там всё находится в диапазоне от "приемлемо" до "хорошо".

Напишите в комментариях, какой процент у вас. Только честно. Автозавершение строк от Copilot-подобных сервисов не считается. Ну или можете написать, что с таким подходом Google обречён, а человечество отупеет. Такое мнение тоже принимается.

Если что, вот тут вся речь Сундара, рекомендую почитать, это действительно интересно:
https://blog.google/inside-google/message-ceo/alphabet-earnings-q3-2024

#programming

Как и обещал, расскажу про нейротекстурирование для нашей инди-игры Bridges of Underlands. Мы попытались создать для неё приятное глазу минималистичное 3Д-окружение без ощущения "дешевого лоуполи".

Наш техарт Дмитрий Крипаков придумал для этого свой пайплайн. Это Stable Diffusion с контролнетом и специально обученным Чекпойнтом и Лорой, который позволяет генерировать стилизованные текстуры для разных элементов окружения, но делает это не "в лоб", а точно повторяя все изгибы и впадины исходной модели.

Главная фишка этого подхода в том, что это не проекция, из-за которой обычно возникают "потяги" или артефакты в местах, невидимых для камеры. Это генерация под хитрым образом подготовленную UV-развёртку с дополнительными атрибутами.

Технически это реализовано через Houdini и специально для этого написанный коннектор к ComfyUI. Мы процедурно создаём поверхность и автоматически генерируем десяток вариантов текстур, причём сразу с картами нормалей и прочими PBR-радостями. Из получившихся базовых элементов (стен, колонн, портиков, балок), как из конструктора, собираем уровень. Поскольку параметры генерации не меняются, то все элементы идеально подходят друг другу по стилистике.

Обратный подход, когда первой появляется текстура, а потом уже из неё генерируется карта высот и выдавливается меш, отлично подходит для создания груд камней и прочих органических пропсов.

Поиграть в саму игру можно вот тут:
https://bereg.itch.io/bridges-of-underlands

#gamedev #stablediffusion

Бесплатная демка нашей новой инди-игры вышла на itch.io

Bridges of Underlands - это помесь карточного баттлера и комбо-механик из Зумы. Разыгрывайте карты из бесконечной цепочки, сталкивая карты одного цвета, чтобы победить врага.

У нас маленькая команда, всего два человека, и при создании игры нам, конечно, помогали нейросети. Помимо очевидных рисунков, музыки и перевода (пока 13 языков), наш техарт Дима Крипаков сделал сложную систему процедурного нейро-текстурирования 3D-объектов из Гудини. Про нее мы как-нибудь обязательно расскажем, а пока можете поиграть и поделиться впечатлениями.

https://bereg.itch.io/bridges-of-underlands

Будем благодарны за оставленные на Itch.io комментарии, так как это поможет в продвижении игры.

#gamedev

Наташ, ты спишь? Вставай, там в Minimax image2video завезли. А еще сайт новый, англоязычный. И скоро обещают цены объявить, а пока бесплатно работает.

https://hailuoai.video/

#minimax #image2video

Самой интересной задачей в геймдеве для меня всегда было создание ИИ для персонажей, будь то враги или дружественные NPC. Я решил поставить эксперимент и выяснить, хватит ли моих знаний на то, чтобы привнести в игровой ИИ немного ИИ настоящего, то есть нейросетевого.

Начал с задачи попроще. Я сделал в Unity лабиринт 20х20, который рандомно генерируется в начале игры. По нему разбросаны монетки, они же Энергосферы, которые нужно собирать в стиле Пэкмана. Есть бот, у которого ограничена зона видимости, он видит только по вертикали и горизонтали. Ему нужно исследовать лабиринт и собрать все монеты.

Сначала я сыграл 10 партий сам, стрелками на клавиатуре управляя ботом и сохраняя каждое движение в датасет. Потом написал скрипты для обучения на Pytorch и поэкспериментировал с гиперпараметрами, благо на обучение модели уходит всего восемь минут.

Получившаяся нейросеть принимает на вход 12 чисел — это информация о том, что бот видит в каждом из четырех направлений. У неё есть память последних ходов. На выход она выдает, в какую сторону нужно двигаться.

И да! Это работает! Теперь бот проходит лабиринт и собирает монеты. Сам. Причем он это делает не механистично, а иногда крутится на одном месте, иногда тупит, как настоящий человек. Бот исследует самые дальние уголки и почти всегда у него получается собрать все монеты на поле.

Модель работает очень быстро и весит всего 200 килобайт. Следующим шагом будет запустить её на Unity Sentis, потому что пока она крутится на самописном сервере.

Перспективы очень интересны. Представьте себе ботов в шутере. Можно их обучить на партиях игроков посильнее или послабее, безрассудных или аккуратных, кэмперов или рашеров. И в настройках можно будет выбрать их уникальный стиль игры. Что думаете?

#gamedev #ai #torch #unity

А у вас тоже бывало такое, что вот думаешь о чём-то, думаешь, а потом вдруг бац, и мысли перескакивают в совершенно неожиданном направлении?

#chatgpt

У Unity, пожалуй самая крутая команда производства синематиков среди всех игровых движков. Они регулярно делают супер-качественные демки для новых технологий.

В этом году они выпустили очередную короткометражку под названием Time Ghost.

https://www.youtube.com/watch?v=o1JIK5W3DRU

Это видео полностью отрендерено в реальном времени и дает представление о новых графических фишках из Unity 6.

Для нас же самое интересное -- это, наконец-то, адекватное практическое использование нейросетей для "симуляции тканей".

В Юнити есть Sentis, фреймворк для инференса ONNX-моделей, написанный на C#. Так вот, для этого ролика авторами была сделана симуляция всей одежды на персонаже в Гудини. Потом на этих данных была обучена нейросеть.

Теперь эта нейросеть с помощью Sentis в реальном времени деформирует одежду в зависимости от анимации персонажа. При этом модель весит всего 50 мегабайт, а сам инференс занимает меньше миллисекунды на фрейм, если верить авторам.

Так что вот, не картинками едиными. Интересно будет посмотреть, какие еще применения для нейросетей появятся в геймдеве, где особые требования к быстродействию.

#gamedev #unity #sentis

OpenAI Запустили новую линейку моделей под названием O1. Судя по опубликованным красивым чартам О1 легко уделывают в логике не только все старые модели, но и докторов наук. А ещё она их уделывает в стоимости одного ответа. Да-да, докторов наук тоже.

Суть похожа на старый добрый Step-by-step reasoning, который мы раньше использовали для улучшения результатов. Модель под капотом рассуждает на тему задачи, ставя под сомнения собственные догадки, чтобы найти наиболее вероятный ответ. Поэтому она отвечает далеко не сразу, и можно посмотреть всю цепочку её рассуждений.

И это странным образом работает.

Ограничения по числу запросов очень жесткие, так что ощущаешь себя как на аудиенции перед Великим Думателем. Нужно задавать очень правильные вопросы и не размениваться по пустякам.

#openai #chatgpt #O1

Все-таки в удивительное время живём, когда можно за пару часов реализовать практически любую творческую идею.

С утра пришла мысль сделать клип — сгенерировал музыку и видео, потратил немного времени на монтаж с озвучкой и готово.

Убираем из уравнения долгий и дорогой продакшн, получаем чистое и быстрое творчество на любой вкус, даже самый странный.

Да, качество генерации местами хромает, но уже понятно, что оно будет только улучшаться.

#minimax #suno #видео

Моушн-дизайнеров хоронить ещё рано, но я бы им порекомендовал постепенно привыкать к земле. Китайская нейросеть Minimax умеет генерировать эти ваши абстрактные дейлики в промышленных масштабах, знает специфические термины и даже (пусть пока и плоховато) работает со шрифтами.

Да, управление никакое. Да, настроить движение камерой через промпт очень сложно. Да, много мусора уходит в корзину. Да, да, да.

Но я вот за вечер собрал сорокасекундный ролик. А мог бы пиво пить в подворотне.

Напоминаю, что творить можно вот тут:
https://hailuoai.com/video

Пока бесплатно и без регистрации.

#minimax #suno #видео

Потестировал Minimax, свежий китайский генератор видео, и попытался собрать осмысленный цельный ролик с музыкой из Suno и голосом от Open AI.

Минимакс генерирует кадры по 6 секунд в 720p. Время генерации - несколько минут. Промпту следует более-менее хорошо. Качество не так, чтобы очень стабильное, но время от времени выдает просто потрясающий результат. И всё это бесплатно, без регистрации и смс (буквально).

С точки зрения режиссера явно не хватает контроля и возможности перегенерировать шот с другого ракурса или в другой крупности. Но и это уже снос головы, честно говоря.

Творите!
https://hailuoai.com/video

#видео #minimax #sora #suno