Какой же пиздец происходит в нейронках, которые работают с картинками 🫨 ​

У меня друг занимается разработкой инди игр. Часто делает pixel art штуки. И я ему все уши прожужжал, что нужно просто нейросетками научиться пользоваться, чтобы генерить картинки, а не рисовать. Сегодня мы засели все это дело потестить и знатно обосрались.

Задача была научиться брать существующего персонажа и немного менять его, чтобы делать спрайтовую анимацию или создавать других в том же стиле

Часть 1. Давай просто ChatGPT попробуем, она же умеет распознавать картинки 🤡

Результат можно увидеть ниже.

Она меняет детали, которые не должна. Всему виной - потеря информации. Вся соль в том, как работает генерация картинок в ChatGPT: их генерирует не GPT, а отдельная нейросетка DALLE.

А GPT умеет нативно "видеть" объекты на картинках и описывать их текстом. Так что она готовит инструкцию, а DALLE просто по ней рисует с нуля.

То есть:

1. Я отправляю картинку и прошу поменять только цвет.
2. GPT описывает что на картинке текстом и формирует инструкцию для Dalle, мол, нарисуй рыцаря в стиле пиксель арт, с тяжелыми доспехами синего цвета
3. Dalle его рисует
4. 😢

Потому что Dalle даже не видела изображения, которое она должна изменить!
Такой себе глухой телефон у ИИ.

В следующей части будет про "специализированные сервисы" для редактирования изображений