Русалка села на шпагат: как нейросети генерируют картинки и подменяют понятия

Многие видели фейковую фотографию папы римского в белом пуховике. Фейк оказался настолько реалистичным, что встал вопрос о том, где границы прогресса искусственного интеллекта. Авторы «Системного Блока» провели эксперимент с генерацией изображений, чтобы выяснить, как алгоритмы справляются с абстрактными понятиями, фразеологизмами и многозначными словами.

Кратко: о чем статья?

Экспериментируя с нейросетями, мы не только предлагали вам угадать, какая из них лучше справится с заданием, но и выяснили, что ИИ игнорирует отрицание. Например, рисует мужчину с усами по запросу «мужчина без усов». Аналогично ИИ не воспринимает частицу «не» и не справляется с генерацией изображений на основе негативных промтов.

Если же мы заменяли в задании предлог «без» на наречие «только» (вместо фразы «человек без органов» использовали подсказку «человек только из кожи»), FusionBrain неверно интерпретировала значения слов и рисовала мужчину в кожаном костюме. Более того, поскольку нейросеть как бы хватается за знакомую ей фразу и выстраивает вокруг неё визуализацию, для неё «человек только из кожи» — это человек откуда-то, а не состоящий только из чего-то.

ИИ не справился и с генерацией изображений на основе пословиц и фразеологизмов. Нейросеть давала визуализацию, которая не соответствовала ни образному, ни буквальному значению выражений. Зато соответствовала английским эквивалентам пословиц!

А о том, как ИИ справлялась с оксюморонами и выражениями, основанными на многозначности слов, и отказалась ли визуализировать мем «смешная нарезка детей», посчитав это неэтичным, можно узнать из полного текста статьи.

Время чтения: 10,5 минут.