Open AI поделился результатами своего исследования которое я никак кроме как магией назвать не могу – DALL·E, новая нейронка, продолжение идеи GPT-3 на трансформерах, но в этот раз для генерации изображений из текста.

Я часто пишу тут про фантазию, мол, скормил Гарри Поттера нейронке и получил иллюстрации всех сцен книги – кажется это уже не фантазия, но поковырять самому пока ничего не дают.

DALL·E нейронка с 12 миллиардами параметров, натренированная на парах картинка-текст, ее задачи:

✨ Синтезировать картинки по текстовому описанию
✨ Дорисовывать картинки имея часть на входе, с учетом текстового описания

Open AI уже тезерил какие-то вещи в этой области раньше, и вот наконец-то это вышло на такой уровень, что челюсть отпадает, посмотрите примеры что я приложил, вверху текст какой давали на входе.

Уверен, ей пока не дадут поиграться всем.

Предвижу, это исследование сильно повлияет на многие сферы и индустрии, так как это бесконечные сферы применения.

Тут подробнее:
https://openai.com/blog/dall-e/