Ребята из Stanford-а продолжают развивать идею цикличного вызова LLMs (тут прям ChatGPT), но в области CGI.
типа давайте доверим LLMке изменение питон скрипта описывающего 3Д сцену, графов определяющие материалы и т.д.
что нового:
- Image-Based Feedback loop. мы будем возвращать ChatGPT на вход получившийся рендер после реализованных изменений, чтобы LLMка смогла "подправить" свои ошибки. ведь теперь ChatGPT может анализировать изображения

- Модуль "воображения", которым выступает по сути DALL-E 3. перед тем как просить ChatGPT предложить какие-либо изменения "кода" материала, мы сначала генерим по тексту диффузкой как мог бы выглядеть этот самый итоговый материал чисто в теории. то есть, что и художники делают в реальной жизни, представляют итоговый результат

Много вопросов, эксперименты ограниченные, но некоторые результаты конечно очень сочные. Обещают код с плагином для Blender-а - там посмотрим!