Интересная статья с обзором возможностей GPT-4 от
- рисование единорогов
- задачи по математике и программированию
- использование разных инструментов для выполнения заданий
- прохождение текстовых игр
- интерпретация своих же действий
- понимание реального мира
- проверка на подверженность тем же bias'ам, которые есть у людей
После этой статьи лучше виден прогресс GPT-4. В частности,
- она начала лучше понимать реальный мир (на странице 11 есть интересный пример, где нужно было решить, как положить четыре предмета друг на друга)
- она более устойчива к переформулировкам одной и той же задачи
- и лучше рисует единорогов :)
У авторов есть интересная идея, который у меня тоже какое-то время назад возникала: что все большие текстовые модели — это хорошая реализация Системы 1 по Канеману (которая про ассоциативное быстрое мышление), а Системы 2 (которая про медленное мышление) им пока не хватает. В частности, в разделе 8 в статье наглядно показывается, что GPT-4 мыслит «линейно», дополняя постепенно уже существующий текст, а откатиться назад, откинуть решение, перебрать варианты и начать думать с нуля, в отличие от людей, она не может.
И главный вывод такой (выделение добавлено мной):
> The central claim of our work is that GPT-4 attains a form of general intelligence, indeed showing sparks of artificial general intelligence. This is demonstrated by its core mental capabilities (such as reasoning, creativity, and deduction), its range of topics on which it has gained expertise (such as literature, medicine, and coding), and the variety of tasks it is able to perform (e.g., playing games, using tools, explaining itself, ...).
В общем, лучше почитайте статью целиком, очень рекомендую :)