ИИ ИИ ИИ

Раз в полгода пишу про ИИ, пришло время 🙂

Сам я переживаю очередную волну энтузиазма в использовании ИИ для работы. Во-первых, я пересел на приложение от нашего университета, которое позволяет использовать разные модели в рамках одного интерфейса. Это разнообразило инструменты, которые я использую и улучшило качество работы. Во-вторых, коллеги начали открыто использовать ИИ для осмысления полученных результатов. Как-то раньше это делать будто было зазорно, а сейчас – отталкиваться от интерпретации, которую дал чатГПТ будто стало нормальным.

Так что сегодня история о том, как Расс Полдрак провёл небольшое исследование и доложился о нём за 24 часа. (Спасибо Илье Захарову за ссылку)

Сюжет такой: Полдрак отреагировал на статью коллег, которые показали, какие мыслительные задачи LLM не решают, и с помощью Клода провёл небольшое исследование, где попытался проверить свои сомнения. В итоге он сначала подтвердил тезис авторов исходной статьи, а потом нашёл такую формулировку задачи (через визуализацию), которая позволил обойти это ограничение. Чтобы оценить, насколько этот результат принципиальный (не является ли такой изощрённый промпт-инжениринг читингом в оценке возможностей ЛЛМ), нужно, конечно, больше, чем 24 часа.

Мне нравится читать такие посты, потому что из них берёшь скиллы по работе с ИИ. Интересно читать как Полдрак скармливает Клоду статью, просит оценить её, высказывает свои соображения, проверяет их валидность, создаёт материалы для проверочного исследования, подключает ещё один ИИ, чтобы независимо проверять ответы первого. Делает вещь, про которую я слышал раньше, но которую сам почти не использую: генерить промпты с помощью того же ИИ, с которым работаешь. А это в итоге дало Полдраку ключевой результат.

Хотя пост про то, как провести исследование и доложиться о результатах за 24 часа, интересны выводы про роль человеческой экспертизы:

• интересные, эвристичные вопросы ставит человек. Очень часто – подмечая какие-то сначала кажующиеся неважными мелочи;
• первые ответы ИИ очень часто неверные;
• важно подмечать нереалистичные резульаты и перепроверять их;
• у ИИ пока не супер с метакогнициями: он не видит, что мимоходом сделал что-то, что можно использовать в решении поставленной задачи; так Полдрак заметил, что визуализация задачи может помочь её решать.

В общем, интересное чтиво!

Кстати, из недавних советов по использованию ИИ, мне понравился совет просить задать тебе вопросы, уточняющие поставленную задачу. Активно использую. Делитесь вашими лайфхаками!

Кстати, в блоге упоминается книга Полдрака по научной работе с ИИ, выглядит интересно.