Последние три дня я тут решил немного поболеть, и потому никаких соображалок в моей голове не оставалось (ну то есть играть в чгк более-менее могу, писать программы тоже могу, а вот думать - не очень). Поэтому пост про борьбу ИИ с чгкшечкой несколько задержался, и, вдобавок, я не то что не придумал ничего нового, но, кажется, еще и забыл половину того, что хотел написать сразу. А сейчас еще и пост наполовину удалился, пока я пытался прикрепить к нему текстовые файлы :(

Общий смысл примерно такой: несмотря на внешнее сходство, игра, в которую играет ИИ, не имеет почти никакого отношения к игре, в которую играем мы.

Даже если убрать какие-то явные метки, ИИ (без доступа в инет) знает любые "достойные попадания в энциклопедии" истории, которые приведены в вопросах. Он знает, что приведенные на раздатке имена - это предки коня Секретариата; знает, что де Шомаре был капитаном "Медузы"; знает метафору словаря Вебстера как второй декларации Независимости. То есть весь класс вопросов "есть такая реалия, которую вы можете вычислить по таким-то посылкам" выпадает, потому что ИИ не нужно ничего вычислять. Наиболее сложные для людей вопросы ИИ брал благодаря тому, что у него было или прямое знание ответа, или сильный шорткат.

С другой стороны, практически все вопросы, которые для людей были простыми, Claude или не взял вообще, или не факт, что уложился в минуту (четкого хронометража не было, задачи дать ответ через 60 секунд - тоже). Понятно, что в случае с ИИ "минута" - понятие растяжимое и зависит от доступной вычислительной мощности, но думаю, что если бы людям дали думать сколько хотят, то и у них результаты были бы выше.

В чем я вижу прогресс по сравнению со своим тестом пакета по фантастике, проведенного полтора года назад: да, ИИ и думать стал получше (отдельно отмечу отличное объяснение раскрутки вопроса про крылья биплана), и понимать, что если "два слова на одну букву" - то это прям точно на одну, а не на разные. Но это Наташа правила прописывала, как я понимаю, а я сильно не заморачивался.

В общем, я бы сказал так: написать пакет, на котором топ-, да и средние (скажем, топ-200-400) команды сыграют лучше ИИ, не слишком сложно. Это будут нормальные вопросы, и люди даже могут получить удовольствие от процесса. С другой стороны, вопросы, построенные на плюс-минус мэйнстримных фактах, которые предположительно отсутствуют в активе у русскоязычного игрока, для ИИ гораздо более просты. Mind в этом смысле был ощутимо ближе к удобному для ИИ, чем средний пакет.