Про ИИ, ЕГЭ и МОШ

Недавно пресс-служба МФТИ попросила меня посмотреть, как решает Chat GPT задания ЕГЭ и олимпиадные задачи. Они даже подборку задач предложили с уже готовыми решениями от ИИ. Беглый осмотр показал, что задачи были с МОШ и уже в этом месте я не позавидовал электронному разуму.

После взлета я открыл ноутбук и стал просматривать задачи и решения. И вот, что я имею вам по этому поводу сказать.

1. Задачи были в виде текста и без картинок и таблиц. Т.е. никаких задач на цепи постоянного тока, RC и/или RL цепи, оптических задач, архивов Кельвина, Снеллиуса и так далее. Все только в виде текста.

2. С задачами ЕГЭ ИИ справился неплохо. Да, местами решения были путанные, но до ответа он их доводил. Правда делал он это как школьник, который умеет только выписывать базовые законы, делать пару алгебраических действий с ними и потом подставлять числа. Забавно, что в одном месте он не смог понять, что число «3» — это тройка. Он подумал, что это буква «З» и задачу решить поэтому не смог.

3. Собственно формальный подход к решениям и сказался на олимпиадных задачах, когда потребовался минимальный анализ физических процессов. Вот здесь-то ИИ, к сожалению, и спасовал. Приведу несколько примеров.

Была стандартная задача для олимпиады им. Максвелла уровня муниципа 8го класса, где просили найти работу, которую надо совершить, чтобы выкачать воду из колодца площадью S и глубины L. Уже здесь ИИ спасовал, сказав, что работа равняется mgL, где m — это масса всей воды, и получил ответ в два раза больше искомого. В другой задаче надо было проанализировать пропорцию между работой в изобарическом процессе и изменением внутренней энергии и на основании этого сделать вывод о его теплоемкости при постоянном объеме. Чат стал искать в условии указание на то, сколько атомов в одной молекуле газа, хотя из беглого анализа сразу становилось ясно, что в задаче речь идет про смесь газов, и потому он спасовал.

Более интересный пример состоял в анализе условия задач. В задании про фотоэффект говорилось о том, что длину волны изменили в три раза, но не было сказано увеличили или уменьшили. Понять это можно было из анализа других фактов задачи, но ИИ просто попробовал отгадать и, к сожалению, ошибся.

Наконец ИИ предложили финального босса в виде задачи из Савченко, про кольцо, которое изменяет свой радиус в присутствии однородного магнитного поля. Chat GPT здесь напрягся и явно выложился на все 100. Например, он правильно продифференцировал площадь и осознал, что dr/dt — это скорость, которая была дана в условии задачи. Здесь он меня, конечно, впечатлил. Но дальше ИИ не смог понять, что масса кольца не изменяется и поэтому у проводника изменяется площадь поперечного сечения, что сказывается на его сопротивлении. И с этого момента все пошло неверно.

Такая вот история.

Резюмируя, что я могу сказать. ИИ молодец, но до решения творческих задач, которыми наполнена физика ему пока еще очень и очень далеко. Но для простых задач уровня ЕГЭ он вполне себе годится.

Краткий комментарий от меня и статья от пресс-службы МФТИ доступны по ссылке.