В Твиттере опубликовали результаты SAT-экзаменов, которые выполняли модели OpenAI. Модель o1-preview допустила всего одну ошибку, заняв первое место и войдя в топ-4% студентов, набравших такие же высокие баллы.

Удивительно, что сами экзаменационные тесты нигде не были засвечены и составлялись накануне экзамена. В тестах То есть модель не обучалась на них.

И тут я вспоминаю свои студенческие годы, читерство на экзаменах и ухищрения, к которым прибегали студенты ради хороших оценок. Микронаушники и шпаргалки постепенно уходят в прошлое. Теперь достаточно сфотографировать задание, и модели вроде o1-preview за секунды не только выдают правильный ответ, но и объясняют решение. Вероятность получить высший балл становится выше, чем когда-либо.

Да, смартфоны на экзаменах запрещены, и воспользоваться ими сложно. Но вспомним умные очки от Meta и другие "умные" устройства, которые скоро станут частью нашей повседневной жизни. Даже глушилки связи уже не будут эффективны — существуют локальные модели, которые работают автономно.

Получается, что читерство приобретает новую форму, и это ставит перед образовательной системой сложный вопрос: как противостоять технологиям, которые умеют думать быстрее и точнее человека?

Детально про эксперимент можно почитать тут.

ИИволюция