Учёные из MIT, Гарварда и Чикагского университета ввели термин «потёмкинское понимание» для обозначения проблемы больших языковых моделей ИИ: модели могут успешно отвечать на вопросы, но не понимают концепции на уровне человека. Это несоответствие было продемонстрировано на примере, когда GPT-4o правильно объяснил схему рифмовки ABAB, но не смог правильно подставить слова в четверостишие.

Исследование показало, что «потёмкины» обесценивают контрольные показатели, так как тесты оценивают только производительность, а не способность применять знания. Учёные признали, что повсеместное существование «потёмкиных» требует новых подходов к тестированию ИИ. Подробнее о результатах исследования можно узнать по ссылке.

Источник изображения: Steve Johnson / unsplash.com

@Unlim_AI