ИИ проверили на воспроизведение научных результатов — и он совпал с оригиналом лишь раз из 12

Исследователи проверили, может ли ИИ точно воспроизводить научные расчёты по статье, и получили 12 разных вариантов анализа одного набора данных. Разброс результатов оказался заметным: оценки пространственного масштаба варьировались от 2,16 до 3,53 килопарсека, а совпадение с опубликованным числом получилось только один раз.

Авторы отмечают, что совпадение само по себе не доказывает правильность рассуждений, а расхождение не всегда означает ошибку в статье. Поэтому они предлагают оценивать ИИ-системы не только по итоговому числу, но и по всему процессу воспроизведения — от выбора данных до настройки методики и проверки результата.

@forgeeks | @forgeeksflash