ИИ-учёный на ведущей МЛ конференции: статья прошла слепое рецензирование на воркшоп ICLR 2025

Японская компания Sakana AI продолжает совершенствовать своего AI Scientist, о котором мы писали раньше, способного полностью автоматизировать научные исследования. Недавно одна из статей, от и до созданная AI Scientist v2, прошла процесс слепого рецензирования на воркшопе ICLR 2025 — одной из трёх ведущих конференций в области машинного обучения.

Как это произошло?

The AI Scientist самостоятельно сгенерировал научную гипотезу, предложил эксперименты для её проверки, написал и отладил код, провёл эксперименты, проанализировал данные, визуализировал результаты и полностью написал научную статью — от заголовка до списка литературы. Человеческое вмешательство ограничивалось лишь выбором общей темы исследования и отбором трёх лучших статей для подачи.

Результаты рецензирования

Из трёх поданных статей одна получила среднюю оценку 6,33, что превышает порог для принятия на воркшопе ICLR 2025. Оценки рецензентов были следующими:
• 6: Немного выше порога принятия
• 7: Хорошая статья, принять
Это означает, что статья, созданная ИИ, была оценена на уровне или выше многих статей, написанных людьми.

Этические аспекты

Не волнуйтесь, рецензенты были уведомлены, что 3 из 43 статей могут быть сгенерированы ИИ, но не знали, какие именно работы они рецензируют. В рамках эксперимента было заранее решено, что даже в случае принятия статьи, она будет отозвана до публикации, учитывая, что она полностью создана ИИ. Это потому что в научном сообществе ещё нет консенсуса о правилах публикации подобных работ.

Что дальше?

Sakana AI продолжает совершенствовать The AI Scientist и планирует расширять его применение в различных областях науки. Этот эксперимент, безусловно, ставит перед нами важные вопросы о будущем научных исследований и роли ИИ в них. Возможно, настало время пересмотреть наши критерии публикаций, сосредоточившись на их полезности для человечества.

🌐Repo
🐯Статья