✔️ Sakana AI вместе с Оксфордом, Стэнфордом и Allen AI выкатили занятную работу: проверили, умеют ли современные модели предсказывать, какие научные идеи выстрелят.

Собрали бенчмарк CUSP на 4760 реальных научных событий и прогнали через передовые LLM. Картина получилась двойственная. Модели неплохо отличают перспективное направление от тупикового - то есть «нюх» на хорошую идею у них есть. А вот ответить, дойдёт ли исследование до результата и когда именно, они почти не могут.

Причём дело не в нехватке обучающих данных: увеличение объёма проблему не закрывает.

Авторы рекомендуют использовать ИИ как фильтр и помощника-исследователя, чтобы генерировать гипотезы, отсеивать слабые гипотезы, ускорять рутину, но решение о том, во что вкладывать время и ресурсы, оставлять за человеком.

Заодно это аккуратный аргумент против хайпа про «ИИ-учёного, который без человека сделает невероятное научное открытие».

Статья: arxiv.org/abs/2605.22681
Проект: seanwu25.github.io/CUSP-Science/

@ai_machinelearning_big_data