LLM могут прогнозировать результаты экспериментов лучше экспертов, утверждают авторы свежей статьи в
Nature human behaviour «Large language models surpass human experts in predicting neuroscience results»

🧠 подготовили бенчмарк из 300 статей по 5 областям нейросайнс, в которых изменили результаты в абстрактах

🧠 собрали группу экспертов из нейросайнс и запустили ряд LLM , предложив по материалам, методам, дизайну экспериментов выбрать абстракт с верными результатами

🧠 выяснили , что LLM существенно лучше справляется с задачей предсказания новых результатов исследований, чем эксперты из области.

🧠 обогатив модель специализированными данными смогли улучшить показатели LLM.

Удобно. Запланировал исследование, предложил модели пару вариантов результатов, получил ответ сработает твоя гипотеза или нет с достаточно высокой вероятностью. Эх… пропадут из докладов мои любимые включения про «долго пробовали, но не получилось … а потом до нас дошло!»