Мы имеем дело потенциально с миллионами гипотез в биологии старения.
Никогда раньше не стояло такой задачи — работать с таким количеством идей.
Мы должны выбирать не только идею, эксперимент, который осуществим, но прежде всего способ того, как мы эту идею выбрали.
Мы должны сравнивать не только результаты от тестирования тех или иных гипотез, но и исторические траектория, как мы к этим результатам пришли.
Дело обстоит ещё сложнее, мы должны выработать принципы по котором выбираем способы, чтобы выбрать гипотезы.
Всё это требует проверки, как это работает. Попросил подобрать GPT собрать статьи по теме
Эксперимент должен вычёркивать миры.
Одно наблюдение допускает несколько объяснений. Поэтому сильный эксперимент не просто подтверждает любимую гипотезу — он исключает альтернативы. Это классическая идея strong inference Джона Платта
Platt — Strong Inference, Science, 1964
Новизна стала дешёвой.
В эксперименте со 104 исследователями AI-идеи получили более высокие оценки новизны. Агент генерировал около 4000 идей на тему, но после удаления близких вариантов оставалось лишь около 5%. Генерация стала дешёвой; разнообразие и отбор — нет.
Can LLMs Generate Novel Research Ideas?
Реальность меняет рейтинг идей.
43 исследователя реально выполняли человеческие и AI-идеи, тратя в среднем 103 часа на проект. До исполнения AI-идеи оценивались выше; после исполнения преимущество исчезло. Значит оценка идеи на бумаге — ещё только прогноз.
The Ideation–Execution Gap
Смело придумывай. Жёстко проверяй.
GPT-4 предложил 12 комбинаций препаратов; у трёх синергия превысила положительный контроль. После получения экспериментальных данных модель предложила ещё четыре комбинации — три дали положительную синергию. Смелые гипотезы полезны, когда их можно быстро проверить.
Scientific hypothesis generation by large language models
Не выбирай лучшую сразу. Устрой турнир гипотез.
AI Co-Scientist генерирует, критикует, попарно сравнивает и эволюционирует гипотезы. Проигравшая идея может отдать удачные элементы следующему поколению. На 203 задачах качество лучших вариантов росло с дополнительными раундами работы системы.
Accelerating scientific discovery with AI co-scientist
Ценность даёт не идея. Ценность даёт цикл.
Robin предложил 30 кандидатов для улучшения функции клеток сетчатки. Эксперимент выделил рипасудил и KL001; последующий RNA-seq привёл к новой гипотезе об ABCA1. Результат одного эксперимента стал входом для следующей гипотезы.
A multi-agent system for automating scientific discovery
Если спросить меня, что делать в продление жизни? Добивайтесь лучшего ответа от чата GPT. Буду рад помочь тем, кто хочет.
Постеры о философии гипотез публикую в Постермене.