Авторисёрч

На протяжении нескольких месяцев меня очень много и очень часто спрашивали про авторисерч: что я думаю, как часто пользуюсь и так далее.

Но на протяжении этих же месяцев я делала НЕавторисерч. Как говорится, гештальт закрыт не был — пришлось закрывать и разбираться. Я и мои агенты сели анализировать то, что есть, мы набрали 9 фреймворков и пошли собирать концепцию автоматизации исследования.

Определение — что такое авторисёрч (далее — АР).

Прежде, запомним, что рисёрч сам по себе (в контексте AI) — это всегда эксперимент. Цели этого эксперимента могут быть разными: открытие нового знания, измерение чего-либо существующего, прикладная задача.

Отсюда, в контексте любого фреймворка, авторисерч — это реализация эксперимента автоматически, с использованиям обвязок разного рода вокруг языковой модели.

В любом АР фреймворке у вас есть:

1. Цикл — типичный эксперимент, вида
"придумать изменение, далее реализовать его кодом, далее запустить, померить и решить, оставить или откатить. Повторить до успеха."

2. Состояние цикла — что модели в её обвязке нужно знать на шаге N+1 из того, что она узнала на предыдущих.

3. Внешний вердикт — чем измерить успех. Как правило это метрика или другой оценщик, но всегда что-то вне агента или заданное ему.

И всё. Эти три компоненты в точности есть основа любого авторисерч-фреймворка.

И у любого, какой бы вы ни решили взять в работу отличие от других будет обычно в одном из трех мест.

Так, например:

1. Состояние можно положить в файл (так делает karpathy/autoresearch), можно в базу данных (OpenResearch), можно в папку AiScientist, CORAL, Sibyl), можно организовать в виде графа (Prove2Me).

2. Принимать решение перехода от одного шага к другому можно оценкой (autoresearch), можно алгоритмом поиска (AiScientist в v2 делает поиск по дереву), можно на уровне структуры данных (OpenResearch, Prove2Me), а можно вообще детерминированно (Agent Laboratory и AI-Researcher).

3. Измерять успех же можно числом (autoresearch, OpenResearch, AiScientist, AI-Scientist-v2), грейдером (идея описана в CORAL), жестоким компилятором (в Prove2Me на языке Lean, верифицирует мат. доказательства) или другой моделью (Kosmos, Sibyl)

Что это даёт:

На мой взгляд, авторисерчи, которые появляются, скорее шаблон под practices, как можно автоматизацию адаптировать под себя.

И тут я очень согласна с тейком о том, что процесс исследования и разработки — это про умение найти куда приложить автоматизацию, а ещё куда прикладывать не надо.

Я пока пришла к тому, что свой рисерч полностью я не автоматизирую, ибо от проекта к проекту эту разные мысли, разные идеи и чуть-чуть разный цикл (хотя, струткура (а-ля backbone), да, одна и та же).

Надеюсь, вам пост поможет найтись в обилии и смыслах авторисерчей!

И всем хорошего завершения недели!