В марте я разбирал autoresearch Карпатого и обещал адаптировать под "приземлённые задачи" —> на днях устроили с ai нейтивами билд сессию, делюсь результатами.
Напомню: autoresearch - это цикл, где дружбан крутит-вертит один файл, решающий заданную задачу, оценивает результат: если удачно - сохраняет и идет на следующую итерацию улучшение; если нет - откатывается к предыдущему. Для machine learning задач работает очень хорошо.
Главный вывод сразу: Карпатовский loop - это шаг 5 из 5. 80% работы - ДО его запуска, а не внутри.
На каких задачах крутили:
1) Скилл для дежурного сотрудника (Илья) - one-shotнул хороший скилл сразу, не особо и луп пришлось делать
2) квалификация входящих лидов (Дмитрий) - докрутил промпты для оценки лидов, улучшил точность
3) ML задачка на kaggle (Гаяр) - 60е место из 1400, авторесерч; вообще такой подход превращает ML в коммодити, конечно
4) negotiation challenge с хакатона paradigm (я) - за 25 экспериментов +14% к базовому результату, дальше можно и нужно крутить
В целом, можно и нужно применять, НО не для каждой задачи. Поэтому по мотивам запилил скилл - он делает 3 ключевые вещи:
1) Triage - подходит ли вообще эта задача для autoresearch?
2) Fitness/оптимизационная функция - помогает математически сформулировать, что такое хорошо и что такое плохо —> чтобы цикл улучшения понимал, когда эксперимент помог, а когда - нет
3) Стратегия экспериментирования - несколько дополнительных режимов для придумывания экспериментов: explore vs exploit, идеи от человека, barbell стратегия Талеба и тп
Интересный вывод сделал Илья в конце сессии:
"мы подтвердили твою гипотезу - когда у всех будет autoresearch, узким местом станут идеи"
Я бы еще добавил:
и сформулировать fitness функцию
Как бы отсылаю к недавнему посту 😉