Недавно Андрей Карпатый показал новый подход к разработке под названием autoresearch. Суть паттерна: ИИ-агент сам придумывает гипотезу, пишет код, запускает тесты, оценивает метрики и автоматически уходит на следующий круг. Карпатый натравил агента на свой алгоритм обучения нейросетей, оставив его на ночь. За это время ИИ автономно провёл около 700 экспериментов и смог ускорить изначально отлично оптимизированный код ещё на 11%.

Это уже круто, но читайте дальше.

Идеей вдохновился Тоби Лютке, CEO платформы Shopify. Он решил применить этот же цикл к Liquid — главному шаблонизатору компании, который топовые инженеры вручную оптимизировали последние 20 лет. Тоби дал агенту скрипт с бенчмарками, в итоге ИИ без какого-либо вмешательства человека сделал движок на 53% быстрее.

Для того чтобы провернуть этот трюк с кодом Shopify, Тоби вместе с разработчиком Давидом Кортесом написали специальный плагин pi-autoresearch и выложили его в открытый доступ. Это расширение для ИИ-обвязки pi (грубо говоря, как клод код, но с любой моделькой).

Работает это так:
— Вы описываете задачу. Например, «сделай выполнение этого скрипта быстрее».
— Предоставляете bash-скрипт с вашими тестами или бенчмарками (ну или ИИ сам пишет, но это важный момент и лучше проконтролировать).
— Запускаете процесс.

Агент начинает бесконечный цикл экспериментов. Он сам переписывает код, прогоняет тесты и записывает удачные и неудачные попытки в специальный файл-журнал, чтобы учиться на своих ошибках. Если что-то получилось, то делает коммит, чтобы зафиксировать, если нет, то откатывает репо.

У меня с первого раза получилось не очень, агент начал залипать на оптимизациях под конкретный датасет. Но с другой стороны это логично, какая задача, такое и решение. Думаю теперь где ещё можно попробовать.

​@neuro_channel