Самый частый вариант беседы, когда меня просят помочь с проектом:
- Сева, вот смотри, хотим решить проблему X. Понятно?
- Пока да.
- Супер! Короче, мы взяли 15 ИИ-агентов, в них запихали 4 роутера, облили это все графовой базой знаний. И все это на 1.5B квене, который мы специально доучили, но код обучения случайно удалили.
- Уже понятно меньше, но допустим. А что вы от меня хотите?
- Вот оно у нас плохо работает...
Беседа потом идет примерно одинаково. Готовьтесь, дальше не будет никакого роя AI-агентов. Дальше будет нуднота.
Итеративный фреймворк управления проектом
AI — это работа с высокой неопределенностью. Нельзя все спланировать и пустить по канбану. Мы должны быть готовы, что что-то не взлетит. И это нормально. Нужно просто это как можно быстрее понять.
Элементом фреймворка является гипотеза. Гипотеза — это идея, что некоторое изменение улучшит качество AI-проекта. Например, что нужно LLM обновить до GPT 5.1. Гипотеза может быть в одном из трех состояний:
- Прототипирование. Нужно как можно скорее понять, а стоит ли инвестировать силы. Подробнее в статье.
- Оценка качества. Замерили и теперь понимаем успешная ли гипотеза. Гайд по замеру качества.
- Внедрение. Уверены, что гипотеза полезная. Разрабатываем и внедряем.
Любой проект начинается с самого простого и легко поддерживаемого решения. Например, чат-бот. Вначале просто API к GPT + простой промпт. Больше ничего. Смотрим недостатки (время/цена/галлюцинации/etc). Делаем гипотезу. Потом еще одну. Идею вы поняли.
Откуда берутся гипотезы
Нет, не из статей с хабра и даже не с arxiv.org. Гипотезы рождаются из анализа проблем. Типовой анализ выглядит примерно так:
- Собрали репрезентативный список задач в систему. Например, запросы в чат-бот за год.
- Оценили качество текущей системы.
- Разбили примеры с проблемами на понятные группы.
Дальше для групп проблем придумываем гипотезу, которая их должна починить.
Резюме
Только итеративный подход, где мы понимаем смысл каждого шага. Анализ проблем, прототипирование гипотезы, оценка качества, внедрение.
Если за всю жизнь я смогу донести только одну эту идею, я буду уверен, что все было не зря.
Ваше путешествие начинается с одного шага. Так написано на моей беговой дорожке. Уверен, эти ребята знают, о чем говорят.