Тридцать замечаний LLM ради одного нужного вопроса

Вопросы от бездушного железного болванчика люди воспринимают спокойнее. Я на это и рассчитывал, когда подключал LLM к аналитике: пусть бездушная машина душнит, ищет противоречия, неотвеченные вопросы и делает допущения явными.

Почему аналитика? Неясное поведение затрудняет декомпозицию, оценку и тестирование. А уточнение фичи после реализации может стоить очень-очень дорого. О том, почему полезно душнить над деталями, я уже писал ранее.

Конечно же, раннее уточнение тоже требует времени. Какие-то неизвестные вещи всегда вылезут только при реализации, и если слишком сильно увлечься аналитикой, то можно потерять больше времени, чем сэкономить. Поэтому здесь нужно подходить с умом.

Например, недавно я провёл анализ фичи и получил от LLM-ки 30 замечаний, из которых всего лишь одно было полезным -- но если бы мы его пропустили, то переделка по моей оценке стоила бы 3-4 дня разработки (а у меня на ревью минут 30 ушло).

Для начала достаточно вгрузить аналитику в контекст и попросить модель проверить, какие вопросы остались без ответа. Например::
➡️ Что должно произойти, если операция выполнена лишь частично?
➡️ Одинаково ли описано поведение для разных участников и компонентов?
➡️ Какой результат позволит однозначно проверить, что эта фича работает?

Задачу лучше обозначить прямо: "Найти противоречия, допущения, неявные границы и неотвеченные вопросы, Пробелы своими догадками не заполнять".

Но не забывайте, что критиковать модельки умеют прекрасно, поэтому замечаний будет много. Каждое замечание всё равно должен оценить инженер: влияет ли оно на поведение продукта, тестирование или риск переделки? Количество замечаний само по себе не показывает пользу процесса

Напоследок я предлагаю вам провести реальный эксперимент: взять одну фичу, дать модели имеющееся описание и попросить найти неясности, не заполняя пробелы своими догадками. После этого зафиксируйте, сколько усилий вам потребовалось на то, чтобы разобрать замечания, и нашла ли модель что-то, что было бы ощутимо дороже переделать после того, как вы бы реализовали фичу без этого требования.

// А если вы уже используете LLM-ки для аналитики, то делитесь своими лайфхаками в комментариях