Опасная любовь к black box

Внимание, черный ящик!

Собрал данные, запихнул в модель, и этот черный ящик сам разберётся, что надо сделать. Так обычно представляют работу с ИИ большинство людей, даже продвинутых специалистов, которые могут нейронки хоть на Java Script писать.

Эта ментальная модель очень удобна для человека: ему не надо разбираться, как задачу надо решать. Для машины эта модель так себе, потому что вся когнитивная нагрузка переходит на нее.

Обычно, в результате человек перебрал все возможные модели, получил фигу с маслом и расстроенный ушел в крипту.

Делаем ящик прозрачным

LLM, особенно рассуждающие модели, все переворачивют.

Вы можете модели буквально за чашкой чая объяснить, как она должна рассуждать. Объяснить вашу логику принятия решения, объяснить все исключения из этой логики.

Вы также можете проверить, как модель эту логику поняла. Просто посмотрите, как она рассуждает. Если видите проблему, меняйте промпт.

Что будет дальше

Скоро построение ИИ систем мало чем будет отличаться от построения бизнес процессов в компании.

Регламенты и протоколы станут промптами, которые будут вызываться в нужной последовательности.

Тогда заживем.