Новая модель может сломать старый системный промпт

Команда Kiro проверила одни и те же изменения промпта на двух версиях модели. На первой они сократили число поведенческих ошибок агента на 32%, а на новой — лишь на 4%.

Причина: более свежая модель точнее и буквальнее выполняла инструкции. Старые ограничения, обходные решения и лимиты, добавленные под прежнюю модель, частично превратились в помехи.

Для тебя вывод простой: замена LLM — это изменение всей конфигурации агента. После обновления заново проверяй завершение задач, выбор инструментов, опасные действия, запуск тестов и соблюдение правил проекта. Некоторые инструкции лучше удалить, а не переписывать.

Цифры получены во внутренних экспериментах Kiro и не являются универсальным прогнозом для других систем.

Пруф: технический разбор Kiro от 21.08.26

#aiagents #llm #promptengineering #aievals #modelops #softwareengineering

@data_engi