👩‍💻Повторение промпта улучшает ответы языковых моделей.

Исследователи из Google указали в статье, что повторение запроса заметно повышает качество ответов у не рассуждающих языковых моделей. Если вместо обычного запроса, отправить запрос два раза то результаты в ряде тестов улучшаются до 10%.

По мнению исследователей, это связано с механизмом внимания трансформера. При повторном чтении запроса нейросеть уже знает контекст, и каждый токен второй части может взаимодействовать с токенами первой.

Таким образом, этот подход неэффективен для рассуждающих моделей — они сами начинают повторять запрос в процессе размышлений, чтобы лучше понять задачу.