В отличие от человека современные архитектуры языковых моделей тратят одинаковое количество вычислений на каждый токен. То есть, ответ и на вопрос «сколько будет дважды два», и на сложную математическую задачку (если ответ на неё — одно число, и его нужно выдать сразу после запроса ответа, без промежуточного текста) будет генерироваться одинаково быстро и с одинаковой затратой «усилий».
...
Поэтому написание текста рассуждений — это естественный для LLM способ увеличить количество операций: чем больше слов, тем дольше работает модель и тем больше времени есть на подумать.
...
Предложили использовать очень простой трюк: добавлять фразу «давай подумаем шаг за шагом» в начало ответа нейросети. Модель естественным образом начинала бить задачу на шаги, браться за них по одному, и последовательно приходить к правильному ответу.
Идея вроде очевидная, но я такую хитрость раньше не знал. Но и не пытал ботов подобными задачами 😁
Полезное знание. Т.к. я ИИ-инструменты активно использую, наверное, уже пора поискать материалы по другим накопленным хитростям работы с LLM и другими моделями 👀
————————————
#ai #insight #gpt #llm #ии #гпт #инсайт #образование #рекомендация