Есть популярная детская «задачка-ловушка», в которой предлагается ответить: что тяжелее – килограмм ваты или килограмм железа? Попасться на нее можно ровно один раз в жизни, после этого вы становитесь тертым калачом и можете удивлять этим вопросом своих друзей и товарищей (лучше всего, если они будут не старше семи лет).

Если вы зададите аналогичный вопрос языковой нейросети, она без труда даст вам правильный ответ. Но интересно другое: если задать не самой передовой модели LLM похожий-но-не-совсем-такой-же-точно-вопрос «что тяжелее – килограмм ваты или фунт железа?», то многие из них уверенно дают тот же самый ответ – дескать, никакой разницы нет, весят одинаково! Хотя очевидно, что килограмм явно тяжелее одного фунта.

Критики нейросеток нередко указывают на такие курьезы с посылом «да эти ваши стохастические попугаи думать не умеют, только улавливают похожие паттерны и кукарекают в ответ по заученному!». Что, как будто бы, выглядит справедливым; но правда заключается в том, что и мясная нейросеть внутри человечьей черепной коробки работает похожим образом.

Вчера я опубликовал на своем втором канале задачку про броски кубиков – в комментах ее расщелкали довольно быстро (если хотите, можете ненадолго отвлечься от чтения поста и попробовать решить ее самостоятельно).

Ирония этой задачи заключается в том, что она на первый взгляд немножко похожа на классическую задачу про выбор жены (на Западе известна как Secretary Problem) — поэтому те, кто с ней знакомы, сразу начинают думать в этом направлении («сначала первые 3–4 броска тестируем популяцию, потом выбираем первый результат лучше выборки»). Хотя, в данном случае «тестировать популяцию» нет необходимости, ведь вся кривая распределения результатов бросков кубика нам заведомо известна.

Получается, первый импульс и у человека, и у нейронки одинаковый – попытаться вытащить «из закромов памяти» какой-то похожий шаблон и наложить его с минимальными правками на текущую проблему. Главное – потом не остановиться на этом, а попробовать порассуждать и «покачать» интуитивный ответ на предмет его устойчивости. Потыкать в его слабые места пальцем и убедиться, что ничего не разваливается. Кажется, рассуждательные нейросети и на такое должны быть способны тоже.