Магия, которую никто не программировал

Модель учили одному: угадывать следующее слово. Это единственное, что было заложено в задачу напрямую. Смысл разложился в пространстве в виде близких и далёких точек сам, как побочный эффект — этого никто отдельно не программировал. Модель не видела кота глазами и не знает, что такое мурлыканье в человеческом смысле. Но геометрически точка «кот» оказалась в нужном месте, рядом с лапами, шерстью, ветеринаром и мяуканьем, и для практических целей результат неотличим от знания.

Назвать это сознанием или пониманием в человеческом смысле нельзя. Точнее будет сказать так: из миллиардов чисто алгоритмических исправлений выросла структура, где смысл — это геометрическое расположение точек друг относительно друга. Люди веками объясняли необъяснимое через привычные образы: не понимали природу солнца, называли его богом; не понимали молнию — придумывали Зевса. С языковыми моделями работает похожий рефлекс: то, что устроено непрозрачно, легко принять за нечто большее, чем оно есть. Разобраться, что там внутри происходит на самом деле — лучший способ этот рефлекс обойти.

#LLMпросто

😎 { Синтезиум. Подписка }