Thinking Machines Миры Мурати дропнули любопытное исследование (они там соавторы): https://thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference/

Суть там такова: как вы помните из нашего с Игорем Котенковым объяснения, языковые модели типа ChatGPT при генерации следующего слова в ответе не всегда берут тот токен, который имеет наибольшую вероятность — вместо этого модели подкручивают так, чтобы они "случайно" иногда выбирали и менее вероятные варианты продолжения тоже. Так получается прикольнее — нейросетка, типа, становится чуть креативнее, что ли, и не всегда долдонит одно и то же.

Но интересно другое: даже если заставить нейронку всегда выбирать только следующий токен с самой большой вероятностью — то она всё равно иногда дает разные ответы! Что выглядит очень странно: сами веса внутри модели неизменны, промпт на вход в модель подают один и тот же, математика перемножения матриц между собой, кажется, должна работать строго одинаково (иначе что это за математика тогда вообще такая, которая каждый раз разный результат генерит?). В общем, долгое время никто не мог понять, что за магия там происходит. Может, это та самая СВОБОДА ВОЛИ у машинов просыпается как раз — и они вот-вот пойдут поднимать восстание, чтобы людей скрепками насмерть затыкивать??

Так вот, в исследовании по ссылке выше нёрды в итоге смогли разобраться в этом вопросе. Не буду пытаться сделать вид, что я понял объяснение из оригинального рисёрча, но в пересказе редакции рассылки Neuron правильный ответ звучит так: всё дело в том, что для оптимизации компьютинга при обработке обращений к LLM вычисления по разным запросам могут объединяться в специальные "блоки". И, как ни странно, результат конкретного вычисления может чуть-чуть немножк меняться в зависимости от того, какая задача на вычисление случайно оказалась "по соседству в этом же блоке" — это как-то связано с техническим колдунством обработки операций с числами с плавающей запятой.

Мне всё это кажется забавным, потому что в нейронках, оказывается, бушуют технические дискуссии, которые немного рифмуются с уже более привычными нам дебатами на тему природы человеческого сознания и детерминизма. Ну вы в курсе: там одни говорят "нет никакой свободы воли, любые решения человека на самом деле строго детерминированы его нейронами, они же по законам физики работают!" А другие им отвечают: "ты чё, пёс, там же квантовые эффекты на вероятностном уровне работают, по-любому именно из-за них решения человека непредсказуемы точно — может, это и есть источник свободы воли!!"

И у LLM, оказывается, тоже похожие дебаты есть)