Прошло не замеченным, а на самом деле угарно же =) LLM - это действительно просто архивация, но с доступом потом на неструктурированном, естественном языке - отсюда и ощущение магии. LLM - это просто способ компрессии информации, ничего более

Там на сайте стартапа экс-CTO OpenAI Миры Мурати (впервые) вышла статья Defeating Nondeterminism in LLM Inference - она большая (НЕ читать), но смысл ее очень простой:

- Современные LLM выдают разные ответы на идентичные запросы чисто потому что библиотеки kernels (низкоуровневая реализация на GPU умножения матриц, а также attention’а у трансформеров за счет гигантского распараллеливания) были исторически заоптимизированы под то, чтобы как можно реже обращаться к оперативной памяти, и поэтому все эти округления внутри batches разного размера данных (и не важно - обучения ли, или уже inference) проходят не идентично (идет, как они пишут, уничтожение информации), поэтому и нейронка вынимает каждый раз чуть более разные свои подразделы и подраздельчики, и поэтому ответы и варьируются

(но этих подразделов в многогигабайтной текстовой модели действительно - бездна, и их seamless сочетание между собой (как, скажем, разных фичей лица в комбинации с разным цветом и освещением и ракурсами в Midjourney итп) действительно дает ощущение магии, словно компьютер с тобой разговаривает)

- Пишут, что можно ценой бОльших затрат на compute (т.е. сделать менее оптимизированные kernels) дойти до полностью идентичной (вплоть до каждого токена) выдачи LLM на один и тот же запрос. Иными словами, можно будет распаковывать архив текстовой инфо всего запарсенного и спиженного интернета детерменированно, как это делают обычные архивы (или mpeg, или mp3, итп)

**

Единственное - вариабельность выдачи LLM полюбили широкая общественность - дало им базу для антропормфизации (очеловечивания) нейронок (в экстремальных случаях - вплоть до самоубийств, но тут ясное дело вовсе не в LLM, а в уже предрасположенности и нестабильности психики)

И не очень любят эту вариабельность создатели агентов для b2b, борются с ней, гоняют тыщи итераций и циклов (в тч с RL) итп

Действительно, нейронки не креативны - это просто лично вы раньше не задумывались о такой возможной комбинации каких-то элементов. Но вы же не ждете креативности от Google-поиска или от mp3 файла? Но да: хорошо редактируют тексты, суммаризируют, super retrieval system типа как когда-то Google итд итп

DeepSeek зимой, по сути, просто распилил общие LLM (которые ехали на психозе/максиме “отдача от масштабирования” западной софт-индустрии с ее то ли гигантоманией, то ли абсолютизацией emergent феномена им. тов. Sutskever) на 20 отдельных тематических подразделов - естественно, внутри них “архиватор данных на нейронках” не стал хуже работать. Жаль, до полного детерминизма китайцы тогда не доехали )

(сейчас, кстати xAI уволил 500 чел generalists проверяющих ответы Grok, и ищет 2000 чел но уже специалистов в узких доменах - финансы, право, кодинг, медицина, STEM итп)

**

Ну и в архивах сознание и агентность искать, естественно, бесполезно. Но неоанимизм в наше время принял не форму тигров или цветов или природной стихии, а интернет-архивов в интерфейсе чатбота (а порой и схождение с ума - кто реально типа Юдковского, а кто чисто цинично маркетингово типа Дарио Амодея или знакомых Альтмана)

P.S.:

- Еще угорел, что safety measures заставляют OpenAI системный все-ограничивающий-prompt втыкать к любому вашему запросу (чтобы в своей бездне детерменированных фичей нейронка не залезла типа куда-то не туда) - то есть на ваш запрос в сотню символов еще всегда 10 тыс токенов safety - поэтому, видимо, Цукербергу и надо $600 млрд вложить за несколько лет =)

- Amodei в Anthropic, правда, выбрали тупо запилить мелкую нейронку, которая анализирует каждый ваш запрос, никуда ничего не шлет на inference, а вместо этого начинает тебя занудно отчитывать что ты якобы охамел такое спрашивать (ну кто с Claude пытался работать за пределами прогинга, видели =))))