Telegraph 大模型为什么总选7 如果你让一个人在1-10中随机选择一个数字，他有很大的概率选择7。 如果你对一个大模型做同样的实验，你会发现它几乎一直选7，其概率比人大很多，如图。 因为它的训练数据中，人选7的概率很大，这种倾向被模型学到了。在模型的输出层，选项的随机性又被限制（温度和top-k等参数），进一步放大了选7的概率。 当模型选7的数据进入互联网，再次被爬取为模型的训练数据，选7的数据会呈现压倒性的比例。当模型在此基础上训练... 这就是大模型的坍缩（model collapse）。我们能看到很多类似的状况： - 让模型写一…

• 😭 2