我今年反复多次强调,我对世界模型的一贯立场:
1GB的视觉信息,可能只是一堆大树小鸟,
而1GB的文字已经等于200~1000本书的全部信息,可能是10整套百科全书,或者是关于某个文明的全部wikipedia记载,或者是一个大型项目的全部代码。
文字的信息密度和对世界高度抽象概括,远远远远远远大于视觉streaming。
如果未来世界模型能够成功,并且达到了目前GPT-5.4的能力,
那么这个世界模型的参数,至少是GPT-5.4的10^6倍,而训练需要的数据和算力远远超过10^6倍。
当然,我对人类一贯是祝福且充满希望的,
但是现在显然算力依然远远不够,一个模型的参数也完全被算力和设备卡住脖子的前提下,
你要追求无比强大的世界模型,在当今的2026年,是一个不切实际的追求。
如果你有同样多的算力,你一定会投资追求一个更强大的GPT模型,而不是一个世界模型。
等什么时候人类彻底终结LLM竞赛、人类算力极大富裕、LLM堆参数和调整架构已经没有任何收益的时候,再考虑世界模型也不迟,无论是10年后还是30年后。
优质「内容」 | 优质「资源」 | 你不知道的内幕消息🌳
Post #11811
521