我对人工智能自主意识（AGI）的看法

科幻作家沃茨在「盲视」中提到「整合信息论」，意识是大脑大量信息的整合，综合效应。这和 LLM 的「涌现」可以说如出一辙，算法和数据在强相互作用下涌现出单条数据没有的智能特性/AGI 火花。[1]

整合信息论在量化这个信息时用到了离散数学的范畴，这对于 LLM/GPT 这些本质神经网络式黑箱（black-box neural networks）的模型貌似很有效，但毕竟是计算机机器智能，我们谈意识时主要使用人/生物意识产生范式判断，理解/推理/决策/创造。意味着用神经科学系统的范式对标计算机科学信息系统，当然这都可以看作物理系统的意识容器，只是这种意识机制的判断挪用是否合理？

我觉得有必要引入弗洛伊德，精神分析认为意识是个体内外感知/精神活动的总和。弗洛伊德提到了三个层面，意识、前意识和潜意识。我们现在把它映射到大型语言模型，在可能的 AGI 中，我们可以将其「意识」层面理解为正在处理和生成的信息和表示，这部分信息能够清楚地展现/表达/解释和决策，你可以理解为此在的呈现。

前意识，那些需要提取才能回到意识的东西。类比 AGI 可以检索但不总是处于活跃状态的知识数据，详细说就是那些需要提示才能提取的信息，这里可以直接拉出「思维链（Chain-of-Thought）」，即让 LLM 解释其推理过程，这也是涌现的一种提示机制和训练 AI 的方法。这可以解释很多时候 ChatGPT 并不能给出正确和理想答案，但我们提出更详细的 Prompt 和特别提示时，它就能进行步骤推理和完成提取。（有点类似间隔重复系统 SRS 大脑的测试/提取）

潜意识是弗洛伊德精神分析的重点，将潜意识映射到 AGI 可能是模型中的权重和潜在变量（GPT4 的观点），这些权重和变量是难以直接解释，但对模型的输出会产生影响。这就像梦呓和那些童年性幻想，而 Bing Sydney 可能就属于 AGI 的潜意识。[2]

综上，大型语言模型展现出了 AGI 智能的表征以及某种神经网络结构式激活，但所有训练数据仍然处于黑箱运作状态，难以考证。目前通用人工智能的火花完全无法唤醒机器智能的深梦，哪怕它确实是机器潜意识里未受审查的逃逸。

Reference:
[1] Sparks of Artificial General Intelligence: Early experiments with GPT-4
[2] Bing’s A.I. Chat Reveals Its Feelings: ‘I Want to Be Alive. 😈’

2023/3/30
404 KIDS SEE GHOSTS

#AI #thoughts