1949 年 Donald O. Hebb 发表了 'The Organization of Behavior'，首次提出了自适应神经突触连接的概念，也被称为赫布突触（Hebb Synapse）。

可惜赫布的理论要沉睡十年，直到 1960 年随着计算机理论的发展，人们才重新发明了类赫布突触结构的感知器（perceptrons）。感知器是只有 input 和 output 层的简单神经网络，具有有限的学习能力，在引起短暂的轰动后归于沉寂，持续 20 年的 AI 寒冬降临了。

1969 Marvin Minsky 出版 'Perceptrons'，用数学方法论证了感知器的局限，让 AI 寒冬的寒气更加刺骨。幸而 Minsky 的这本书流传得并不彻底，远在加拿大多伦多大学的 Geoffrey E. Hinton 并没有读过这本书，他在 AI 寒冬期也继续研究神经网络，并最终创造了深度神经网络 AlexNet。（Hinton 的学生 Ilya 是 OpenAI 的联合创始人之一）。

不过如今计算机领域的神经网络似乎认为，越简单单一的网络结构越能产生最好的效果，以 RNN 为代表的复杂结构被简单的 Transformer 所取代。但其实在人脑的神经结构中，神经细胞是高度分化和特异性的，不同的神经细胞负责不同的功能，而不是简单的单一神经细胞负责所有功能。也许未来的计算机神经网络仍然能够从生物大脑中学到很多东西。

以上内容来自 Richard Masland 的 'We Know It When We See It'（我们如何看见，又如何思考），作者从神经科学的角度，讲述了人类视神经和脑神经的结构和功能，以及人类视觉的机理和特性，同时也讨论了计算机神经网络的发展和未来。 #book