SEP：心灵的计算理论（三） (5-1)

4 Neural networks

在1980年代，联结主义(connectionism)出现了，作为经典计算主义的主要对手。联结主义从神经生理学而不是逻辑与计算机科学中汲取灵感。他们采用的是，显著不同于图灵式模型的神经网络(neural network)计算模型。一个神经网络就是一些相互连接节点的集合。节点可以分为三类：输入节点、输出节点以及隐藏节点(后者在输入与输出节点间起着中介作用)。节点带具有由实数给出的激活值。一节点可以与另一节点具有带——同样是实数给出的——权重的联系。输入节点的激活是外源性的：这些就是计算的输入。对一个隐藏或输出节点的总输入激活是，进入到该节点之激活的加权总和。一个隐藏或输出节点的激活是，关于其总输入激活的一个函数；这个特定的函数随具体网络的不同而不同。在神经网络计算过程中，激活波从输入节点传播到输出节点，这由节点之间的加权连接决定。

在一个前馈网络(feedforward network)中，加权连接将仅有一个方向。循环网络(recurrent networks)则带有反馈回路，在其中，从隐藏单元出发的连接将会循环回到隐藏单元中。相比于前馈网络，循环网络在数学上更难处理。然而后者在关于各种各样现象的心理学模型中起着至关重要的作用，例如涉及到某些类型的记忆的现象(Elman 1990)。

一个神经网络中的加权通常是可变的，其随着学习算法(learning algorithm)的变化而变化。文献中提供了多种多样的学习算法，但是基本思路常常仍是，通过调整权重以使得，相对于输入的实际输出更加接近于人们所期望的目标输出。反向传播算法(backpropagation algorithm)就是广泛使用了此种类型的算法(Rumelhart, Hinton, and Williams 1986)。

联结主义可以追溯到McCulloch and Pitts (1943)，其中研究了相互连接的逻辑门(logic gates)网络(比如，AND-门，与OR-门)。人们可以将逻辑门的一个网络视为神经网络，其激活值是二值的(0与1)，且激活函数被给定为真值函数。 麦克洛克与皮茨将逻辑门作为单个神经元的理想模型进行了深入研究。他们的讨论对计算机科学产生了深远影响(von Neumann 1945)。当代数字计算机就只是逻辑门网络。然而，在认知科学中，研究者通常更关注于那些元素更像是神经元而非逻辑门的网络。特别是，当代联结主义者通常强调的是模拟的神经网络，其节点接受连续的而非离散的激活值。一些学者甚至对其用了“神经网络”这个短语，因此就专指了这样的网络。

在1960年代到1970年代，认知科学家对神经网络的关注较少，因为在那时图灵式模型正处于统治地位。在1980年代，人们对神经网络的兴趣大为复兴了，特别是模拟的神经网络，两卷本的Parallel Distributed Processing(Rumelhart, McClelland, and the PDP research group, 1986; McClelland, Rumelhart, and the PDP research group, 1987)是这一事件的标志。研究者为各种各样的现象构造了联结主义式模型：对象识别、言语知觉、句子理解、认知发展，如此等等。许多研究者对联结主义印象深刻，总结道，CCTM+RTM不再是“这城里唯一的游戏”了。

数学联邦政治世界观提示您：看后求收藏（同人小说网http://tongren.me），接着再看更方便。