人工神经网络复习题

《神经网络原理》

一、填空题

1、从系统的观点讲，人工神经元网络是由大量神经元通过极其丰富和完善的连接而构成的自适应、非线性、动力学系统。

2、神经网络的基本特性有拓扑性、学习性和稳定收敛性。

3、神经网络按结构可分为前馈网络和反馈网络，按性能可分为离散型和连续型，按学习方式可分为有导师和无导师。

4、神经网络研究的发展大致经过了四个阶段。

5、网络稳定性指从t=0时刻初态开始，到t时刻后v(t+△t)=v(t)，(t>0)，称网络稳定。

6、联想的形式有两种，它们分是自联想和异联想。

7、存储容量指网络稳定点的个数，提高存储容量的途径一是改进网络的拓扑结构，二是改进学习方法。

8、非稳定吸引子有两种状态，一是有限环状态，二是混沌状态。

9、神经元分兴奋性神经元和抑制性神经元。

10、汉明距离指两个向量中对应元素不同的个数。

二、简答题

1、人工神经元网络的特点？

答：（1）、信息分布存储和容错性。

（2）、大规模并行协同处理。

（3）、自学习、自组织和自适应。

（4）、人工神经元网络是大量的神经元的集体行为，表现为复杂

的非线性动力学特性。

（5）人式神经元网络具有不适合高精度计算、学习算法和网络设计没有统一标准等局限性。

2、单个神经元的动作特征有哪些？

答：单个神经元的动作特征有：（1）、空间相加性；（2）、时间相加性；（3）、阈值作用；（4）、不应期；（5）、可塑性；（6）疲劳。

3、怎样描述动力学系统？

答：对于离散时间系统，用一组一阶差分方程来描述：

X(t+1)=F[X(t)]；

对于连续时间系统，用一阶微分方程来描述：

dU(t)/dt=F[U(t)]。

4、F(x)与x 的关系如下图，试述它们分别有几个平衡状态，是否为稳定的平衡状态？

答：在图（1）中，有两个平衡状态a 、b ，其中，在a 点曲线斜率|F ’(X)|>1，为非稳定平稳状态；在b 点曲线斜率|F ’(X)|<1，为稳定平稳状态。

在图（2）中，有一个平稳状态a ，且在该点曲线斜率|F ’(X)|>1，为非稳定平稳状态。

5、对于单个神经元的离散模型，Hebb 学习假设是什么，基本学习方程是什么？

答：对于单个神经元的离散模型，Hebb 学习假设是：只有当神经元兴奋时，与其连接的突触结合权才被强化而增大；当两个神经元同时处于兴奋状态时，它们之间的连接权应该加强。 基本学习方程是：j i ij ij ij x y n w n w w η=-+=?)()1(

6、联想形式中的自联想和异联想有何区别？

答：自联想指的是由某种代表事物（或该事物的主要特征或可能是部分主在特征）联想到其所表示的实际事物。其数学模型为：当输入X ＝X0+V 时，输出Y=X0。异联想指的是由某一事物（或该事物的主要特征或可能是部分主在特征）联想到与其相关的另一事物。其数学模型为：在映射X0→Y0下，当输入X ＝X0+V 时，输出Y=Y0。

7、网络的稳定吸引子和吸引子的吸引域分别指什么？

答：当t=0时，对网络输入模式x ，网络处于状态v(0)，到时刻t 网络达到状态v(t)，若v(t)稳定，则称v(t)为网络的稳定吸引子。 吸引子的吸引域是指所有经过一定时间能够稳定在吸引子v(t)上的所有初始状态的集合。

三、论述题

1、 前馈式神经元网络与反馈式神经元网络有何不同？

答：（1）、前馈型神经元网络取连续或离散变量，一般不考虑输出与输入在时间上的滞后效应，只表达输出与输入的映射关系。

反馈式神经元网络可以用离散变量也可以用连续取值，考虑输出与输入之间在时间上和延迟，需要用动态方程来描述系统的模型。

（2）、前馈型网络的学习主要采用误差修正法（如BP算法），计算过程一般比较慢，收敛速度也比较慢。而反馈型网络主要采用Hebb学习规则，一般情况下计算的收敛速度很快。

反馈网络也有类似于前馈网络的应用，例如用作联想记忆或分类，而在优化计算方面的应用更能显出反馈网络的特点。

2、试述离散型Hopfield神经元网络的结构及工作原理。（1）Hopfield神经元网络的结构如下：

①这种网络是一种单层网络，由n个单元组成。

②每个神精元既是输入单元，又是输出单元；各节点一般选用相同的转移函数，且为符号函数，即：

③为网络的输入；

为网络的输出；

为网络在时刻t 的状态，其中t∈{0，1，2，···} 为离散时间变量。

④Wij为从Ni到Nj的连接权值，Hopfield网络为对称的即有Wij = Wji 。

（2）、工作原理：

①、网络经过训练后，可以认为网络处于等待工作状态，对网络给定初始输入x 时，网络就处于特定的初始状态，由此初始状态开始运行，可以得到网络的下一个输出状态。

②、这个输出状态通过反馈回送到网络的输入端，作为网络下一个阶段的输入信号，这个输入信号可能与初始输入信号不同，由这个新的输入又可得到下一步的输出,如此重复。

③、如果网络是稳定的，经过若干次反馈运行后网络将会达到稳态。

④、Hopfield 网络的工作过程可用下式表示：

x 1 x 2 x n-1 x n

y n

))(()1()0(1j

n i i ij j j j j t v w f t v x v θ-∑=+==

研究生神经网络试题A 卷参考答案

一、名词解释(共5题，每题5分，共计25分)

1、泛化能力

答：泛化能力又称推广能力，是机器学习中衡量学习机性能好坏的一个重要指标。泛化能力主要是指经过训练得到的学习机对未来新加入的样本（即测试样本）数据进行正确预测的能力。

2、有监督学习

答：有监督学习又被称为有导师学习，这种学习方式需要外界存在一个“教师”，她可以对一组给定输入提供应有的输出结果，学习系统可根据已知输出与实际输出之间的差值来调节系统参数。

3、过学习

答：过学习（over-fitting ），也叫过拟和。在机器学习中，由于学习机器过于复杂，尽管保证了分类精度很高（经验风险很小），但由于VC 维太大，所以期望风险仍然很高。也就是说在某些情况下，训练误差最小反而可能导致对测试样本的学习性能不佳，发生了这种情况我们称学习机（比如神经网络）发生了过学习问题。典型的过学习是多层前向网络的BP 算法

4、Hebb 学习规则

答：如果两个神经元同时兴奋(即同时被激活)，则它们之间的突触连接加强。如

果用i v 、j v 表示神经元i 和j 的激活值(输出)，

ij ?表示两个神经元之间的连接权，则Hebb 学习规则可以表示为： ij i j w v v α?= ，这里α表示学习速率。Hebb 学习规则是人工神经网络学习的基本规则，几乎所有神经网络的学习规则都可以看作Hebb 学习规则的变形。

5、自学习、自组织与自适应性

答：神经网络结构上的特征是处理单元的高度并行性与分布性，这种特征使神经网络在信息处理方面具有信息的分布存储与并行计算而且存储与处理一体化的特点。而这些特点必然给神经网络带来较快的处理速度和较强的容错能力。能力

方面的特征是神经网络的自学习、自组织与自性适应性。自适应性是指一个系统能改变自身的性能以适应环境变化的能力，它包含自学习与自组织两层含义。自学习是指当外界环境发生变化时，经过一段时间的训练或感知，神经网络能通过自动调整网络结构参数，使得对于给定输入能产生期望的输出。自组织是指神经系统能在外部刺激下按一定规则调整神经元之间的突触连接，逐渐构建起神经网络。也就是说自组织神经元的学习过程，完全是一种自我学习的过程，不存在外部教师的示教。

二、问答题（共7题，每题8分，共计56分）

3、人工神经网络是模拟生物神经网络的产物，除相同点外，它们还存在哪些主要区别？

答; 1．单元上的差别对于生物神经元而言，影响突触传递信息强度的因素很多、很复杂。如突触前微细胞的大小与多少、神经传递化学物质含量的多少、神经传递化学物质释放的速度、突触间隙的变化、树突的位置与大小等诸多因素都会对突触电位产生影响，从而影响神经元的输出脉冲响应。而人工神经元则忽略了这些影响，输入、输出关系十分简单。

2．信息上的差别生物神经元传递的信息是脉冲，而人工神经元传递的信息是模拟电压。

3．规模与智能上的差别目前，人工神经网络的规模还远小于生物神经网络，网络中神经元的数量一般在104个以下，显然，其智能也无法与生物神经网络相比。

4、感知器神经网络存在的主要缺陷是什么？

答: 1)由于感知器的激活函数采用的是阀值函数，输出矢量只能取0或1，所以只能用它来解决简单的分类问题；

2)感知器仅能够线性地将输入矢量进行分类。理论上已经证明，只要输人矢量是线性可分的，感知器在有限的时间总能达到目标矢量；

3)感知器还有另外一个问题，当输入矢量中有一个数比其他数都大或小得很多时，可能导致较慢的收敛速度。

5、请比较前馈型神经网络与反馈型神经网络的异同点。（8分）

答：前馈型神经网络只表达输入输出之间的映射关系，实现非线性映射；反馈型神经网络考虑输入输出之间在时间上的延迟，需要用动态方程来描述，反馈型神

经网络是一个非线性动力学系统。

(1)前馈型神经网络的学习训练主要采用BP算法，计算过程和收敛速度比较慢；反馈型神经网络的学习主要采用Hebb规则，一般情况下计算的收敛速度很快，并且它与电子电路有明显的对应关系，使得网络易于用硬件实现。

(2)前馈型神经网络学习训练的目的是快速收敛，一般用误差函数来判定其收敛程度；反馈型神经网络的学习目的是快速寻找到稳定点，一般用能量函数来判别是否趋于稳定点。

(3)两者都有局部极小问题。

6、BP算法的基本思想是什么，它存在哪些不足之处？（9分）

答：BP算法（即反向传播法）的基本思想是：学习过程由信号的正向传播与误差的反向传播两个过程组成。

1）正向传播：输入样本－>输入层－>各隐层（处理）－>输出层

注1：若输出层实际输出与期望输出（教师信号）不符，则转入2）（误差反向传播过程）

2）误差反向传播：输出误差（某种形式）－>隐层（逐层）－>输入层

其主要目的是通过将输出误差反传，将误差分摊给各层所有单元，从而获得各层单元的误差信号，进而修正各单元的权值（其过程，是一个权值调整的过程）。注2：权值调整的过程，也就是网络的学习训练过程（学习也就是这么的由来，权值调整）。

虽然BP算法得到广泛的应用，但它也存在自身的限制与不足，其主要表现在于它的训练过程的不确定上。具体说明如下：

1）易形成局部极小（属贪婪算法，局部最优)而得不到全局最优；

BP算法可以使网络权值收敛到一个解，但它并不能保证所求为误差超平面的全局最小解，很可能是一个局部极小解。

2）训练次数多使得学习效率低下，收敛速度慢（需做大量运算）；

对于一些复杂的问题，BP算法可能要进行几小时甚至更长的时间的训练。这主要是由于学习速率太小所造成的。可采用变化的学习速率或自适应的学习速率来加以改进。

3）隐节点的选取缺乏理论支持；

4）训练时学习新样本有遗忘旧样本趋势

1、人工神经网络：在对人脑神经网络基本认识的基础上，用数理方法从信息处理的角度对

人脑神经网络进行抽象，并建立某种简化模型，就称为人工神经网络。

2、自适应：自适应性是指一个系统能改变自身的性能以适应环境变化的能力。

3、自学习：当外界环境发生变化时，经过一段时间的训练或感知，神经网络能通过调整网络结构参数，使得对给定输入能产生期望的输出。

4、自组织：神经系统能在外部刺激下按一定规则调整神经元之间的突触连接，逐渐构建起神经网络，这一构建过程称为网络的自组织。

5、泛化能力：BP 网络训练后将所提取的样本对中的非线性映射关系存储在权值矩阵中，在其后的工作阶段，当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。

6、模式：模式是对某些感兴趣的客体的定量描述或结构描述，模式类是具有某些共同特征的模式的集合

7、分类：分类是在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的模式类中去。

8、聚类：无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类，而将不相似的分离开，其结果实现了模式样本的类相似性和类间分离性。

9、死节点：在训练过程中，某个节点从未获胜过且远离其他获胜节点，因此它们的权向量从未得到过调整。

10、网络吸引子：若网络的状态)(f T WX X -=,则成称X 为网络的吸引子。

11、人工神经网络发展阶段及标志：可分为四个时期：启蒙时期开始于1890年W.James 关于人脑结构与功能的研究，结束于1969年Minsky 和Papert 出版的《感知器》一书；低潮时期开始于1969年，结束于1982年Hopfield 发表的著名的文章《神经网络和物理系统》；复兴时期开始于J.J.Hopfield 的突破性研究论文，结束与1986年 D.E.Rumelhart 和J.L.McClelland 领导的研究小组编写出版的《并行分布式处理》一书。高潮时期以1987年首届国际神经网络学术会议为开端，迅速在全世界围掀起人工神经网络的研究应用热潮。

12、神经网络的基本特征：结构上的特征是处理单元的高度并行性与分布性，这种特征使神经网络在信息处理方面具有信息的分布存储与并行计算、存储与处理一体化的特点。而这些特点必然给神经网络带来较快的处理速度和较强的容错能力。能力方面的特征是神经网络的自学习、自组织和自适应性。自适应性是指一个系统能改变自身的性能以适应环境变化的能力，它包含自学习和自组织两层含义。自学习是指当外界环境发生变化时，经过一段时间的训练或感知，神经网络能通过调整网络结构参数，使得对给定输入能产生期望的输出。自组织是指神经系统能在外部刺激下按一定规则调整神经元之间的突触连接，逐渐构建起神经网络。

13、人脑神经元的基本结构与功能：神经元在结构上由细胞体、树突、轴突和突触四部分组成 功能：细胞体：处理信息的功能 树突：输入信息 轴突：输出信息 突触：传递信息的节点

14、人脑信息传递过程：

突触前 突触间隙 突触后

15、BP 网络的主要能力是什么？

答：1、非线性映射能力2、泛化能力3、容错能力

16、BP 算法的缺陷及改进方案

BP 算法的缺陷

①易形成局部极小而得不到全局最优；

②训练次数多，使得学习效率低，收敛速度慢；

③隐节点的选取缺乏理论指导；

④训练时学习新样本有遗忘旧样本的趋势。

改进方案：

1 增加动量项

2 自适应调节学习率

3 引入陡度因子

17、对输入、输出数据进行尺度变换的主要原因是什么？

①网络的各个输入数据常常具有不同的物理意义和不同的量纲，如某输入分量在510

1~0?围变化，而另一输入分量则在5-101~0?围变化。尺度变换使所有分量都在1~0或1~1-之

间变化，从而使网络训练一开始就给各输入分量以同等重要的地位；②BP 网的神经元均采用Sigmoid 转移函数，变换后可防止因净输入的绝对值过大而使神经元输出饱和，继而使权值调整进入误差曲面的平坦区；③Sigmoid 转移函数的输出在1~0或1~1-之间，作为教师信号的期望输出数据如不进行变换处理，势必使数值大的分量绝对误差大，数值小的分量的绝对误差小，网络训练时只针对输出的总误差调整权值，其结果是在总误差中占份额小的输出分量相对误差较大，对输出分量进行尺度变换后这个问题可迎刃而解。

18、BP 网络初始值的设计的原则和方法？

答：原则：使每个神经元一开始都工作在其转移函数变化最大的位置。

方法：①使初始权值足够小；②使初始值为+1和-1的权值数相等。应用中对隐层权值可采用第一种方法，而对输出层可采用第二种办法。

19、胜者为王学习规则的三个步骤。①向量归一化 首先将自组织网络中的当前输入模式向

量X 和竞争层中各神经元对应的星向量),,2,1j m j W ???=（全部进行归一化处理，得到^

X 和),,2,1(^j m j W =。②寻找获胜神经元 当网络得到一个输入模式向量^X 时，竞争层的所有神经元对应的星权向量),,2,1(^j m j W =均与^X 进行相似性比较，将与^X 最相似的星权向量判为竞争获胜神经元，其权向量记为^*j W 。测量相似性的方法是对j ^W 和^X 计算欧式距

离（或夹角余弦）：}{min X ^

^},,2,1{^^*j m j j W X W -=-∈ （可补充）③网络输出与权值调整 胜者为王竞争学习算法规定，获胜神经元输出为1，其余输出为零。

20、SOM 网权值初始化的原则和一般方法有哪些？

答：SOM 网的权值一般初始化为较小的随机数，这样做的目的是使权向量充分分散在样本空间。但在某些应用中，样本整体上相对集中于高维空间的某个局部区域，权向量的初始位置却随机的分散于样本空间的广阔区域，训练时必然是离整个样本群最近的权向量被不断调整，并逐渐进入全体样本的中心位置，而其他权向量因初始位置远离样本群而永远得不到调

整。如此训练的结果可能使全部样本聚为一类。解决这类问题的思路是尽量使权值的初始位置与输入样本的大致分布区域充分重合。根据上述思路，一中简单易行的方法是从训练集中随机抽取m 个输入样本作为初始权值，即：k

ram j X 0=）（W ),,2,1(m j = 式中，ram k 是输入样本的顺序随机数，}2,1{k ram P ，∈。因为任何ram k X 一定是输入空间

某个模式类的成员，各个权向量按上式初始化后从训练一开始就分别接近了输入空间的各模式类，占据了十分有利的“地形”。另外一种可行的办法是先计算出全体样本的中心向量：

∑==P 1

p p X P 1X 在该中心向量基础上叠加小随机数作为权向量初始值，也可将权向量的初始位置确定在样本群中。

21、SOM 网的局限性

①隐层神经元数目难以确定，因此隐层神经元往往未能充分利用，某些距离学习向量远的神经元不能获胜，从而成为死节点；

②聚类网络的学习速率需要人为确定，学习终止往往需要人为控制，影响学习进度； ③隐层的聚类结果与初始权值有关。

22、正则化RBF 网络与广义RBF 网络的不同：

①径向基函数的个数M 与样本的个数P 不相等，且M 常常远小于P 。

②径向基函数的中心不再限制在数据点上，而是由训练算法确定。

③各径向基函数的扩展常数不再统一，其值由训练算法确定。

④输出函数的线性中包含阈值参数，用于补偿基函数在样本集上的平均值与目标值之间的差别。

23、BP 网络与RBF 网络的不同

①RBF 网络只有一个隐层，而BP 网络的隐层可以是一层也可以是多层的。

②BP 网络的隐层和输出层其神经元模型是一样的；而RBF 网络的隐层神经元和输出层神经元不仅模型不同，而且在网络中起到的作用也不一样。

③RBF 网络的隐层是非线性的，输出层是线性的。然而，当用BP 网络解决模式分类问题时，它的隐层和输出层通常选为非线性的。当用BP 网络解决非线性回归问题时，通常选择线性输出层。

④RBF 网络的基函数计算的是输入向量和中心的欧氏距离，而BP 网络隐单元的激励函数计算的是输入单元和连接权值间的积。

⑤RBF 网络使用局部指数衰减的非线性函数（如高斯函数）对非线性输入输出映射进行局部逼近。BP 网络的隐节点采用输入模式与权向量的积作为激活函数的自变量，而激活函数则采用Sigmoid 函数或硬限幅函数，因此BP 网络是对非线性映射的全局逼近。RBF 网络最显著的特点是隐节点采用输入模式与中心向量的距离（如欧式距离）作为函数的自变量，并用径向基函数（如Gauss 函数）作为激活函数。径向基函数关于N 维空间的的一个中心点具有径向对称性，而且神经元的输入离该中心越远，神经元的激活程度就越低。隐层节点的这个特性常被称为“局部特性”。

24、支持向量机的基本思想/方法是什么？

答：支持向量机的主要思想是建立一个最优决策超平面，使得该平面两侧距平面最近的两类样本之间的距离最大化，从而对分类问题提供良好的泛化能力。对于非线性可分模式分类问题，根据Cover 定理：将复杂的模式分类问题非线性的投射到高维特征空间可能是线性可分

的，因此只要变换是非线性的且特征空间的维数足够高，则原始模式空间能变换为一个新的高维特征空间，使得在特征空间中模式以较高的概率为线性可分的。此时，应用支持向量机算法在特征空间建立分类超平面，即可解决非线性可分的模式识别问题。

25、cover 定理：将复杂的模式分类问题非线性的投射到高维空间比投射到低维空间更可能是线性可分的。

26、画图并说明权值调整的通用学习规则。

答：通用学习规则可表达为：权向量j W 在t 时刻的调整量）

（t W j ?与t 时刻的输入向量）

（t X 和学习信号r 的乘积成正比。用数学表达式为： )()](),(),([r W j t X t d t X t W j j η=?

式中，η为正数，称为学习常数，其值决定了学习速率。基于离散时间调整时，下一时刻的权向量应为：

)()](),(X )(W [)(W )1(W j j j t X t d t t r t t j ，η+=+（补充图）

27、BP 算法的误差曲线存在平坦区，利用图形、相关公式说明造成平坦区的原因、平坦区造成的问题、如何改进进而快速度过平坦区。

答：造成平坦区的原因：造成这种情况的原因与各节点的净输入过大有关。平坦区造成的问题：会使训练次数大大增加，从而影响了收敛速度。如何改进进而快速度过平坦区：①自适应调节学习率②引入陡度因子

28、批训练BP 算法步骤

29、SOM 神经网络学习算法

⑴初始化 对输出层各权向量赋予小随机数并进行归一化处理，得到j ^

W ，；，，m 2,1j =建立初始优胜邻域)0(N *j ；学习率η赋初始值。

⑵接受输入 从训练集中选取一个输入模式并进行归一化处理，得到^p X ，。

，，P}2,1{p ∈ ⑶寻找获胜节点 计算^p X 与j ^

W 的点积，m 2,1j ，， =，从中选出点积最大的获胜节点*j ；如果输入模式未经归一化，应计算欧式距离，从中找出距离最小的获胜节点。

⑷定义优胜邻域）（t *N j 以*j 为中心确定t 时刻的权值调整域，一般初始邻域）（0*N j 较

大，训练过程中）（t *N j 随训练时间逐渐收缩。

⑸调整权值 对优胜邻域）（t *N j 的所有节点调整权值：

)]t (w )[,()t (w )1t (w ij ij ij -+=+p i x N t η ;2,1i n ，，

= ）（t *N j j ∈ 30、K-means 聚类算法确定数据中心

（1）初始化 选择M 个互不相同向量作为初始聚类中心：

),0(,),0(),0(21M c c c 选择时可采用对各聚类中心向量赋小随机数的方法。

（2） 计算输入空间各样本点与聚类中心点的欧式距离：

）

（k c -X j p ;,,2,1P p = M j ,,2,1 = （3）相似匹配 令*j 代表竞争获胜隐节点的下标，对每一个输入样本p X 根据其与聚类中

心的最小欧式距离确定其归类)(*p X j ，即当有如下等式时：

)(m in )(*k c X X j j p j

p -= P p ,,2,1 = p X 被归为第*j 类，从而将全部样本划分M 个子集，),(,),(),(21k U k U k U M 每个子集构成一个以聚类中心为典型代表的聚类域。

（4）更新各类的聚类中心 可采用两种调整方法，一种方法是对各聚类域中的样本取均值，令)(k U j 表示第j 个聚类域，j N 为第j 个聚类域中的样本数，则：

∑∈=+)(j 1

)1(c k U X l j X N k

另一种方法是采用竞争学习规则进行调整，即

??

???≠=-+=+*),(*)],([)()1(j j k c j j k c X k c k c j j p j j η 式中，η是学习率，且10<<η。可以看出，当1=η时，该竞争规则即为Winner-Take-All 规则。

（5）将k 值加1，转到第（2）步。重复上述过程直到k c 的改变量小于要求的值。 各聚类中心确定后，可根据各中心之间的距离确定对应径向基函数的扩展常数。令： i j i

j c c d -=min 则扩展常数取：j j d λδ= 式中，λ为重叠系数。 31、结合cover 定理，从模式可分性观点论述RBF 处理线性不可分问题的原理。

（1）cover 定理 将复杂的模式分类问题非线性的投射到高维空间比投射到低维空间更可能是线性可分的。

（2）RBF 神经元模型 )()(1∑=-=

P p p p X X w X F ?

（3）RBF 的拓扑结构