神经网络

题

BP神经网络的现状及应用综述目

作者：潘高超

学号：15120017

指导教师：吴建国

完成日期：2016年5月1日

摘要

BP神经网络作为人工神经网络的重要分支，是促进该学科发展的重要力量，体现出这门科学的理论精华。BP神经网络具有完善的理论体系，清晰的算法流程，强大的数据识别和模拟功能。在解决非线性系统问题时，优势明显，突显出巨大的实际应用价值。

在当今社会，BP神经网络是现实应用中展为广泛的，它具有神经网络的基本特征，所以本文以BP神经网络作为研究对象。研究的内容主要有：首先，对生物神经元与人工神经元之间的关系和BP神经网络的基本原理及推导过释进行阐述。其次，对BP神经网络的参数选择和流程步骤进行了研究。

关键词：神经网络，非线性系统，数据识别

第一章目的和意义

人工神经网络(Artificial Neural Network，ANN)是由大量计算单元构成的非线性系统，它模仿人脑神经系统对外界信号接收、处理、存储的过程。具有强大的智能处理信息的功能。19世纪40年代初，心理学家Mcculloch和数学家Pitts从信息处理和数学建模的角度出发，对信号在神经元间的传递进行研究，提出神经元形式的MP数学模型，发出利用神经科学作为逻辑数学工具研究客观世界的先声。随后国外许多学者参与神经网络的研究工作，提出大量新理论和学习算法，如无导师学习、感知器模型、反向传播算法、最小均方规则、玻耳兹曼机、模拟退火算法、竞争学习以及运动控制等学习模型。这些学习模型改进了神经网络的学习结构，完善了原有的理论，增强其处理各类信息的能力，体现了神经网络的一些显著特点及优势：具有非线性映射能力，擅于从输入和输出信号中寻找规律，不需要精确的数学模型，并行计算能力强，易于进行软硬件的编程计算。因此，神经网络作为模仿生物的新型数学模型，被尝试性地运用去解决一些传统方法不能解决的问题。

1985年Rumelhart在误差反向传播理论的基础上提出反向传播(Back-Propagation)学习算法，即BP神经网络算法。BP神经网络构建在多层前馈网络的基础上，由输入、输出、隐含层组成。输入信号在各层神经元问传递，通过各神经元激活函数的作用，完成正向传播。根据正向传播的误差信号，BP神经网络利用梯度下降法进行有导师式反向传播学习，通过反复的正向、反向学习，使误差信号达到最小。1988年Cybenko指出，当各节点均采用Sigmoid型函数时，一个隐含层就足以实现任意的判决分类问题，两个隐含层则足以表示输入图形的任意输出函数。这反映出BP神经网络具有强大的数据识别和模拟能力，在解决非线性系统问题时，优势明显，是一种可以被推广应用的前沿理论与技术。近年来国内外学者对ANN模型的研究大多聚焦在前馈反向传播网络上，BP神经网络是前馈反向传播网络精华的部分，应用程度最广，因而得到学者们的格外关注。目前BP神经网络的应用领域主要有：模式识别、智能控制、故障诊断、图像识别处理、优化计算、信息处理、金融预测、市场分析与企业管理等。

第二章研究动态

神经网络是一个由大量简单的处理单元广泛连接组成的系统．用来模拟人脑神经系统的结构和功能。它从开始研究到发展并不是一帆风顺的，经历了兴起到低潮。再转入新的高潮的曲折发展道路。20世纪80年代中期以来，在美国、日本等一些西方工业发达国家里，掀起了一股竞相研究、开发神经网络的热潮。近十多年来人工神经网络的发展也表明了，这是一项有着广泛的应用前景的新型学科，它的发展对目前和未来科学技术水平的提高将有重要影响。神经网络诞生半个多世纪以来，经历了以下几个发展阶段。

(1)初期阶段

美国心理学家William James(1890)发表了《心理学原理》一书，论述了相关学习，联想记忆的基本原理．对人脑功能作了创见性地工作。他指出：当前基本的脑细胞曾经一起相继被激活过．其中一个受到刺激重新激活时，会将刺激传播到另一个。同时．James认为：在大脑皮层上任意点的刺激量，是其他所有发射点进入该点的总和。美国心理学家W.S.Mcculloh与数学家W.H.Pirts(1943)合作，用逻辑数学工具研究客观事件在形成神经网络中的数学模型表达，从此开创了对神经网络的理论研究(阎平凡，2002)。心里学家D.O.Hebb(1949)出版《行为构成》一书，首先建立了被称为Hebb算法的连接权训练规则，Hebb学习规则开始时作为假设提出来的，正确性在30年后才得到证实。他认为学习过程就发生在两个神经细胞相互连接的突触处，并首先提出了神经元权值的修改方案了，Hebb学习规则至今仍产生深刻影响。F.Rosenblatt(1957)首次提出并设计制作了著名的感知器，提出了一种具有三层网络的结构，第一次从理论研究转入工程现实阶段，从工程角度出发，研究了用信息处理神经网络模型。Bernard Widrow和Marcian Hoff(1962)提山了一种连续取值的线性加权求和阈值网络，即自适应线性元件网络，也可以看成是感知器的变形，它成功地应用于自适应信号处理和雷达天线控制等连续可调过程。他们在人工神经网络理论上创造了一种被人们熟知的Widrow．Hoff学习训练算法，并用硬件电路实现人工神经网络方面的工作．为今天用大规模集成电路实现神经网络计算机

奠定了基础(袁曾任，1999)。

(2)低潮阶段

Marbin Minsky和Seymour Papert(1969)出版了一本名为《感知器》的专著，书中指出线性感知器功能是有限的，简单的神经网络只能进行线性分类和求解一阶谓词问题，而一不能进行非线性分类和解决比较复杂的高阶谓词问题(韩力群，2002)。他还指出，与高阶谓词问题相应的应该是具有隐含单元的多层神经网络。在当时的技术条件下，他们认为在加隐含单元后，想找到一个多层网络的有效学习算法是极其困难的。对神经网络的研究及其发展产生了恶劣的影响，有些学者把研究兴趣转移到人工智能和数字计算机有关的理论和应用方面。这样，推动了人工智能的发展，使它占了主导地位。美国在此后15年里从未资助神经网络研究课题，前苏联有关研究机构也受到感染，终止了已经资助的神经网络研究的课题。虽然从事神经网络研究的人员和发表的论文大幅度减少，但仍然有学者继续进行研究。美国波士顿大学自适应中心的Stephen Grossberg和Carpenter(1969)提出了著名的自适应共振理论模型，其中论述到，若在全部神经结点中有一个节点特别兴奋．其周围的所有结点将受到抑制。

(3)复苏阶段

在20世纪70年代后，虽然神经网络研究仍然处于低潮时期，但是有不少科学家在极其困难的条件下坚持不懈地研究，提出了各种不同的网络模型。日本学者Kunihiko Fukushima(1970)研究了视觉系统的空间和时空的人工神经系统模型以及脑的空间和时空的人工神经系统模型，提出了神经认识网络理论。Fukushima网络包括人上神经认识机和基于人工神经认识机的有选择注意力的识别两个模型。芬兰的T.Kohonen(1972)教授提出了自组织映射理论，并称神经网络结构为“联想存储器”。同一时期，美国生理和心理学家J.Anderson提出另一个类似的神经网络,称为“交互存储器”。他们在网络结构、学习算法和传递函数方面的技术几乎完全相同。T．Kohonen的自组织映射模型是一种无导师学习网络，主要刚于模式识别和分类、语言识别等场合。随后还研究出了联想记忆网络。T．Kohonen主要是针对网络结构与训练算法的生物仿真模型的研究。Terrence Sejnowski和Hinton、

Ackley(1984)用统计物理学的概念和方法研究神经网络，提出了波尔兹曼机，首次采用了多层网络的学习算法，并用模拟退火过程来模拟外界环境。它的拓扑结构与一般两层前馈网络相似，其运行过程也与BP算法的感知器相类似，但学习算法不同。

美国加州理工学院物理学家John J Hopfield教授(1982)发表的一篇具有里程碑性的论文，他提出一种递归网络——Hopfield网络，将网络作为一个动态系统，引入能量函数训练该系统，使网络稳定性的研究有了明确的判据，并证明了一个互连单元的神经网路系统将达到能量损耗最小的原理，也就是说，系统地动态性保证稳于某个极小值。若将约束和指标考虑到适当形式的能量函数中，则可利用Hopfield网络的神经计算能力来解决约束优化问题，从而开辟了神经网络用于联想记忆和优化计算的新途径。Hopfield还指出，神经动态方程可以用运算放大器来实现(韩力群，2002)。

(4)新高潮阶段

1987年6月在美国胜地亚哥召开了第一届国际神经网络学术会议，宣告了国际神经网络协会正式成立。会上不但宣告了神经网络计算机学科的诞生，而且还展示了有关公司、大学所开发的神经网络计算机方面的产品和芯片，掀起了人类向生物学习、研究和开发及应用神经网络的新热潮(周开利，2005)。在这之后，每年都要召开神经网络和神经计算机的国际性和地区性会议，促进神经网络的研制、开发和应用。美国波士顿大学的Stephen Orossberg教授、芬兰赫尔辛基技术大学的Tenvo Kohonen教授及日本东京大学的甘利俊教授，首次创办了世界第一份神经网络杂志。接着国际电气工程师与电子工程师学会相继也成立了神经网络协会，予1990年3月出版神经网络会刊。从此以后浦现出各种神经网络的期刊，将神经网络的研究与开发推向新的热潮。

(5)新发展阶段

从神经网络的发展历程来看，它的高潮阶段是很容易度过的。IJCN91大会主席Rumelhart意识到这一点，在他的开幕词中有一个观点，神经网络的发展已剑了一个转折的时期，它的范围正在不断地扩大，其应用领域几乎包括各个方面。90年代初，对神经网络的发展产生了很大的影响是诺贝尔奖获得者Edelamn提出了

Darwinism模型。他建立了一种神经网络系统理论，例如，Darwinism的结构包括Dawin网络和Nallance网络，并且这两个网络是并行的，而他们又包含了不同功能的一些子网络。他采用了Hebb权值修正规则，当一定的运动刺激模式作用后，系统通过进化，学会扫描和跟踪目标。Narendra和Parthasarathy(1990年)提出了一种推广的动态神经网络系统及其连接权的学习算法，它可表示非线性特性，增强了鲁棒性。他们给出了一种新的辨识与控制方案，以multilayer网络与recarrent网络统一的模型描述非线性动态系统，并提出了动态BP参数在线调节方法。Bulsari(1993年)提出以乘积函数作为激发函数，给出了非线性系统用神经网络逼近的构造描述，得到了节点数目的一个上界估计。

从上述各个阶段发展历程来看，神经网络理论有较强的数学性质和生物学特性，尤其是神经科学、心理学和认识科学等方面提出一些重大问题，是向神经网络理论研究的新挑战，因而也是它发展的最大机会。

第三章神经网络的基本原理

单层感知器模型是BP神经网络的结构基础，它试图模拟人脑神经元记忆、学习和认知的过程，采用阈值激活函数对一组输入向量的响应达到0或1的目标输出。人脑神经元的形态各异，但有共性的组织结构，下图是典型神经元的基本结构与其他神经元发生连接的基本结构示意图。

神经网络结构示意图

神经元在结构上由细胞体、树突、轴突和突触四部分组成。细胞体由细胞核、细胞质和细胞膜等组成。树突是精致的管状延伸物，是细胞体向外延伸山的许多较短的分支，围绕细胞体形成灌木丛状，他们的作用是接受来自四面八方传入的神经冲击信息，相当于细胞的“输入端”，信息流从树突出发，经过细胞体，然后由轴突传出。轴突是由细胞体向外伸出的最长的一条分支，形成一条通路，信号能经过此通路从细胞体长距离地传送到脑神经系统的其他部分。其相当于细胞的“输出端”。1943年心理学家McCelland和数学家W．Pitts在分析人脑神经系统结构的基础上，提出MP模型。该模型经过不断改进，形成现在的BP神经元模型。构成BP神经元模型的三要素是：

表示神经元i和神经元j之间的连接强度，

(1)具有一组突触或连接。常用

ij

即权值。

(2)具有反映生物神经元时空整合功能的输入信号累加器。

(3)具有一个激励函数朋丁限制神经元输出。通常神经元的输出范围在[0，l]或[-1，1]间。一个典型的人工神经元模型如下图所示。

人工神经元模型

其中j x （j=1,2,···,N ）为神经元i 的输入信号，ij ω为连接权。i u 是由输入信号线性组合后的输出，是神经元i 的净输入。i θ为神经元的阈值，t v 为经偏差调整后的值，也称为神经元的局部感应区。

∑==N

j j ij i x 1u ω

t v =i u +i θ

f(·)是激励函数，i y 是神经元i 的输出。

)(y 1i N

j j ij i x f θω+=∑=

激励函数f(·)可取不同的函数，但常用的基本激励函数有以下三种：

(1)阈值函数

0,0,1{)(<≥=t t t f 该函数又叫阶跃函数，如果激励函数采用阶跃函数，则人工神经元模型即MP 模

型。此时神经元的输出取1或0，反映了神经元的兴奋或抑制。通常符号函数Sgn(t)也作为神经元的激励函数。

0,1,1{)(Sg <≥-=t t v n (2)分段线性函数

?????-≤-<<-≥=1

,111,

1,1)(t t v t v f 该函数在[-1,1]线性区内的放大系数是一致的，这种形式的激励函数可看作是非线性放大器的近似。

(3)Sigmoid 的函数

Sigmoid 函数又称S 型函数，是人工神经网络中最常用的激励函数。S 型函数的数学表达式如下：

)

exp(11)(t t f α-+= 其中α为Sigmoid 函数的斜率参数，通过改变参数，会获取不同斜率的Sigmoid 函数，如下图所示。

当斜率参数α接近无穷大时，此函数转化为简单的阈值函数，但阈值函数仅取值0或l ，而Sigmoid 函数的值域是0到1的连续区间，还要注意到Sigmoid 函数是可微分的，而阈值函数不是。

第四章 BP 算法的步骤及流程图

BP 算法的总体步骤大致如下：

（1）权值初始化：将一组较小的非零数值，随机赋予)0(m i ω、)0(t j ω、)0(jp ω。

（2）确定BP 神经网络的结构参数并定义变量：设],,,[X k 21k m k k x x x ???=，（k=1,2,···，N ）为输入向量，N 为训练样本的个数。)](,),(),([)(Y 21n y n y n y n kP k k k ???=为第n 次迭代的网络实际输出。],,,[d 21kP k k k d d d ???=为期望输出。

（3）输入训练样本：依次输入训练样本集],,,,,[X 21N k X X X X ??????=，设此次学习的样本是k X （k=1,2,...,N ）。

（4）正向传播：按照公式计算网络输出和样本k X 的训练误差。

（5）反向传播：根据误差信号，更新各层权值和阈值。判断是否K>N ，若大于，转到步骤（6），否则回到步骤（3）。

（6）计算网络训练总误差，若达到精度要求，则结束训练，否则回到步骤（3），开始新一轮的学习。

下图为BP 算法的实现过程，将执行步骤串联成流程图的形式。

第五章 BP 神经网络的参数选则

1. BP 神经网络激活函数的选择

误差在反向调节过程中，该函数的导数也是求解误差梯度的重要参数。常用的激活函数是S 型函数，它包括值域在（0,1)区间的Sigmoid 函数和值域在(-1，1)的正切函数。函数表达式如下。

1)1()(--+=x e x f α，α为常数

x x

e e x

f --+-=11)( （-1

Sigmoid 函数中α参数的变化会影响BP 网络的训练速度。网络在初期的收敛速度会随着α的增大而加快，但与此同时振荡也会不断地提前， 并且越来越严重，甚至导致无法收敛。相同初始条件下，通过调整α值，可以寻找一个最佳形状的Sigmoid 函数，使网络的学习次数达到最小，但是试图增大α值来获取较高的网络收敛速度是行不通的。

2. BP 神经网络初始权值的选择

选取不冋的初始权值，不会影响网络的收敛精度，但有可能造成网络在某一局部极小值周围徘徊。使初始权值在[-0.5,0.5]和[-1.5，1.5]的区间内随机取值会发现：

(1)对于不同的训练对象和网络结构，最佳初始权值的范围不同。

(2)最佳初始权值不能保证最终取得最佳收敛效果和最短训练时间。

(3)初始权值不宜取得过大。取值过大意味着各初始权值间的差异大，所以训练权值在[-10,10]范围内为宜。

3. BP 神经网络学习率的选择

BP 算法的理论基础是梯度下降法，在学习过程中利用该方法使权重沿误差曲面的负梯 度方向调整。学习率η也称学习步长，是决定权重调整量)(n ij ω?大小的关键因素。

)

()()(n n E n ij ij ωηω??-=? 标准BP 神经网络在学习过程中，学习率始终保持不变。学习率选取过小，则每次权值的调整最就小，网络收敛速度慢。学习率选取过大，可能导致网络在误差的最小值附近跳动，产生震荡现象，网络因此变得发散。对于标准BP 神经网络，学习率的初始值贯穿于整个网络学习过程，取值范围在 [0.1，0.7]。

第六章神经网络在时滞对象中的应用

研究神经网络对大时滞对象的控制，可以从制粒机入手。下图是制粒机的基本结构。

喂料器将粉状物料送入环模制粒机中，最先是进入调质器当中。调质器的作用是调质，也就是让粉状物料和蒸汽相混合，从而提高制粒的效果，并对物料进行所需的工艺处理。经过调质器可以将粉状物料调制成膏状物料，并将膏状物料送去制粒。在制粒工艺中，膏状物料被送入一个环模制粒装置中。该装置中设有刀片和环模。在主电动机的带动下，膏状物料会被压入环模制粒装置中，再通过刀片将其切成一个个颗粒。

基于神经网络的环模制粒机控制系统是一个双输入双输出多变量系统，主要控制的是主电机电流和调质温度。其中，喂料电动机转速u1（控制喂料量）和蒸汽阀开度uT（控制调质温度）为系统的操纵变量，环模制粒机主电机电流y1和调质温

度yT为被控变量。按照单个回路来看，调质温度与设定值有偏差的时候，应当调节蒸汽阀开度来使温度达到设定值；制粒机主电机电流与设定值有一定的误差时，应当调节喂料量来使电流达到设定值。然而，喂料量的增加不仅导致制粒机主电机电流增大，同样也会引起调质温度的降低；要使调质温度上升，必须增大蒸汽阀开度从而增加蒸汽量，而蒸汽量的上升又会在一定程度上导致膏状物料的熟化、软化，进而造成制粒机主机电流的减小。综上所述，调质温度和主电机电流之间存在耦合。

在制粒生产过程中，控制器根据采集到的电流与温度的实际值与设定值进行比较，如设定值大于实际值，则增加喂料器与调质器的变频器电流值，喂料速度增加，喂料量增多，温度升高; 反之，则降低喂料器与调质器的变频器电流值，减小喂料量，降低温度。需要注意的是，由于饲料在制粒前需要经过调质器进行调质，等待一定时间后才能到达制粒装置，因此，喂料速度的变化引起主电机电流的变化有一个滞后时间; 同样，饲料在进入调质器到达温度的检测点也有一定的滞后时间。这个滞后时间反映在嵌入式控制器中，就要求控制器合理地采集电流信号，如果频率较大，则可能调节过度，使实际参数在理想参数左右摆动较大，甚至造成堵机; 如果频率较小，则不能及时地将喂料速度和蒸汽量体现在实际电流值中。经过合理的程序控制，本设计有效地克服了它的滞后特性，保证了制粒机工作电流的稳定性。

通过神经网络的学习功能，可以使喂料量、调质温度等一些参数达到某一合理的位置，神经网络的自身权值通过学习获得。最终，由于控制方案中引入了神经网络，能够使得到的结果合理化。制粒机因此能工作正常，时滞性问题迎刃而解。

参考文献

[1] 钟文瀚.基于神经网络的广义预测控制的糖厂澄清工段的优化控制研究[D]. 广西大学. 2012

[2] 郭志宇.神经网络基微波无源器件建模[D]. 华东师范大学. 2012

[3] 张玉杰.锅炉燃烧系统的广义预测控制研究[D]. 哈尔滨理工大学. 2012

[4] 饶新.神经网络在电厂煤耗性能计算中的应用研究[D]. 东华大学. 2013

[5] 杨玉婧.基于神经网络的旋转机械振动故障诊断的研究[D]. 华北电力大学. 2012

[6] 付力业.基于神经网络的中厚板轧制力预报[D]. 太原科技大学. 2013

[7] 王凤美.基于神经网络的射频和微波无源器件建模与仿真实现[D]. 华东交通大学. 2012

[8] 李亚伟.非手术脊柱减压治疗设备神经网络控制系统开发[D]. 郑州大学. 2012

[9] 李小玉.基于小波分析和遗传神经网络的模拟电路故障诊断[D]. 湖南大学. 2012

[10] 高璇.基于神经网络的故障诊断研究[D]. 东北大学. 2010

人工神经网络原理及实际应用

人工神经网络原理及实际应用 摘要：本文就主要讲述一下神经网络的基本原理，特别是BP神经网络原理，以及它在实际工程中的应用。 关键词：神经网络、BP算法、鲁棒自适应控制、Smith－PID 本世纪初，科学家们就一直探究大脑构筑函数和思维运行机理。特别是近二十年来。对大脑有关的感觉器官的仿生做了不少工作，人脑含有数亿个神经元，并以特殊的复杂形式组成在一起，它能够在“计算＂某些问题（如难以用数学描述或非确定性问题等）时，比目前最快的计算机还要快许多倍。大脑的信号传导速度要比电子元件的信号传导要慢百万倍，然而，大脑的信息处理速度比电子元件的处理速度快许多倍，因此科学家推测大脑的信息处理方式和思维方式是非常复杂的，是一个复杂并行信息处理系统。1943年Macullocu和Pitts融合了生物物理学和数学提出了第一个神经元模型。从这以后，人工神经网络经历了发展，停滞，再发展的过程，时至今日发展正走向成熟，在广泛领域得到了令人鼓舞的应用成果。本文就主要讲述一下神经网络的原理，特别是BP神经网络原理，以及它在实际中的应用。 1.神经网络的基本原理 因为人工神经网络是模拟人和动物的神经网络的某种结构和功能的模拟，所以要了解神经网络的工作原理，所以我们首先要了解生物神经元。其结构如下图所示： 从上图可看出生物神经元它包括，细胞体：由细胞核、细胞质与细胞膜组成；

轴突：是从细胞体向外伸出的细长部分，也就是神经纤维。轴突是神经细胞的输出端，通过它向外传出神经冲动；树突：是细胞体向外伸出的许多较短的树枝状分支。它们是细胞的输入端，接受来自其它神经元的冲动；突触：神经元之间相互连接的地方，既是神经末梢与树突相接触的交界面。 对于从同一树突先后传入的神经冲动，以及同一时间从不同树突输入的神经冲动，神经细胞均可加以综合处理，处理的结果可使细胞膜电位升高；当膜电位升高到一阀值（约40mV），细胞进入兴奋状态，产生神经冲动，并由轴突输出神经冲动；当输入的冲动减小，综合处理的结果使膜电位下降，当下降到阀值时。细胞进入抑制状态，此时无神经冲动输出。“兴奋”和“抑制”，神经细胞必呈其一。 突触界面具有脉冲/电位信号转换功能，即类似于D/A转换功能。沿轴突和树突传递的是等幅、恒宽、编码的离散电脉冲信号。细胞中膜电位是连续的模拟量。 神经冲动信号的传导速度在1～150m/s之间，随纤维的粗细，髓鞘的有无而不同。 神经细胞的重要特点是具有学习功能并有遗忘和疲劳效应。总之，随着对生物神经元的深入研究，揭示出神经元不是简单的双稳逻辑元件而是微型生物信息处理机制和控制机。 而神经网络的基本原理也就是对生物神经元进行尽可能的模拟，当然，以目前的理论水平，制造水平，和应用水平，还与人脑神经网络的有着很大的差别，它只是对人脑神经网络有选择的，单一的，简化的构造和性能模拟，从而形成了不同功能的，多种类型的，不同层次的神经网络模型。 2.BP神经网络 目前，再这一基本原理上已发展了几十种神经网络，例如Hopficld模型，Feldmann等的连接型网络模型，Hinton等的玻尔茨曼机模型，以及Rumelhart 等的多层感知机模型和Kohonen的自组织网络模型等等。在这众多神经网络模型中，应用最广泛的是多层感知机神经网络。 这里我们重点的讲述一下BP神经网络。多层感知机神经网络的研究始于50年代，但一直进展不大。直到1985年，Rumelhart等人提出了误差反向传递学习算法（即BP算），实现了Minsky的多层网络设想，其网络模型如下图所示。它可以分为输入层，影层（也叫中间层），和输出层，其中中间层可以是一层，也可以多层，看实际情况而定。

神经网络工具箱

神经网络工具箱 版本6.0.4（R2010a版本）25-JAN-2010 图形用户界面的功能。 nctool - 神经网络分类的工具。 nftool - 神经网络拟合工具。 nprtool - 神经网络模式识别工具。 nntool - 神经网络工具箱的图形用户界面。 nntraintool - 神经网络训练工具。 视图- 查看一个神经网络。 分析功能。 混乱- 分类混淆矩阵。 errsurf - 单输入神经元的误差表面。 maxlinlr - 最大的学习率的线性层。 鹏- 受试者工作特征。 距离函数。 boxdist - 箱距离函数。 DIST - 欧氏距离权重函数。 mandist - 曼哈顿距离权重函数。 linkdist - 链路距离函数。 格式化数据。 combvec - 创建载体的所有组合。 con2seq - 转换并行向量连续载体。 同意- 创建并发偏载体。 dividevec - 创建载体的所有组合。 ind2vec - 转换指数为载体。 最小最大- 矩阵行范围。 nncopy - 复印基质或细胞阵列。 normc - 规格化矩阵的列。 normr - 规格化行的矩阵的。 pnormc - 矩阵的伪规格化列。 定量- 值离散化作为数量的倍数。 seq2con - 转换顺序向量并发载体。 vec2ind - 将矢量转换成指数。 初始化网络功能。 initlay - 层- 层网络初始化函数。 初始化层功能。

initnw - 阮层的Widrow初始化函数。 initwb - 从重量和- 偏置层初始化函数。 初始化的重量和偏见的功能。 initcon - 良心的偏见初始化函数。 initzero - 零重量/偏置初始化函数。 initsompc - 初始化SOM的权重与主要成分。 中点- 中点重初始化函数。 randnc - 归一列重初始化函数。 randnr - 归行重初始化函数。 兰特- 对称随机重量/偏置初始化函数。 学习功能。 learncon - 良心的偏见学习功能。 learngd - 梯度下降重量/偏置学习功能。 learngdm - 梯度下降W /气势重量/偏置学习功能。 learnh - 赫布重学习功能。 learnhd - 赫布衰变重学习功能。 learnis - 重量龄学习功能。 learnk - Kohonen的重量学习功能。 learnlv1 - LVQ1重学习功能。 learnlv2 - LVQ2重学习功能。 learnos - Outstar重学习功能。 learnsomb - 批自组织映射权重学习功能。 learnp - 感知重量/偏置学习功能。 learnpn - 归感知重量/偏置学习功能。 learnsom - 自组织映射权重学习功能。 learnwh - 的Widrow - 霍夫重量/偏置学习规则。 在线搜索功能。 srchbac - 回溯搜索。 srchbre - 布伦特的结合黄金分割/二次插值。 srchcha - Charalambous“三次插值。 srchgol - 黄金分割。 srchhyb - 混合二分/立方搜索。 净输入功能。 netprod - 产品净输入功能。 netsum - 求和净输入功能。 网络创造的功能。 网络- 创建一个自定义的神经网络。 NEWC - 创建一个有竞争力的层。 newcf - 创建级联转发传播网络。

BP神经网络原理及应用

BP神经网络原理及应用 1 人工神经网络简介 1.1生物神经元模型 神经系统的基本构造是神经元（神经细胞），它是处理人体内各部分之间相 互信息传递的基本单元。据神经生物学家研究的结果表明，人的大脑一般有1011 个神经元。每个神经元都由一个细胞体，一个连接其他神经元的轴突1010 和一些向外伸出的其它较短分支——树突组成。轴突的功能是将本神经元的输出信号（兴奋）传递给别的神经元。其末端的许多神经末梢使得兴奋可以同时送给多个神经元。树突的功能是接受来自其它神经元的兴奋。神经元细胞体将接受到的所有信号进行简单地处理后由轴突输出。神经元的树突与另外的神经元的神经末梢相连的部分称为突触。 1.2人工神经元模型 神经网络是由许多相互连接的处理单元组成。这些处理单元通常线性排列成组，称为层。每一个处理单元有许多输入量，而对每一个输入量都相应有一个相关 联的权重。处理单元将输入量经过加权求和，并通过传递函数的作用得到输出量，再传给下一层的神经元。目前人们提出的神经元模型已有很多，其中提出最早且影 响最大的是1943年心理学家McCulloch和数学家Pitts在分析总结神经元基本特

性的基础上首先提出的M-P 模型，它是大多数神经网络模型的基础。 )()(1∑=-=n i j i ji j x w f t Y θ （1.1） 式(1.1)中为神经元单元的偏置（阈值），ji w 为连接权系数（对于激发状态， ji w 取正值，对于抑制状态，ji w 取负值） ，n 为输入信号数目，j Y 为神经元输出，t 为时间，f()为输出变换函数，有时叫做激发或激励函数，往往采用0和1二值函数或Ｓ形函数。 1.3人工神经网络的基本特性 人工神经网络由神经元模型构成；这种由许多神经元组成的信息处理网络具有并行分布结构。每个神经元具有单一输出，并且能够与其它神经元连接；存在许多（多重）输出连接方法，每种连接方法对应一个连接权系数。严格地说，人工神经网络是一种具有下列特性的有向图： （１）对于每个节点存在一个状态变量xi ； （２）从节点i 至节点j ，存在一个连接权系数wji ； （３）对于每个节点，存在一个阈值； （４）对于每个节点，定义一个变换函数(,,),j i ji j f x w i j θ≠,对于最一般的情况，此函数取()j ji i j i f w x θ-∑形式。 1.4 人工神经网络的主要学习算法 神经网络主要通过两种学习算法进行训练，即指导式（有师）学习算法和非指导式（无师）学习算法。此外，还存在第三种学习算法，即强化学习算法；可把它看做有师学习的一种特例。 （１）有师学习 有师学习算法能够根据期望的和实际的网络输出(对应于给定输入)间的差来调整神经元间连接的强度或权。因此，有师学习需要有个老师或导师来提供期望或目标输出信号。有师学习算法的例子包括规则、广义规则或反向传播算法以及LVQ 算法等。 （２）无师学习 无师学习算法不需要知道期望输出。在训练过程中，只要向神

神经网络——五个基本学习算法

五个基本的学习算法：误差—修正学习；基于记忆的学习；Hebb 学习；竞争学习和Boltzmann 学习。误差修正学习植根于最优滤波。基于记忆的学习通过明确的记住训练数据来进行。Hebb 学习和竞争学习都是受了神经生物学上的考虑的启发。Boltzmann 学习是建立在统计学力学借来的思想基础上。 １． 误差修正学习 神经元k 的输出信号)(n y k 表示， )(n d k 表示的是期望响应或目标 输出比较。由此产生)(n e k 表示的误差信号，有 )()()(n y n d n e k k k -= 这一目标通过最小化代价函数或性能指标 )(n ξ来实现。定义如下 )(2 1)(2 n e n k = ξ 也就是说)(n ξ是误差能量的瞬时值。这种对神经元k 的突触权值步步逼近的调节将持续下去，直到系统达到稳定状态。这时，学习过程停止。根据增量规则，在第n 时间步作用于突触权值的调节量)(n w kj ?定义如下： )()()(n x n e n w j k kj η=? ２． 基于记忆的学习 在一个简单而有效的称作最近邻规则的基于记忆的学习类型中， 局部邻域被定义为测试向量test X 的直接邻域的训练实例，特别，向量 {}N N X X X X ,,,21' ???∈ 被称作test X 的最邻近，如果 ),(),(min ' test N test i i X X d X X d = 这里，),(test i X X d 是向量i X 和test X 的欧几里德距离。与最短距离相关的类别，也 就是向量'N X 被划分的类别。 ３． Hebb 学习 我们定义Hebb 突触为这样一个突触，它使用一个依赖时间的、 高度局部的和强烈交互的机制来提高突触效率为前突触和后突触活动间的相互关系的一个函数。可以得出Hebb 突触特征的４个重要机制：时间依赖机制；局部机制；交互机制；关联或相关机制。 ４． 竞争学习 获胜神经元k 的输出信号k y 被置 为１；竞争失败的所有神经元 输出信号被置为０。这样，我们有 ?? ?≠>=否则对于所有如果, 0,,1k j j v v y j k k 其中，诱导局部域k v 表示结合所有达到神经元k 的前向和反馈输入的动作。 令kj w 表示连接输入节点j 到神经元k 的突触权值。假定每个神经元被分配固定 量的突触权值，权值分布在它的节点之中；也就是 k w kj j 对于所有的 ,1=∑ 然后神经元通过将突触权值从它的不活跃 输入移向活跃输入来进行学习。如果神经元对一个特定输入模式不响应，那么没有学习发生在那个神经元上。如果一个特定神经元赢得了竞争，这个神经元的每个输入节点经一定的比例释放它的突触权值，释放的权值然后平均分布到活跃输入节点上。作用于突触权值kj w 的改变量kj w ?定

一个神经网络控制系统的稳定性判据的方法

摘要：本文讨论了基于李雅普诺夫方法分析神经网络控制系统的稳定性。首先，文章指出神经网络系统的动态可以由视为线性微分包含（LDI）的一类非线性系统表示。其次，对于这类非线性系统的稳定条件是推导并利用单神经系统和反馈神经网络控制系统的稳定性分析。此外，用图形方式显示非线性系统参数位置的这种参数区域表示方法（PR）提出了通过引入新的顶点和最小值的概念。从这些概念上可以推导出一个能有效地找到李雅普诺夫函数的重要理论。单个神经的神经系统的稳定性标准时由参数区域来决定的。最后，分析了包括神经网络设备和神经网络控制器为代表的神经网络控制系统的稳定性。 1.介绍 最近，已经有很多关于神经网络的自适应控制的研究，例如:在机器人领域，川户提出了一种使用的学习控制系统，控制系统的一项关键指标就是他的稳定性，然而分析像基于神经网络的控制系统这样的非线性系统的稳定性是非常难的。 Nguyen和Widrow 设计了一种在电脑上模拟卡车拖车的神经网络控制器。这个设计主要分为两大部分。第一部分是通过神经网络来学习设备的动态，这一部分被称为“仿真器”。第二部分是通过最小化的性能函数来计算出神经网络网络控制器的参数（权值）。但是，他们没有分析神经网络控制系统的稳定性。一项稳定性分析标准工具讲有利于神经网络控制应用到许多实际问题中。 最近，这类可被视为线性微分包含（LDI）的非线性系统的稳定条件已经被作者推导出来，再引用的[7][8]中讨论了。其中一项保证LDI稳定的充分条件与李雅普诺夫稳定性定理是相一致的。本文应用LDI的稳定条件和Nguyen与Widrow的方法来分析神经网络系统的稳定性。文中选取了一种代表神经网络状态的方法。此外，我们表明包含由近似于神经网络设备和神经网络控制器组成的神经网络反馈控制系统也可以分析神经网络是否能稳定。这意味着，本文提出的稳定条件可以分析神经网络反馈控制系统。本文的构成如下：第二节展示了一种文中的神经网络系统。第三节给出了LDI的稳定条件。第四节提出了一个以图形方式显示LDI参数的参数区域表示方法（PR）并推导出一个有效导出李雅普诺夫函数的重要定理。第五节阐述了神经网络系统的LDI表示方法。第六节介绍了用PR方法表示单神经系统和神经网络反馈系统的稳定标准。 2.神经控制系统 假设一个神经网络函数是 x(k + I) =P( x ( k )u, (k))， 他的神经网络反馈控制系统的函数是：x(k + 1) = P(x(k),u(k)) 和 u(k) = C(x(k))，其中x(k)是实属范围内的状态向量，u(k)是实属范围内的输入向量。P和C分别表示神经网络设备和神经网络控制器的非线性传递函数。如图1，显示了一个单一的神经网络系统和神经网络反馈控制系统。假设每个神经元的输出函数f ( u )都是可微分的，在k > 0的情况下，我们可以得到：f ( 0 ) = 0, f(v)∈[-k,k]，对于所有的v都成立 此外，假设所有的传递权重都已经被学习方法所确定了，例如反向传播神经网络在神经网络控制稳定性分析之前。在一个单一的神经网络系统中，因为我们分析神经网络系统的动态平衡稳定性，所以设定. u(k) = 0。

神经网络基本知识

（一）三层神经网络 1)该模型的参数通过两个步骤训练获得：在该网络的第一层，将输入映射 至隐藏单元激活量的权值可以通过稀疏自编码器训练过程获得。 在第二层，将隐藏单元映射至输出的权值可以通过 logistic 回归或 softmax 回归训练获得。 2)在描述上述过程时，假设采用了“替代(Replacement)”表示而不是“级联 (Concatenation)”表示。在替代表示中，logistic 分类器所看到的训练样 本格式为；而在级联表示中，分类器所看到的训练样本格式 为。在级联表示神经网络中，输入值也直接被输入 至 logistic 分类器。 3)在训练获得模型最初参数（利用自动编码器训练第一层，利用 logistic/softmax 回归训练第二层）之后，可以进一步修正模型参数，进而降低训练误差。具体来说，可以对参数进行微调，在现有参数的基础上采用梯度下降或者 L-BFGS 来降低已标注样本集 上的训练误差。 微调的作用在于，已标注数据集也可以用来修正权值，这样可以对 隐藏单元所提取的特征做进一步调整。

对于微调来说，级联表示相对于替代表示几乎没有优势。因此，如果需要开展微调，通常使用替代表示的网络。但是如果不开展微调，级联表示的效果有时候会好得多。 通常仅在有大量已标注训练数据的情况下使用微调。在这样的情况下，微调能显著提升分类器性能。如果有大量未标注数据集（用于非监督特征学习/预训练），却只有相对较少的已标注训练集，微调的作用非常有限。 （二）深度网络 深度神经网络，即含有多个隐藏层的神经网络。通过引入深度网络，可以计算更多复杂的输入特征。因为每一个隐藏层可以对上一层的输出进行非线性变换，因此深度神经网络拥有比“浅层”网络更加优异的表达能力。 1.深度神经网络的优势 1)当训练深度网络的时候，每一层隐层应该使用非线性的激活函数。这 是因为多层的线性函数组合在一起本质上也只有线性函数的表达能力（例如，将多个线性方程组合在一起仅仅产生另一个线性方程）。因此，在激活函数是线性的情况下，相比于单隐藏层神经网络，包含多隐藏层的深度网络并没有增加表达能力。 2)深度网络最主要的优势在于，它能以更加紧凑简洁的方式来表达比浅层网络 大得多的函数集合。即可以找到一些函数，这些函数可以用层网络简洁地表达出来（这里的简洁是指隐层单元的数目只需与输入单元数目呈多项式 关系）。但是对于一个只有层的网络而言，除非它使用与输入单元 数目呈指数关系的隐层单元数目，否则不能简洁表达这些函数。 3)当处理对象是图像时，使用深度网络，能够学习到“部分-整体”的分解关 系。例如，第一层可以学习如何将图像中的像素组合在一起来检测边缘，第二层可以将边缘组合起来检测更长的轮廓或者简单的“目标的部件”，在更深的层次上，可以将这些轮廓进一步组合起来以检测更为复杂的特征。 这种分层计算很好地模仿了大脑皮层对输入信息的处理方式。视觉图像在人脑中是分多个阶段进行处理的，首先是进入大脑皮层的“V1”区，然后紧跟着进入大脑皮层“V2”区，以此类推。 2.训练深度网络的困难 目前主要使用的学习算法是：首先随机初始化深度网络的权重，然后使用有 监督的目标函数在有标签的训练集上进行训练。其中通过使用梯度下降法来降低训练误差，这种方法通常不是十分凑效。

神经网络控制修订稿

神经网络控制 公司标准化编码 [QQX96QT-XQQB89Q8-NQQJ6Q8-MQM9N]

人工神经网络控制 摘要: 神经网络控制，即基于神经网络控制或简称神经控制，是指在控制系统中采用神经网络这一工具对难以精确描述的复杂的非线性对象进行建模，或充当控制器，或优化计算，或进行推理，或故障诊断等，亦即同时兼有上述某些功能的适应组合，将这样的系统统称为神经网络的控制系统。本文从人工神经网络，以及控制理论如何与神经网络相结合，详细的论述了神经网络控制的应用以及发展。 关键词: 神经网络控制；控制系统；人工神经网络 人工神经网络的发展过程 神经网络控制是20世纪80年代末期发展起来的自动控制领域的前沿学科之一。它是智能控制的一个新的分支，为解决复杂的非线性、不确定、不确知系统的控制问题开辟了新途径。是（人工）神经网络理论与控制理论相结合的产物，是发展中的学科。它汇集了包括数学、生物学、神经生理学、脑科学、遗传学、人工智能、计算机科学、自动控制等学科的理论、技术、方法及研究成果。 在控制领域，将具有学习能力的控制系统称为学习控制系统，属于智能控制系统。神经控制是有学习能力的，属于学习控制，是智能控制的一个分支。神经控制发展至今，虽仅有十余年的历史，已有了多种控制结构。如神经预测控制、神经逆系统控制等。 生物神经元模型 神经元是大脑处理信息的基本单元，人脑大约含1012个神经元，分成约1000种类型，每个神经元大约与 102~104个其他神经元相连接，形成极为错综复杂而又灵活多变的神经网络。每个神经元虽然都十分简单，但是如此大量的神经元之间、如此复杂的连接却可以演化出丰富多彩的行为方式，同时，如此大量

基于神经网络的全局稳定性分析

Computer Knowledge and Technology电脑知识与技术第6卷第16期(2010年6月) 神经网络模型平衡点的全局稳定性 高艳超，程毅，刘天宝，孙佳慧 （空军航空大学数学教研室，吉林长春130022） 摘要：该文介绍了一类Hopfield神经网络模型问题，证明了此类系统的平衡点是全局指数稳定的。 关键词：Hopfield神经网络；平衡点；矩阵 中图分类号：O175.21文献标识码：A文章编号：1009-3044(2010)16-4477-01 The Global Exponential Stability of Equilibrium for a Class of Hopfield Neural Networks GAO Yan-chao,CHENG Yi,LIU Tian-bao,SUN Jia-hui (Teaching and Research Section of Mathematics,Aviation University of Air Force,Changchun130022,China) Abstract:It introdces a class of Hopfield Neural Networks,which the global exponential stability of equilibrium for a class of Hopfield Neural Networks is proved. Key words:hopfield neural network;equilibrium;matrix 1引言和预备知识 在20世纪80年代初期神经网络研究重新兴起，这在很大程度上归功于美国生物物理学家J.J.Hopfield的工作，他提出了以他的名字命名的Hopfield神经网络。Hopfield神经网络及其众多变形之所以受到众多学者的关注，是因为它们在模式识别、联想记忆、并行计算和解决困难的最优化问题上都具有极其优越的潜能。 本论文研究下面具有初值条件x(0)=x0的神经网络模型： (*)其中x=(x1,x2,…,x n)T∈R n是状态向量，x觶表示x(t)关于t的导数， 是外部输入常数向量，T=(t ij)∈R n×n是关联（状态反馈）矩阵， 是一个映射，为输出向量，I=(I1,…,I2)T∈R n是外部输入常数向量。 2主要结果 讨论具有初值条件x(0)=x0的神经网络模型：，其中B,I满足系统(*)中的条件，证明存在惟一的平衡点。对g,B,T作以下假设： (H1)假设g∈GLC，即：常数L j，其中 。这里考虑的激励函数可以是无界的、不可微的、不单调的。 (H2)假设B,T满足：，其中λmax(TT T)为矩阵TT T的最大特征值，。 因为TT T是半正定的，所以可以取λmax(TT T)，并且，我们可以找到L max=max{L1,L2,…,L n}，使 定理：若g满足假设(H1)，B,T满足假设(H2)，则神经网络模型(*)是全局指数稳定的。 证明：为了讨论系统(4-1)的平衡点ξ=(ξ1,ξ2,…,ξn)T的稳定性问题，我们作平移变换。令 于是，系统可化为有初值条件z(0)=x0-ξ的神经网络模型。 z觶(t)=Bz(t)+Tg(z(t)) 其中g(z(t))=g(z(t)+ξ)-g(ξ)。而且，存在L max=(L1,L2,…,L n)，使。 我们构造以下Lyapunov函数： 由链式法则知： （下转第4481页）收稿日期：2010-03-17 ISSN1009-3044 Computer Knowledge and Technology电脑知识与技术 Vol.6,No.16,June2010,pp.4477,4481 E-mail:eduf@https://www.wendangku.net/doc/e86610298.html, https://www.wendangku.net/doc/e86610298.html, Tel:+86-551-56909635690964

神经网络

第一节、神经网络基本原理 1. 人工神经元( Artificial Neuron )模型 人工神经元是神经网络的基本元素，其原理可以用下图表示： 图1. 人工神经元模型 图中x1~xn是从其他神经元传来的输入信号，wij表示表示从神经元j 到神经元i的连接权值，θ表示一个阈值( threshold )，或称为偏置( bias )。则神经元i的输出与输入的关系表示为： 图中yi表示神经元i的输出，函数f称为激活函数( Activation Function )或转移函数( Transfer Function ) ，net称为净激活(net activation)。若将阈值看成是神经元i的一个输入x0的权重wi0，则上面的式子可以简化为：

若用X表示输入向量，用W表示权重向量，即： X = [ x0 , x1 , x2 , ....... , xn ] 则神经元的输出可以表示为向量相乘的形式： 若神经元的净激活net为正，称该神经元处于激活状态或兴奋状态(fire)，若净激活net为负，则称神经元处于抑制状态。 图1中的这种“阈值加权和”的神经元模型称为M-P模型 ( McCulloch-Pitts Model )，也称为神经网络的一个处理单元( PE, Processing Element )。 2. 常用激活函数 激活函数的选择是构建神经网络过程中的重要环节，下面简要介绍常用的激活函数。 (1) 线性函数( Liner Function ) (2) 斜面函数( Ramp Function ) (3) 阈值函数( Threshold Function )

图2 . 阈值函数图像 以上3个激活函数都是线性函数，下面介绍两个常用的非线性激活函数。 (4) S形函数( Sigmoid Function ) 该函数的导函数： (5) 双极S形函数

基于数据数量对支持向量机和BP神经网络性能分析

基于数据数量对支持向量机和BP神经网络性能分析 摘要 本文在阐述创新型预测模型理论的基础上，分别利用基于BP神经网络和支持向量机的玉米开盘预测模型，在样本大小不同情况下对玉米开盘价格指数进行了研究和预测。研究结果表明，基于支持向量机的预测模型在预测精度、运算时间、最优性等方面均优于基于BP神经网络的预测模型。 近年来，以GARCH类模型、SV类模型等为代表的预测模型在资产价格预测方面获得了广泛的应用，但是这些模型在研究中往往受到样本数据分布、样本容量等方面的限制。因此，包括以神经网络、支持向量机等智能算法为基础的创新型预测模型，在金融资产价格预测方面得到了广泛的应用。本文在阐述创新型预测模型理论的基础上，分别利用基于神经网络、支持向量机的预测模型，在不同样本大小的基础上，就玉米开盘价格分别用支持向量机和单隐层和双隐层的BP神经网络做预测，比较预测结果，对比分析支持向量机和BP神经网络在样本大小不同的情况下两者的性能分析。 关键词：支持向量回归BP神经网络libsvm工具箱

一、模型介绍 1、模型介绍1.1 支持向量机回归 1.1.1 支持向量机回归模型的介绍 在机器学习中，支持向量机（SVM，还支持矢量网络）是与相关的学习算法有关的监督学习模型，可以分析数据，识别模式，用于分类和回归分析。给定一组训练样本，每个标记为属于两类，一个SVM 训练算法建立了一个模型，分配新的实例为一类或其他类，使其成为非概率二元线性分类。一个SVM 模型的例子，如在空间中的点，映射，使得所述不同的类别的例子是由一个明显的差距是尽可能宽划分的表示。新的实施例则映射到相同的空间中，并预测基于它们落在所述间隙侧上属于一个类别。 除了进行线性分类，支持向量机可以使用所谓的核技巧，它们的输入隐含映射成高维特征空间中有效地进行非线性分类。1.1.2 支持向量回归求解过程图 1.1.3核函数的介绍 利用支持向量机解决回归问题时，需要根据求解问题的特性，通过使用恰当的核函数来代替内积。这个核函数不仅要在理论上要满足Mercer 条件，而且在实际应用中要能够反映训练样本数据的分布特性。因此，在使用支持向量机解决某一特定的回归问题时，选择适当的核函数是一个关键因素。在实际的应用中，最常用的核函数有4种：线性核、多项式核、径向基（简称RBF）核、多层感知机核等。函数关系表达式分别如下： （1）线性核函数 ) (),(x x x x K i i ?=

BP神经网络的学习

BP神经网络的学习 王贵腾 摘要：人工神经网络是近年来的热点研究领域,是人类智能研究的重要组成部分。BP神经网络作为目前应用较多的一种神经网络结构，具有良好的逼近性能，且结构简单，性能优良。但仍存在收敛速度慢，易陷入局部极小值的问题，通过附加动量项法、自适应学习率法、数据归一化法、遗传算法等，可大幅度改善其性能，可广泛应用于多输入多输出的非线性系统。 关键词：BP神经网络；BP算法；动量项；自适应学习率；归一化；遗传算法 1.绪论 1.1人工神经网络概述 人工神经网络（Artificial Neural Network），简称神经网络（NN），是由大量处理单元（神经元）组成的非线性大规模自适应系统。它具有自组织，自适应和自学习能力，以及具有非线性、非局域性，非定常性和非凸性等特点。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理，记忆信息的方式设计一种新的机器使之具有人脑那样的信息处理能力。 神经网络作为计算智能与控制的重要分支，在控制领域具有如下优点： 1）能逼近任意L2范数上的非线性函数； 2）信息分布式存储与处理，鲁棒性和容错性强； 3）便于处理多输入多输出问题； 4）具有实现高速并行计算的潜力；

5）具有学习能力，对环境变化具有自适应性，对模型依赖性不强，主要用于解决非线性系统的控制问题。 同时，神经网络控制在多种控制结构中得到应用，如PID控制、模型参考自适应控制、前馈反馈控制、内模控制、逆系统控制、预测控制等。 目前神经网络的研究主要集中在三个方面：理论研究、实现技术研究、应用研究。 1.2 BP神经网络概述 BP神经网络是1986年由Rumelhart和McClelland一同提出的一种多层前馈神经网络。该网络采用BP算法——一种误差反向传播（Back Propagation）算法，其方法是依据负梯度下降方向迭代调整网络的权值和阀值以实现训练误差目标函数的最小化。 由于BP神经网络在实际应用中存在着收敛速度慢、网络结构难以确定、容易陷入局部极小值、泛化能力不强的缺陷，近年来，许多学者为满足实际应用中需要提出了许多改进方法，在网络自身性能的改善方面做了大量而有实际意义的工作，并且在BP神经网络的理论方面的研究和实际问题上应用也取得了丰硕的成果。对BP神经网络的理论研究，概括起来大致分为三个方面：改进激励函数，权值选取优化和网络拓扑结构。 1.3本文研究内容 本文从神经网络出发，研究其中应用最为广泛的BP神经网络模型，分析其缺点和不足，提出改进措施，并探讨其应用。具体研究内

基于神经网络的专家系统

基于神经网络的专家系统 摘要：人工神经网络与专家系统，作为人工智能应用的两大分支，在实际应用中都有许多成功的范例，但作为单个系统来讲，二者都存在很大的局限性。主要是专家系统知识获取的“瓶颈问题”和神经网络知识表达的“黑箱结构”。为解决这个问题，本文提出将专家系统与神经网络技术集成，达到优势互补的目的。利用神经网络优良的自组织、自学习和自适应能力来解决令家系统知识获取的困难，同时用专家系统良好的解释机能来弥补神经网络中知识表达的缺陷。论文提出了基于神经网络专家系统的结构模型，知识表示方式以及推理机制等。 关键词：专家系统；神经网络；系统集成； 0 引言 专家系统（Expert System）是一种设计用来对人类专家的问题求解能力建模的计算机程序。专家系统是一个智能计算机程序，其内部含有大量的某个领域专家水平的知识和经验，能够利用人类专家的知识和解决问题的方法来处理该领域问题。一个专家系统应具有以下三个基本特征：启发性——不仅能使用逻辑性知识还能使用启发性知识；透明性——能向用户解释它们的推理过程，还能回答用户的一些问题；灵活性——系统中的知识应便于修改和扩充；推理性——系统中的知识必然是一个漫长的测试，修改和完善过程。专家系统是基于知识的系统。它由如图1所示的5个基本的部分组成[1,2,3]。 知识库存储从专家那里得到的特定领域的知识，这些知识包括逻辑性的知识和启发性知识两类。数据库用于存放专家系统运行过程中所需要和产生的信息。推理机的作用是按照一定的控制策略，根据用户提出的问题和输入的有关数据或信息，按专家的意图选择利用知识库的知识，并进行推理，以得到问题的解答，它是专家系统的核心部分。人机接口部分的功能是解释系统的结论，回答用户的问题，它是连接用户与专家系统之间的桥梁。知识的获取是为修改知识库原有的知识和扩充知识提供的手段。 1 传统专家系统存在的问题 传统专家系统是基于知识的处理的系统，将领域知识整理后形式化为一系列系统所能接受并能存储的形式，利用其进行推理实现问题的求解。尽管与人类专家相比，专家系统具有很大的优越性。但是，随着专家系统应用的日益广泛及所处理问题的难度和复杂度的不断扩大和提高，专家系统在某些方面已不能满足是实际工作中的需求，具体体现在以下一个方面[1,2]：（1）知识获取的“瓶颈”问题。（2）知识获取的“窄台阶”。（3）缺乏联想功能、推理能力弱。（4）智能水平低、更谈不上创造性的知识。（5）系统层次少。（6）实用性差。 2 神经网络与传统专家系统的集成 神经网络是基于输入\输出的一种直觉性反射，适用于进行浅层次的经验推理，其特点是通过数值计算实现推理；专家系统是基于知识匹配的逻辑推理，是深层次的符号推理。将两者科学的结合形成神经网络专家系统，可以取长补短。根据侧重点的不同，神经网络与专家系统的集成有三种模式[2]：（1）神经网络支持专家系统。以传统的专家系统为主，以神经网络的有关技术为辅。 （2）专家系统支持神经网络。以神经网络的有关技术为核心，建立相应领域的专家系统，采用专家系统的相关技术完成解释等方面的工作。 （3）协同式的神经网络专家系统。针对大的复杂问题，将其分解为若干子问题，针对每个子问题的特点，选择用神经网络或专家系统加以实现，在神经网络和专家系统之间建立一种耦合关系。

神经网络基本概念

二．神经网络控制 §2.1 神经网络基本概念 一. 生物神经元模型：<1>P7 生物神经元,也称作神经细胞,是构成神经系统的基本功能单元。虽然神经元的形态有极大差异,但基本结构相似。本目从信息处理和生物控制的角度,简述其结构和功能。 1.神经元结构 神经元结构如图2－1所示 图2－1

1) 细胞体：由细胞核、细胞质和细胞膜等组成。 2) 树突：胞体上短而多分支的突起，相当于神经元的输入端，接收传入的神经冲 动。 3) 轴突：胞体上最长枝的突起，也称神经纤维。端部有很多神经末梢，传出神经 冲动。 4) 突触：是神经元之间的连接接口，每一个神经元约有104～106 个突触，前一个 神经元的轴突末梢称为突触的前膜，而后一个神经元的树突称为突触的后膜。一个神经元通过其轴突的神经末梢经突触，与另一个神经元的树突连接，以实现信息传递。由于突触的信息传递是特性可变的，随着神经冲动传递方式的变化，传递作用强弱不同，形成了神经元之间连接的柔性，称为结构的可塑性。 5） 细胞膜电位：神经细胞在受到电的、化学的、机械的刺激后能产生兴奋，此时细胞膜内外由电位差，称为膜电位。其电位膜内为正，膜外为负。 2. 神经元功能 1） 兴奋与抑制：传入神经元的冲动经整和后使细胞膜电位提高，超过动作电 位的阈值时即为兴奋状态，产生神经冲动，由轴突经神经末梢传出。传入神经元的冲动经整和后使细胞膜电位降低，低于阈值时即为抑制状态，不产生神经冲动。 2） 学习与遗忘：由于神经元结构的可塑性，突触的传递作用可增强与减弱， 因此神经元具有学习与遗忘的功能。 二．人工神经元模型 ,<2>P96 人工神经元是对生物神经元的一种模拟与简化。它是神经网络的基本处理单元。图2－2显示了一种简化的人工神经元结构。它是一个多输入单输出的非线形元件。 图2－2 其输入、输出的关系可描述为 =-= n j i j ji i Q X W I 1 2－1 )I (f y i i = 其中i X (j=1、2、……、n)是从其他神经元传来的输入信号；

神经网络模型应用实例

BP 神经网络模型 近年来全球性的神经网络研究热潮的再度兴起，不仅仅是因为神经科学本身取得了巨大的进展．更主要的原因在于发展新型计算机和人工智能新途径的迫切需要．迄今为止在需要人工智能解决的许多问题中，人脑远比计算机聪明的多，要开创具有智能的新一代计算机，就必须了解人脑，研究人脑神经网络系统信息处理的机制．另一方面，基于神经科学研究成果基础上发展出来的人工神经网络模型，反映了人脑功能的若干基本特性，开拓了神经网络用于计算机的新途径．它对传统的计算机结构和人工智能是一个有力的挑战，引起了各方面专家的极大关注． 目前，已发展了几十种神经网络，例如Hopficld 模型，Feldmann 等的连接型网络模型，Hinton 等的玻尔茨曼机模型，以及Rumelhart 等的多层感知机模型和Kohonen 的自组织网络模型等等。在这众多神经网络模型中，应用最广泛的是多层感知机神经网络。多层感知机神经网络的研究始于50年代，但一直进展不大。直到1985年，Rumelhart 等人提出了误差反向传递学习算法（即BP 算），实现了Minsky 的多层网络设想，如图34-1所示。 BP 算法不仅有输入层节点、输出层节点，还可有1个或多个隐含层节点。对于输入信号，要先向前传播到隐含层节点，经作用函数后，再把隐节点的输出信号传播到输出节点，最后给出输出结果。节点的作用的激励函数通常选取S 型函数，如 Q x e x f /11 )(-+= 式中Q 为调整激励函数形式的Sigmoid 参数。该算法的学习过程由正向传播和反向传播组成。在正向传播过程中，输入信息从输入层经隐含层逐层处理，并传向输出层。每一层神经元的状态只影响下一层神经元的状态。如果输出层得不到期望的输出，则转入反向传播，将误差信号沿原来的连接通道返回，通过修改各层神经元的权值，使得误差信号最小。 社含有n 个节点的任意网络，各节点之特性为Sigmoid 型。为简便起见，指定网络只有一个输出y ,任一节点i 的输出为O i ,并设有N 个样本(x k ,y k )(k =1,2,3,…,N ),对某一输入x k ，网络输出为y k 节点i 的输出为O ik ,节点j 的输入为net jk = ∑i ik ij O W 并将误差函数定义为∑=-=N k k k y y E 12 )(21

神经网络的应用及其发展

神经网络的应用及其发展 来源：辽宁工程技术大学作者：苗爱冬 [摘要] 该文介绍了神经网络的发展、优点及其应用和发展动向，着重论述了神经网络目前的几个研究热点，即神经网络与遗传算法、灰色系统、专家系统、模糊控制、小波分析的结合。 [关键词]遗传算法灰色系统专家系统模糊控制小波分析 一、前言 神经网络最早的研究20世纪40年代心理学家Mcculloch和数学家Pitts 合作提出的，他们提出的MP模型拉开了神经网络研究的序幕。神经网络的发展大致经过三个阶段：1947~1969年为初期，在这期间科学家们提出了许多神经元模型和学习规则，如MP模型、HEBB学习规则和感知器等；1970~1986年为过渡期，这个期间神经网络研究经过了一个低潮，继续发展。在此期间，科学家们做了大量的工作，如Hopfield教授对网络引入能量函数的概念，给出了网络的稳定性判据，提出了用于联想记忆和优化计算的途径。1984年，Hiton教授提出Boltzman机模型。1986年Kumelhart等人提出误差反向传播神经网络，简称BP 网络。目前，BP网络已成为广泛使用的网络；1987年至今为发展期，在此期间，神经网络受到国际重视，各个国家都展开研究，形成神经网络发展的另一个高潮。神经网络具有以下优点： (1) 具有很强的鲁棒性和容错性，因为信息是分布贮于网络内的神经元中。 (2) 并行处理方法，使得计算快速。 (3) 自学习、自组织、自适应性，使得网络可以处理不确定或不知道的系统。 (4) 可以充分逼近任意复杂的非线性关系。 (5) 具有很强的信息综合能力，能同时处理定量和定性的信息，能很好地协调多种输入信息关系，适用于多信息融合和多媒体技术。 二、神经网络应用现状 神经网络以其独特的结构和处理信息的方法，在许多实际应用领域中取得了显著的成效，主要应用如下： (1) 图像处理。对图像进行边缘监测、图像分割、图像压缩和图像恢复。 (2) 信号处理。能分别对通讯、语音、心电和脑电信号进行处理分类；可用于海底声纳信号的检测与分类，在反潜、扫雷等方面得到应用。 (3) 模式识别。已成功应用于手写字符、汽车牌照、指纹和声音识别，还可用于目标的自动识别和定位、机器人传感器的图像识别以及地震信号的鉴别等。 (4) 机器人控制。对机器人眼手系统位置进行协调控制，用于机械手的故障诊断及排除、智能自适应移动机器人的导航。 (5) 卫生保健、医疗。比如通过训练自主组合的多层感知器可以区分正常心跳和非正常心跳、基于BP网络的波形分类和特征提取在计算机临床诊断中的应用。 (6) 焊接领域。国内外在参数选择、质量检验、质量预测和实时控制方面都

神经网络算法详解

神经网络算法详解 第0节、引例 本文以Fisher的Iris数据集作为神经网络程序的测试数据集。Iris数据集可以在https://www.wendangku.net/doc/e86610298.html,/wiki/Iris_flower_data_set 找到。这里简要介绍一下Iris数据集： 有一批Iris花，已知这批Iris花可分为3个品种，现需要对其进行分类。不同品种的Iris花的花萼长度、花萼宽度、花瓣长度、花瓣宽度会有差异。我们现有一批已知品种的Iris花的花萼长度、花萼宽度、花瓣长度、花瓣宽度的数据。 一种解决方法是用已有的数据训练一个神经网络用作分类器。 如果你只想用C#或Matlab快速实现神经网络来解决你手头上的问题，或者已经了解神经网络基本原理，请直接跳到第二节——神经网络实现。 第一节、神经网络基本原理 1. 人工神经元( Artificial Neuron )模型 人工神经元是神经网络的基本元素，其原理可以用下图表示： 图1. 人工神经元模型 图中x1~xn是从其他神经元传来的输入信号，wij表示表示从神经元j到神经元i的连接权值，θ表示一个阈值( threshold )，或称为偏置( bias )。则神经元i的输出与输入的关系表示为：

图中yi表示神经元i的输出，函数f称为激活函数 ( Activation Function )或转移函数( Transfer Function ) ，net称为净激活(net activation)。若将阈值看成是神经元i的一个输入x0的权重wi0，则上面的式子可以简化为： 若用X表示输入向量，用W表示权重向量，即： X = [ x0 , x1 , x2 , ....... , xn ] 则神经元的输出可以表示为向量相乘的形式： 若神经元的净激活net为正，称该神经元处于激活状态或兴奋状态(fire)，若净激活net 为负，则称神经元处于抑制状态。 图1中的这种“阈值加权和”的神经元模型称为M-P模型 ( McCulloch-Pitts Model )，也称为神经网络的一个处理单元( PE, Processing Element )。 2. 常用激活函数 激活函数的选择是构建神经网络过程中的重要环节，下面简要介绍常用的激活函数。 (1) 线性函数 ( Liner Function ) (2) 斜面函数 ( Ramp Function ) (3) 阈值函数 ( Threshold Function )