人工神经网络

本科生课程论文

论文题目人工神经网络

课程名称人工智能

学生姓名杨汛

所在学院信息学院

所在班级计科1111班

学号201111621128

指导教师邹阿金

日期 2014年10月30日

人工神经网络

摘要：

人工神经网络也简称为神经网络，是一种模范动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。人工神经网络模拟人脑生物神经网络系统处理信息的方式，是通过经验而不是通过设计好的程序进行学习、训练，这些构成了人工神经网络具有模式识别、预测、评价和优化决策等能力的基础。

关键字：

人工神经网络、神经元模型、人工神经元模型

引言：

自从认识到人脑的计算与传统的计算机相比是完全不同的方式开始，关于人工神经网络的研究就开始了。半个多世纪以来，神经网络经历了萌芽期、第一次高潮期、反思低潮期、第二次高潮期、再认识与应用研究期五个阶段。而近年来，人工神经网络通过它几个突出的优点更是引起了人们极大的关注，因为它为解决大复杂度问题提供了一种相对来说比较有效的简单方法。目前，神经网络已成为涉及计算机科学、人工智能、脑神经科学、信息科学和智能控制等多种学科和领域的一门新兴的前言交叉学科。

正文：

1．神经元模型

人工神经网络(ARTIFICIAL NECRAL NETWORK，简称A.N.N)是在对人脑组织结构和运行机智的认识理解基础之上模拟其结构和智能行为的一种工程系统。早在上个世纪40年代初期，心理学家McCulloch、数学家Pitts就提出了人工神经

网络的第一个数学模型，从此开创了神经科学理论的研究时代。其后，F。Rosenblatt、Widrow和Hopf、J.J.Hopfield等学者又先后提出了感知模型，使得人工神经网络技术得以蓬勃发展。神经网络是由大量的处理单元(神经元)互相连接而成的网络。为了模拟大脑的基本特性，在现代神经科学研究的基础上，人们提出来人工神经网络的模型。

神经元是大脑处理信息的基本单元，人脑大约由10^11个神经元组成，神经元互相连接成神经网络。神经元以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干。主要由细胞体、树突、轴突和突触(Synapse，又称神经键)组成。

下面的图1.1表示了神经元构成示意图：

图1.1 神经元构成示意图

生物神经元传递信息的过程为多输入、单输出，神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近，当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质，突触有两种类型，兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位。

人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道万连而成。这些处理单元(PE -Processing Element)具有局部内存，并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据需要被分支成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，信号的人小不因分支的多少而变化。处理单元的输出信号可以是任何需要的数学模型，每个处理单元中进行的操作必须是完全局部的。也

就是说，它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的信。

下面的图1.2表示了作为NN 的基本单元的神经元模型，它有三个基本要素：

图1.2 基本神经元模型

（1）一组连接，连接强度由各连接上的权值表示，权值为正表示激活，为负表示抑制。

（2）一个求和单元，用于求取个输入信号的加权和（线性组合）。

（3）一个非线性激活函数，起非线性映射作用并将神经元输出幅度限制在一定的范围之内。常见的激活函数)(??有阈值函数、分段线性函数和sigmoid 函数等,此外还有一个阈值θ（或偏置θ-）。

2．人工神经元模型

人工神经网络模型主要考虑网络连接的拓扑结构、神经元的特征、学习规则等。目前，已有近40种神经网络模型，其中有反传网络、感知器、自组织映射、Hopfield 网络、波耳兹曼机、适应谐振理论等。根据连接的拓扑结构，神经网络模型可以分为：

2.1 通用模型

图2.1 通用模型示意图

a 2x n x 输 入

信

号

输出 1x

2.2前向网络

网络中各个神经元接受前一级的输入，并输出到下一级，网络中没有反馈，可以用一个有向无环路图表示。这种网络实现信号从输入空间到输出空间的变换，它的信息处理能力来自于简单非线性函数的多次复合。网络结构简单，易于实现。反传网络是一种典型的前向网络。

图2.2 前向网络示意图

2.3用来存储某种模式序列，层内互连前向网络

图2.3 层内互连前向网络示意图

2.4限制层内同时动作的神经元，分组功能相互结合型网络

图2.4 分组功能相互结合型网络示意图

2.5反馈网络

网络内神经元间有反馈，可以用一个无向的完备图表示。这种神经网络的信息处理是状态的变换，可以用动力学系统理论处理。系统的稳定性与联想记忆功能有密切关系。Hopfield网络、波耳兹曼机均属于这种类型。

图2.5 反馈网络示意图

3. 基本特征

人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。

人工神经网络具有四个基本特征：

①非线性：非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性

现象。人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性关系。具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。

② 非局限性：一个神经网络通常由多个神经元广泛连接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。通过单元之间的大量连接模拟大脑的非局限性。联想记忆是非局限性的典型例子。

③ 非常定性：人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。

④ 非凸性：一个系统的演化方向，在一定条件下将取决于某个特定的状态函数。例如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。

4.学习方法

学习是神经网络研究的一个重要内容，它的适应性是通过学习实现的。根据环境的变化，对权值进行调整，改善系统的行为。由神经心理学家Hebb 提出的Hebb 学习规则为神经网络的学习算法奠定了基础。

Hebb 学习规则可归结为“当某以突触（连接）两端的神经元的激活同步（同为激活或同为抑制）时，该连接的强度应增强，反之应减弱”。用数学模型可描述为

())(),()(n x n y F n w j k kj =? 式中)(),(n x n y j k 分别为j k w 两端神经元的状态，其中最常用的一种情况为

)()()(n x n y n w j k kj η=?

由于w ?与)(),(n x n y j k 的相关成比例，有时称之为相关学习规则。

这种学习规则的具体应用有离散Hopfield 网络和连续Hopfield 网络。 Hebb 规则认为学习过程最终发生在神经元之间的突触部位，突触的联系强度

随着突触前后神经元的活动而变化。在此基础上，人们提出了各种学习规则和算法，以适应不同网络模型的需要。有效的学习算法，使得神经网络能够通过连接权值的调整，构造客观世界的内在表示，形成具有特色的信息处理方法，信息存储和处理体现在网络的连接中。

神经网络在两个方面与人脑相似：

①神经网络获取的知识是从外界环境中学习得来的。

②互连神经元的连接强度，即突触权值，用于存储获取的知识。

根据学习环境不同，神经网络的学习方式可分为监督学习（如图4.1所示）和非监督学习（如图4.2所示）。

4.1有教师学习（监督学习）

在监督学习中，将训练样本的数据加到网络输入端，同时将相应的期望输出与网络输出相比较，得到误差信号，以此控制权值连接强度的调整，经多次训练后收敛到一个确定的权值。当样本情况发生变化时，经学习可以修改权值以适应新的环境。使用监督学习的神经网络模型有反传网络、感知器等。

图4.1 监督学习示意图

4.2无教师学习（无监督学习）

非监督学习时，事先不给定标准样本，直接将网络置于环境之中，学习阶段与工作阶段成为一体。此时，学习规律的变化服从连接权值的演变方程。非监督学习最简单的例子是Hebb学习规则。竞争学习规则是一个更复杂的非监督学习

的例子，它是根据已建立的聚类进行权值调整。自组织映射、适应谐振理论网络等都是与竞争学习有关的典型模型。

图4.2 无监督学习示意图

4.3强化学习（再励学习）

如图4.3所示，这种学习介于上述两种情况之间，外部情况对系统输出结果只能给出评价信息（奖或惩），而不是给出正确答案。学习系统通过强化那些受奖的动作来改善自身的性能。

图4.3 强化学习示意图

当学习系统所处环境平稳时（统计特性不随时间变化），从理论上讲通过监督学习可以学到环境的统计特性，这些统计特性可被学习系统（神经网络）作为经验记住。如果环境是非平稳的（统计特性随时间变化），通常的监督学习没有能力跟踪这种变化，此时需要对每一种不同输入都作为一个新的例子来对待。

5.特点及其优缺点

人工神经网络的特点和优越性，主要表现在三个方面：

a 期望输出

①具有自学习功能。例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。

②具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。

③具有高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。

虽然人工神经网络有很多优点，但基于其固有的内在机理，人工神经网络也不可避免的存在自己的弱点:

①最严重的问题是没能力来解释自己的推理过程和推理依据。

②神经网络不能向用户提出必要的询问，而且当数据不充分的时候，神经网络就无法进行工作。

③神经网络把一切问题的特征都变为数字，把一切推理都变为数值计算，其结果势必是丢失信息。

④神经网络的理论和学习算法还有待于进一步完善和提高。

6.研究及其应用领域

神经网络的研究可以分为理论研究和应用研究两大方面。

6.1理论研究可分为以下两类：

①利用神经生理与认知科学研究人类思维以及智能机理。

②利用神经基础理论的研究成果，用数理方法探索功能更加完善、性能更加优越的神经网络模型，深入研究网络算法和性能。

6.2应用研究可分为以下两类：

①神经网络的软件模拟和硬件实现的研究。

②神经网络在各个领域中应用的研究。这些领域主要包括：模式识别、信号处理、知识工程、专家系统、优化组合、机器人控制等。

6.3应用领域

尽管目前人们对大脑的神经网络结构、运行机制，甚至单个神经细胞的工作原理的了解还很肤浅，但是基于生物神经系统的分布式存储、并行处理、自适应

学习这些现象，已经构造出有一定初级智能的人工神经网络。当然这种人工神经网络仅仅是对大脑的粗略而且简单的模拟，无论是在规模上、功能上与大脑相比都还差的很远。从20世纪80年代初神经网络的研究再次复苏并形成热点以来，发展非常迅速，从理论上对它的计算能力、对任意连续映射的逼近能力、学习理论以及动态网络的稳定性分析上都取得了丰硕的成果。特别是在应用上已经迅速扩展到很多重要领域。如模式识别与图像处理中的手写体字符识别，语音识别，人脸识别，基因序列分析，医学疾病的识别，油气藏检测，加速器故障检测，电机故障检测，图像压缩和还原；控制及优化方面的化工过程控制，机械手运动控制，运载体轨迹控制等；金融中的股票市场预测，有价证券管理，借贷风险管理，信用卡欺骗检测；通信中的回声抵消，路由选择，自适应均衡，导航等方面。

7.发展前景

人工神经网络特有的非线性适应性信息处理能力，克服了传统人工智能方法对于直觉，如模式、语音识别、非结构化信息处理方面的缺陷，使之在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用，但其需要研究的方面还很多。其中，具有分布存储、并行处理、自学习、自组织以及非线性映射等优点的神经网络与其他技术的结合以及由此而来的混合方法和混合系统，已经成为一大研究热点。由于其他方法也有它们各自的优点，所以将神经网络与其他方法相结合，取长补短，继而可以获得更好的应用效果。目前这方面工作有神经网络与模糊逻辑、专家系统、遗传算法、小波分析、混沌、粗集理论、分形理论、证据理论和灰色系统等的融合。

参考文献：

【1】朱大奇《人工神经网络原理及应用》科学出版社 2006年

【2】张青贵《人工神经网络导论》中国水利水电出版社 2004年

【3】蒋宗礼《人工神经网络电子》讲稿北京工业大学计算机学院

【4】刘长安《人工神经网络的研究方法及应用》讲稿

【5】中国知网.人工智能网络技术及其应用[C].覃光华.四川大学.2003