当前位置：文档库 › 数学建模-神经网络

数学建模-神经网络

-230-

第十九章神经网络模型

§1 神经网络简介

人工神经网络是在现代神经科学的基础上提出和发展起来的，旨在反映人脑结构及

功能的一种抽象数学模型。自1943 年美国心理学家W. McCulloch 和数学家W. Pitts 提

出形式神经元的抽象数学模型—MP 模型以来，人工神经网络理论技术经过了50 多年

曲折的发展。特别是20 世纪80 年代，人工神经网络的研究取得了重大进展，有关的理

论和方法已经发展成一门界于物理学、数学、计算机科学和神经生物学之间的交叉学科。它在模式识别，图像处理，智能控制，组合优化，金融预测与管理，通信，机器人以及

专家系统等领域得到广泛的应用，提出了40 多种神经网络模型，其中比较著名的有感

知机，Hopfield 网络，Boltzman 机，自适应共振理论及反向传播网络（BP）等。在这

里我们仅讨论最基本的网络模型及其学习算法。

1.1 人工神经元模型

下图表示出了作为人工神经网络（artificial neural network，以下简称NN）的基本

单元的神经元模型，它有三个基本要素：

（i）一组连接（对应于生物神经元的突触），连接强度由各连接上的权值表示，权

值为正表示激活，为负表示抑制。

（ii）一个求和单元，用于求取各输入信号的加权和（线性组合）。

（iii）一个非线性激活函数，起非线性映射作用并将神经元输出幅度限制在一定范

围内（一般限制在(0,1)或(?1,1)之间）。

此外还有一个阈值k

θ（或偏置k k b = ?θ）。

以上作用可分别以数学式表达出来：

Σ=

k kj j u w x

，k k k v = u ?θ，( ) k k y =?v

式中p x , x , , x 1 2 L 为输入信号，k k kp w ,w , ,w 1 2 L 为神经元k 之权值，k u 为线性组合结果，k

θ为阈值，?(?)为激活函数，k y 为神经元k 的输出。

若把输入的维数增加一维，则可把阈值k

θ包括进去。例如

Σ=

k kj j v w x

，( ) k k y =?u

此处增加了一个新的连接，其输入为1 0 x = ?（或+1），权值为k k w =θ0 （或k b ），如下图所示。

-231-

激活函数?(?)可以有以下几种:

（i）阈值函数

???

≥

0, 0

1, 0

( )

?v （1）

即阶梯函数。这时相应的输出k y 为

???

≥

0, 0

1, 0

k v

其中Σ=

= ?

k kj j k v w x

θ，常称此种神经元为M ?P模型。

（ii）分段线性函数

≤?

+ ?<<

≥

0, 1

(1 ), 1 1

1, 1

( )

v v

?v （2）

它类似于一个放大系数为1 的非线性放大器，当工作于线性区时它是一个线性组合器，放大系数趋于无穷大时变成一个阈值单元。

（iii）sigmoid 函数

最常用的函数形式为

1 exp( )

( ) 1

+ ?

= （3）

参数α>0可控制其斜率。另一种常用的是双曲正切函数

1 exp( )

( ) tanh

v v v

+ ?

= ??

?= ?（4）

这类函数具有平滑和渐近性，并保持单调性。

Matlab 中的激活（传递）函数如下表所示：

函数名功能

purelin 线性传递函数

-232-

hardlim 硬限幅传递函数

hardlims 对称硬限幅传递函数

satlin 饱和线性传递函数

satlins 对称饱和线性传递函数

logsig 对数S 形传递函数

tansig 正切S 形传递函数

radbas 径向基传递函数

compet 竞争层传递函数

各个函数的定义及使用方法，可以参看Matlab 的帮助（如在Matlab 命令窗口运行help tansig，可以看到tantig 的使用方法，及tansig 的定义为1

( ) 2 2 ?

= e?v

?v ）。

1.2 网络结构及工作方式

除单元特性外，网络的拓扑结构也是NN 的一个重要特性。从连接方式看NN 主要

有两种。

（i）前馈型网络

各神经元接受前一层的输入，并输出给下一层，没有反馈。结点分为两类，即输入

单元和计算单元，每一计算单元可有任意个输入，但只有一个输出（它可耦合到任意多个其它结点作为其输入）。通常前馈网络可分为不同的层，第i层的输入只与第i ?1层输出相连，输入和输出结点与外界相连，而其它中间层则称为隐层。

（ii）反馈型网络

所有结点都是计算单元，同时也可接受输入，并向外界输出。

NN 的工作过程主要分为两个阶段：第一个阶段是学习期，此时各计算单元状态不变，各连线上的权值可通过学习来修改；第二阶段是工作期，此时各连接权固定，计算单元状态变化，以达到某种稳定状态。

从作用效果看，前馈网络主要是函数映射，可用于模式识别和函数逼近。反馈网络

按对能量函数的极小点的利用来分类有两种：第一类是能量函数的所有极小点都起作用，这一类主要用作各种联想存储器；第二类只利用全局极小点，它主要用于求解最优化问题。

§2 蠓虫分类问题与多层前馈网络

2.1 蠓虫分类问题

蠓虫分类问题可概括叙述如下：生物学家试图对两种蠓虫（Af 与Apf）进行鉴别，

依据的资料是触角和翅膀的长度，已经测得了9 支Af 和6 支Apf 的数据如下：

Af: (1.24,1.27)，(1.36,1.74)，(1.38,1.64)，(1.38,1.82)，(1.38,1.90)，(1.40,1.70)，

(1.48,1.82)，(1.54,1.82)，(1.56,2.08).

Apf: (1.14,1.82)，(1.18,1.96)，(1.20,1.86)，(1.26,2.00)，(1.28,2.00)，(1.30,1.96).

现在的问题是：

（i）根据如上资料，如何制定一种方法，正确地区分两类蠓虫。

（ii）对触角和翼长分别为(1.24,1.80)，(1.28,1.84)与(1.40,2.04)的3 个标本，用所得

到的方法加以识别。

（iii）设Af 是宝贵的传粉益虫，Apf 是某疾病的载体，是否应该修改分类方法。

如上的问题是有代表性的，它的特点是要求依据已知资料（9 支Af 的数据和6 支

Apf 的数据）制定一种分类方法，类别是已经给定的（Af 或Apf）。今后，我们将9 支-233-

Af 及6 支Apf 的数据集合称之为学习样本。

2.2 多层前馈网络

为解决上述问题，考虑一个其结构如下图所示的人工神经网络，

激活函数由

1 exp( )

( ) 1

+ ?

来决定。图中最下面单元，即由?所示的一层称为输入层，用以输入已知测量值。在

我们的例子中，它只需包括两个单元，一个用以输入触角长度，一个用以输入翅膀长度。中间一层称为处理层或隐单元层，单元个数适当选取，对于它的选取方法，有一些文献进行了讨论，但通过试验来决定，或许是最好的途径。在我们的例子中，取三个就足够了。最上面一层称为输出层，在我们的例子中只包含二个单元，用以输出与每一组输入数据相对应的分类信息．任何一个中间层单元接受所有输入单元传来的信号，并把处理后的结果传向每一个输出单元，供输出层再次加工，同层的神经元彼此不相联接，输入与输出单元之间也没有直接联接。这样，除了神经元的形式定义外，我们又给出了网络结构。有些文献将这样的网络称为两层前传网络，称为两层的理由是，只有中间层及输出层的单元才对信号进行处理；输入层的单元对输入数据没有任何加工，故不计算在层数之内。

为了叙述上的方便，此处引人如下记号上的约定：令s 表示一个确定的已知样品标

号，在蠓虫问题中，s = 1,2,L,15，分别表示学习样本中的15 个样品；当将第s个样

品的原始数据输入网络时，相应的输出单元状态记为O s (i = 1,2)

i ，隐单元状态记为

) 3 , 2 , 1 ( = j H sj

，输入单元取值记为I s (k = 1,2)

k 。请注意，此处下标i, j,k 依次对应于

输出层、中间层及输入层。在这一约定下，从中间层到输出层的权记为ij w ，从输入层

到中间层的权记为jk w 。如果ij w ，jk w 均已给定，那么，对应于任何一组确定的输入( , ) 1 2

I s I s ，网络中所有单元的取值不难确定。事实上，对样品s而言，隐单元j的输入

是

Σ=

k 1

jk k

j h w I （5）

相应的输出状态是

Σ=

= =

( ) ( )

jk k

sj H

（

6）

由此，输出单元i 所接收到的迭加信号是

-234-

ΣΣΣ

= = =

= =

( )

j j k

ij jk k

i h w H w ?w I （7）

网络的最终输出是

( ) ( ) ( ( ))

ΣΣΣ

= = =

j k

ij jk k

i O ?h ?w H ?w ?w I （8）

这里，没有考虑阈值，正如前面已经说明的那样，这一点是无关紧要的。还应指出的是，对于任何一组确定的输入，输出是所有权{ , } ij jk w w 的函数。

如果我们能够选定一组适当的权值{ , } ij jk w w ，使得对应于学习样本中任何一组Af

样品的输入( , ) 1 2

I s I s ，输出( , ) (1,0) 1 2 O s O s = ，对应于Apf 的输入数据，输出为(0,1)，

那么蠓虫分类问题实际上就解决了。因为，对于任何一个未知类别的样品，只要将其触角及翅膀长度输入网络，视其输出模式靠近(1,0)亦或(0,1)，就可能判断其归属。当然，有可能出现介于中间无法判断的情况。现在的问题是，如何找到一组适当的权值，实现上面所设想的网络功能。

2.3 向后传播算法

对于一个多层网络，如何求得一组恰当的权值，使网络具有特定的功能，在很长一

段时间内，曾经是使研究工作者感到困难的一个问题，直到1985 年，美国加州大学的

一个研究小组提出了所谓向后传播算法（Back-Propagation），使问题有了重大进展，这

一算法也是促成人工神经网络研究迅猛发展的一个原因。下面就来介绍这一算法。

如前所述，我们希望对应于学习样本中Af 样品的输出是(1,0)，对应于Apf 的输出

是(0,1)，这样的输出称之为理想输出。实际上要精确地作到这一点是不可能的，只能

希望实际输出尽可能地接近理想输出。为清楚起见，把对应于样品s 的理想输出记为{ s}

i T ，那么

= Σ?

i s

i E W T O

( )2

( ) 1 （9）

度量了在一组给定的权下，实际输出与理想输出的差异，由此，寻找一组恰当的权的问题，自然地归结为求适当W 的值，使E(W)达到极小的问题。将式（8）代入（9），有ΣΣΣ

= =

= ?

s i j k

ij jk k

i E W T w w I

[ ( ( ))]

( ) 1 ??（10）

易知，对每一个变量ij w 或ij w 而言，这是一个连续可微的非线性函数，为了求得其极

小点与极小值，最为方便的就是使用最速下降法。最速下降法是一种迭代算法，为求出

E(W)的（局部）极小，它从一个任取的初始点0 W 出发，计算在0 W 点的负梯度方向—( ) 0 ?E W ，这是函数在该点下降最快的方向；只要( ) 0 0 ?E W ≠，就可沿该方向移动

一小段距离，达到一个新的点( ) 1 0 0 W =W ?η?E W ，η是一个参数，只要η足够小，

定能保证( ) ( ) 1 0 E W

的具体形式是非常重要的，下面我们就来给出这一形式表达。

对于隐单元到输出单元的权ij w 而言，最速下降法给出的每一步的修正量是

-235-

= Σ? = Σ

Δ = ?

s s

ij T O h H H

w ηE η[ ]?'( ) ηδ（11）

此处令

' ( )[ s ]

i δ=?h T ?O （12）

对输入单元到隐单元的权jk w

= Σ?

Δ = ?

s i

jk T O h w h I

w E

ηη[ ]?'( ) ?'( )

= Σ= Σ

s i

i ηδw ?h I ηδI

' ( ) （13）

此处

= Σ

ij i

j δ?'(h ) w δ

从（11）和（13）式可以看出，所有权的修正量都有如下形式，即

Δ = Σ

pq w ηδv （14）

指标p 对应于两个单元中输出信号的一端，q 对应于输入信号的一端，v 或者代表H 或者代表I 。形式上看来，这一修正是“局部”的，可以看作是Hebb 律的一种表现形式。还应注意，s

i δ

由实际输出与理想输出的差及s

i h 决定，而s

j δ则需依赖s

i δ

算出，因此，

这一算法才称为向后传播算法。稍加分析还可知道，利用由（11）~（13）式所给出的

计算安排，较之不考虑sp

δ的向后传播，直接计算所有含?'的原表达式，极大地降低了

计算工作量。这组关系式称作广义δ?法则，它们不难推广到一般的多层网络上去。

利用这一迭代算法，最终生成在一定精度内满足要求的{ , } ij jk w w 的过程，称为人

工神经网络的学习过程。可以看出，这里所提供的学习机制是元与元之间权的不断调整，学习样本中任何一个样品所提供的信息，最终将包含在网络的每一个权之中。参数η的

大小则反映了学习效率。

为了更有效地应用BP 算法，我们做出如下一些补充说明。

（i）在式（11）与（13）中，ij jk Δw ,Δw 表示为与所有样品s有关的求和计算。

实际上，我们还可以每次仅考虑输入一个样品所造成的修正，然后，按照随机选取的顺序，将所有样品逐个输入，不断重复这一手续，直至收敛到一个满意的解为止。

（ii）在如上的算法中，利用实际输出与理想输出差的平方和作为度量{ , } ij jk w w 优

劣的标准，这并不是唯一的度量方式，完全可以从其它的函数形式出发，例如从相对熵出发，导出相应的算法。

（iii）在如上的讨论中使用的是最速下降法，显然，这也不是唯一的选择，其它的

非线性优化方法，诸如共轭梯度法，拟牛顿法等，都可用于计算。为了加速算法的收敛速度，还可以考虑各种不同的修正方式。

（iv）BP 算法的出现，虽然对人工神经网络的发展起了重大推动作用，但是这一

算法仍有很多问题．对于一个大的网络系统，BP 算法的工作量仍然是十分可观的，这

主要在于算法的收敛速度很慢。更为严重的是，此处所讨论的是非线性函数的优化，那么它就无法逃脱该类问题的共同困难：BP 算法所求得的解，只能保证是依赖于初值选

取的局部极小点。为克服这一缺陷，可以考虑改进方法，例如模拟退火算法，或从多个

-236-

随机选定的初值点出发，进行多次计算，但这些方法都不可避免地加大了工作量。

2.4 蠓虫分类问题的求解

下面利用上文所叙述的网络结构及方法，对蠓虫分类问题求解。编写Matlab 程序

如下：

clear

p1=[1.24,1.27;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90;

1.40,1.70;1.48,1.82;1.54,1.82;1.56,

2.08];

p2=[1.14,1.82;1.18,1.96;1.20,1.86;1.26,2.00

1.28,

2.00;1.30,1.96];

p=[p1;p2]';

pr=minmax(p);

goal=[ones(1,9),zeros(1,6);zeros(1,9),ones(1,6)];

plot(p1(:,1),p1(:,2),'h',p2(:,1),p2(:,2),'o')

net=newff(pr,[3,2],{'logsig','logsig'});

net.trainParam.show = 10;

net.trainParam.lr = 0.05;

net.trainParam.goal = 1e-10;

net.trainParam.epochs = 50000;

net = train(net,p,goal);

x=[1.24 1.80;1.28 1.84;1.40 2.04]';

y0=sim(net,p)

y=sim(net,x)

§3 处理蠓虫分类的另一种网络方法

3.1 几个有关概念

在介绍本节主要内容之前，首先说明几个不同的概念。在上一节中，我们把利用

BP 算法确定联接强度，即权值的过程称为“学习过程”，这种学习的特点是，对任何一个输入样品，其类别事先是已知的，理想输出也已事先规定，因而从它所产生的实际输出与理想输出的异同，我们清楚地知道网络判断正确与否，故此把这一类学习称为在教师监督下的学习；与它不同的是，有些情况下学习是无监督的，例如，我们试图把一组样品按其本身特点分类，所要划分的类别是事先未知的，需要网络自身通过学习来决定，因而，在学习过程中，对每一输入所产生的输出也就无所谓对错，对于这样的情况，显然BP 算法是不适用的。

另一个有关概念是所谓有竞争的学习。在上节所讨论的蠓虫分类网络中，尽管我们

所希望的理想输出是(1,0)或(0,1)，但实际输出并不如此，一般而言，两个输出单元均

同时不为0。与此不同，我们完全可以设想另外一种输出模式：对应任何一组输入，所

有输出单元中，只允许有一个处于激发态，即取值为1，其它输出单元均被抑制，即取

值为0。一种形象的说法是，对应任何一组输入，要求所有的输出单元彼此竞争，唯一

的胜利者赢得一切，失败者一无所获，形成这样一种输出机制的网络学习过程，称为有竞争的学习。

3.2 最简单的无监督有竞争的学习

本节叙述一种无监督有竞争的网络学习方法，由此产生的网络可用来将一组输入样

品自动划分类别，相似的样品归于同一类别，因而激发同一输出单元，这一分类方式，

是网络自身通过学习，从输入数据的关系中得出的。

蠓虫分类问题对应有教师的网络学习过程，显然不能由如上的方法来解决。但在这

种无监督有竞争的学习阐明之后，很容易从中导出一种适用于有监督情况的网络方法；此外，本节所介绍的网络，在数据压缩等多种领域，都有其重要应用。