当前位置：文档库 › 离散动态贝叶斯网络的直接计算推理算法

离散动态贝叶斯网络的直接计算推理算法

收稿日期:2004-11-29;修回日期:2005-03-17。

基金项目:国家自然科学基金(0205019),航空支撑基金(04C53009)资助课题

作者简介:史建国(1965-),男,副教授,博士研究生,主要研究方向为先进火力控制理论。E -mail :cheeryapple @https://www.wendangku.net/doc/2a8605546.html,

离散动态贝叶斯网络的直接计算推理算法

史建国,高晓光

(西北工业大学电子信息学院,陕西西安710072)

摘　要:离散动态贝叶斯网络是对动态过程进行建模和定性推理的有力工具。但是目前所用的各种推理

算法都需要进行复杂的图形变换,不易于计算机编程实现而且计算时间长。为此,基于概率论和贝叶斯网络的基本性质,提出了离散动态贝叶斯网络的直接计算推理算法,从理论上对算法进行了推导并进行了实例验证。该算法的最大优点就是不需要复杂的图形变换,非常适合于计算机编程实现,而且在某些情况下推理速度快于其它算法。

关键词:贝叶斯网络;推理;算法中图分类号:TP181 文献标识码:A

Direct calculation inference algorithm for discrete dynamic bayesian net work

SHI Jian 2guo ,G AO Xiao 2guang

(Academy of Elect ronic Inf ormation ,North Western Polytechnic U niv.,Xi ’an 710072,China )

Abstract :Discrete dynamic Bayesian network is a capable tool for modeling and quality inferring for dynamic pro 2cess ,but the current inference algorithms we can read in all materials are all based on complicated figure transforma 2tions.They are hard to programming and need long time for calculation.Aimed on this problem ,we present a direct calculation inference algorithm for discrete dynamic Bayesian network based on the probability theory and the basic characters of the Bayesian network and verify it by samples.The most advantage of this algorithm is that it needs not performing complicated figure transformation ,it is easy to programming ,and under some conditions ,it can work out the results quickly and directly.It is more useful in some applications where the time requests is relaxed.

K ey w ords :Bayesian network ;inference ;algorithm

1　引　言

动态贝叶斯网络是对动态系统进行建模和状态估计的主要工具,而离散动态贝叶斯网络是对动态系统进行定性判断和推理的重要工具。其最突出的优点是可以根据多个时刻的观测值来对系统的状态进行定性推理,因此相对于离散静态贝叶斯网络而言,更能够实现观测值的互相补充和修正,更能够处理观测值的不确定性或者误差,推理结果也更可靠。用离散动态贝叶斯网络对动态系统进行定性推理和判断,更能够保持推理判断过程的鲁棒性和推理判断结果的合理性。因此动态贝叶斯网络,特别是离散动态贝叶斯网络,是近年国际上的研究热点[1～4],国内也开始了静态贝叶斯网络和动态贝叶斯网络的研究[5]。动态贝叶斯网络的应用研究的文献非常多[6,7],但是作者目前所见所有介绍离散动态贝叶斯网络的文献,介绍的推理方法都是基于图形变换,而且都没有

给出完整的数学公式。文献[2]介绍了离散动态贝叶斯

网络推理的边界算法和接口算法,接口算法是目前应用最广泛的算法,但是其计算过程首先要进行图形变化,然后进行前向后向递推,因此编程繁琐,而且计算时间较长,对于计算机的编程实现很不方便。本文提出离散动态贝叶斯网络的直接推理计算算法,目的就是给出离散动态贝叶斯网络推理的完整的数学公式,使得离散动态贝叶斯网络的推理算法更加规范和直观,易于计算机编程实现。而且理论分析和实际计算,表明在某些情况下,这种算法的计算速度快于接口算法。

2　离散动态贝叶斯网络的接口算法

2.1　接口算法描述

离散动态贝叶斯网络[2]是随时间发展的离散静态贝叶斯网络。对于一个T 个时间片的离散动态贝叶斯网络,假定每个时间片有n 个隐藏节点,有m 个观测节点,分别为

2005年9月系统工程与电子技术

Sep.2005第27卷　第9期

Systems Engineering and Electronics Vol.27　No.9

文章编号:10012506X (2005)0921626205

(X 1,X 2,…,X n )和(Y 1,Y 2,…,Y m ),则离散动态贝叶斯网

络的推理的根本目的是计算

p (x 11,x 12,…,x 1n ,……x T 1,x T 2,…,x Tn |

y 11,y 12,…,y 1m ,……y T 1,y T 2,…,y Tm )

(1)

式中:x ij (y ij )分别表示第j 个时间片的第i 个隐藏节点(观测节点)处于某个状态。

文献[1]介绍了离散静态贝叶斯网络的基本概念,性质和推理的连接树算法。文献[2]介绍了目前应用最广泛的离散动态贝叶斯网络的边界算法和接口推理算法。接口算法是对边界算法的改进,为了便于和本文提出的直接计算推理算法比较,在此简单介绍离散动态贝叶斯网络推理的接口算法。

接口算法是把向下一个时间片发出弧的所有隐藏节点作为分离集[1,2],包含一个时间片内所有的向下一个时间片发出弧的节点的集合构成的分离集,就称为接口,它是两个时间片通信的界面和接口,记为I 。推理的目的是计算P (I t |y 1∶T )。T 为时间片的个数。因为:y 1∶T 分为两个部分,一部分是y 1∶t ,另外一部分是y t +1∶T ,因此可以将p (I t |y 1∶T )分成两步进行,先计算出p (I t |y 1∶t ),然后再从最后的时间片逐级吸收p (I t |y t +1∶T )。这样就形成前向和后向两个计算过程,称为前向通道和后向通道。

在前向通道,一个时间片内的接口I t ,受到上一个时间片内的接口I t -1的影响,也影响下一个时间片的接口I t +1。这样,由上一个时间片内的接口I t -1、本时间片内的接口I t 和本时间片内的所有非接口节点N t =V t \I t 、以及它们之间的弧,又构成了一个新的离散静态贝叶斯网络(Bayesian network ,BN )。完全可以如静态BN 的推理一样进行精确推理。这个新的BN 称为“1/2时间片离散动态贝叶斯网络(dynamic bayesian network ,DBN )”。

前向通道的目的是计算p (I t |y 1∶t ),由于y 1∶t 是通过I 1∶t -1影响I t 的。因此需要从t =1开始计算。由于初值p (I 1|y 1)可以通过纯粹的BN 推理求出。这样问题变成已知p (I t -1|y 1∶t -1)和“1/2时间片DBN 结构”、条件概率表、观测值、状态转移函数的条件下,计算p (I t |y 1∶t )的问题。这本质上是一个静态贝叶斯网络的推理问题。采用连接树算法[1],此“1/2时间片DBN ”要转换成一棵连接树,但此连接树必须有一个含I t -1的圈D t ,和一个含I t 的圈C t 。这完全可以通过有意识的安排连接树的建立过程来实现,其它节点可以组成其它圈,见文献[1]中连接树的建立过程。

这样一个“1/2时间片DBN ”对应的连接树的形式如图1所示

。

图1　“1/2时间片DBN ”对应的连接树

图中N t 是除接口外其他节点组成的连接树结构。

将所有时间片的BN 通过接口连接起来,就构成如图2的连接树形式,这其实是一种连接树的接合形式

。

图2　三个“1/2时间片DBN ”对应的连接树

这样前一时刻的BN 通过其接口影响当前时刻,当前

(1)构建t 时刻的“1/2时间片DBN ”对应的连接树J t ,并将所有圈和分离集的势都初始化为1。

(2)从J t -1的圈C t -1的势中排斥其它节点,剩下I t -1

的势,将其乘到J t 的圈D t 的势上。

(3)对时刻t 内的BN 中的每一个节点,选择一个包含其所有双亲的圈作为双亲圈,将其条件概率乘到双亲圈的势上。对于观测变量,按文献[1]中的方法更新其势(取当前观测值时势为1,取其它值的势为0),将新的势乘到双亲圈的势上。至此J t 的初始化完成,剩下就是校准连接树,更新C t 的势。

(4)将C t 作为根,向根节点收集证据[1],引起消息传

递,使得连接树中所有的圈的势都更新。

注:势是一个与变量或变量组合的分布成比例的正数。见文献[1]中连接树的初始化。2.1.2　后向通道

(1)输入的已知量是前向通道留下的C t ,D t 及其它圈及分离集的势,还有就是t +1时间片传递过来的代表p (D t +1|y 1∶T )的势,即D t +1更新过的势。

(2)对D t +1更新过的势进行排斥,剩下I t ,此时就是与p (I t |y 1∶T )成比例的势。其作为D t +1向C t 传递的消息。

(3)C t 通过接口I t 对D t +1传来的消息进行吸收,即

　第27卷　第9期离散动态贝叶斯网络的直接计算推理算法

?1627　?　

<3c t

c t

∑D t+1\I t

D t +1∑

C t \I t

分式代表接口I t 的势的新值与势旧值之比

(4)从C t 开始散布证据,更新所有t 时刻J t 中圈和分离集。此时D t 及其它圈及分离集的势都得到更新,因为此时D t 的势代表p (D t |y 1∶T ),可以认为是得到了p (I t |y 1∶T )。

(5)一直递推到t =1,对所有的t ,p (I t |y 1∶T )都计算

出来了。

2.2　接口算法分析

上述接口算法,最直观的现象就是必须建立一棵连接树,这是图形变换操作。不仅需要大量的计算时间,而且需要大量的存储空间来存储图形结构,且编程实现很麻烦。假定某个离散动态贝叶斯网络每一个时间片有D 个节点,其中有n 个隐藏节点,有k 个节点向下一个时间片发出弧,则每一个“1/2时间片DBN ”实际有k +D 个节点。对这个“1/2时间片DBN ”建立连接树,假定每一个圈中的节点个数为w (w >k )个,则w 的数值位于区间[k +1,k +n ],最坏的情况可能产生k +D -1个圈,在此连接树上进行推理,进行势的初始化,假定s 是节点状态数的最大值,则可能需要进行D ×s 次乘法运算,进行连接树的初始校准,最多可能需要进行(k +D -1)×s w -1次加法运算和2(k +D -1)×s w 次除法和乘法运算。插入证据进行推理也同样需要进行(k +D -1)×s w -1次加法运算和2(k +D -1)×s w 次除法和乘法运算。所以,除去连接树建立的时

间,再假定离散动态贝叶斯网络的时间片个数是T ,则接口算法的时间复杂性为O (2T ((D +s )+2((k +D -1)×s w -1+2(k +D -1)×s w )))。加入w 的范围,经过整理得到接口算法的时间复杂性(不包括连接树的建立时间)为

O (T (k +D -1)×s k +1

)))～O (T (k +D -1)×

k +n

)))

3　动态贝叶斯网络的直接计算推理算法

3.1算法描述

一个具有n 个隐藏节点和m 个观测节点的离散静态贝叶斯网络随时间发展就得到T 个时间片的离散动态贝叶斯网络,由于观测值只有一种组合状态,因此在此观测值下隐藏变量的分布为(实际是一种后验概率)

p (x 11,x 12,…,x 1n ,…,x T 1,x T 2,…,x Tn |

y 11,y 12,…,y 1m ,…,y T 1,y T 2,…,y Tm )

任何贝叶斯网络推理的基础都是贝叶斯公式(2)和贝叶斯网络的条件独立假设(3)。

p (x |y )=

p (yx )

p (y )

p (yx )∑

p (yx )

(2)

p (x 1,x 2,…,x n )=

∏n

i =1

p (x

|p a (x i ))(3)

式中:(X 1,X 2,…,X n )———一个静态贝叶斯网络的节点集合,p (x 1,x 2,…,x n )———一个贝叶斯网络的所有节点的一个联合分布,p a (x i )———节点X i 的双亲集合。

由式(2)和式(3),可以得到

p (x 11,x 12,…x 1n ,……x T 1,x T 2,…x Tn |y 11,y 12,…y 1m ,……y T 1,y T 2,…y Tm )=p (x 11,x 12,…x 1n ,……x T 1,x T 2,…x Tn ,y 11,y 12,…y 1m ,……y T 1,y T 2,…y Tm )

∑

x 11,x 12,…x 1n ,……x T 1,x T 2,…x Tn

p (x 11,x 12,…x 1n ,……x T 1,x T 2,…x Tn ,y 11,y 12,…y 1m ,……y T 1,y T 2,…y Tm )

(4)

由于离散动态贝叶斯网络本身也符合条件独立性假设,因此有

p (x 11,x 12,…x 1n ,……x T 1,x T 2,…x Tn |y 11,y 12,…y 1m ,……y T 1,y T 2,…y Tm )=

∏

i ,j

p (y ij

|pa (y ij ))

∏

i ,k

)p (x ik

|pa (x ik ))(5)

因此有

p (x 11,x 12,…x 1n ,……x T 1,x T 2,…x Tn |y 11,y 12,…y 1m ,……y T 1,y T 2,…y Tm )=

∏

i ,j

p (y ij

|pa (y ij

))∏ik

)p (x ik

|pa (x ik

))∑x 11x 12x T 1??x Tn

∏

i ,j p (y ij |pa (y ij ))∏i ,k

)p (x ik

|pa (x ik )

)

i ∈[1,T ],j ∈[1,m ],K ∈[1,n ]

(6)

式中:x ij ———X ij 的一个取值状态。第一个下标表示第i

时间片,第二个下标表示该时间片内的第j 个隐藏节点。y ij ———观测变量Y ij 的取值。pa (y ij )———y ij 的双亲节点

集合。

如果观测值是多状态的,即某些观测变量处于各个状态都有一定的概率。则

　?1628　?

系统工程与电子技术2005年　

p (x 11,x 12,…x 1n ,…x T 1,x T 2,…x Tn |y 11o ,y 12o ,…y 1mo ,…y T 1o ,y T 2o ,…y Tmo )=

∑

y 11,y 12…y Tm

∏

i ,j

p (y ij|

pa (Y ij

))∏i ,k

p (x ik

|pa (x ik

))∑x 11x 21…x T 1??x Tn

∏

i ,j p (y ij |pa (Y ij ))∏i ,k

p (x ik

|pa (x ik ))

×∏ij

p (Y ij =y ijo )

i ∈[1,T ],j ∈[1,m ],K ∈[1,n ](7)

式中:Y jio ———第i 个时间片内第j 个观测节点y ij 的观测状

态。p (Y ij =y ijo )———Y ij 处于对应状态的概率。3.2　算法分析

假定离散动态贝叶斯网络的每一个时间片有D 的节点,其中有n 个隐藏节点,节点的最大状态数为s ,离散动态贝叶斯网络的时间片个数为T ,则计算式(6),计算分母的每一项,需要进行D 次乘法运算,计算一个联合分布,需要Ds Tn 次运算。计算出所有联合分布,只需要再进行s Tn 次除法运算。计算出每一个隐藏变量的分布,需要进行ns Tn -1次加法运算,因此上述算法的时间复杂性为O (ns Tn )。和接口算法的时间复杂性(不含连接树建立时间)

O (T (k +D -1)×s k +1)))～O (T (k +D -1)×s

k +n

)))比较,可以看出,当时间片个数较少,并且隐藏节点数目较少时,本文提出的直接推理算法占有明显的时间优势,而且接口算法还需要进行复杂的图形变化。当隐藏节点数目较多,并且时间片数目较多时,接口算法的计算时间就占优势,尽管其需要进行复杂的图形变换。而实际应用中,所用的离散动态贝叶斯网络模型的时间片个数都是有限的,而且一般隐藏节点的个数也是比较少的,所以本文提出的离散动态贝叶斯网络推理的直接计算算法具有一定的应用价值。特别是这种算法编程简单,易于实现,在实时性要求不高的应用中更具有应用价值。

4　算法的实例检验

待计算的离散动态贝叶斯网络模型如图3所示

。

图3　计算实例用的离散动态贝叶斯网络

x 和y 都有两个状态,x 可取a 或b ,y 可取s 或r ,先验

概率为

p (x 1=a )=p (x 1=b )=0.5

条件概率为

p (y i =s |x i =a )=0.7,　p (y i =s |x i =b )=0.2

p (y i =r |x i =a )=0.3,　p (y i =r |x i =b )=0.8

i =1,2

时间片间的条件概率为

p (x i +1=a |x i =a )=0.9,　p (x i +1=b |x i =a )=0.1

p (x i +1=a |x i =b )=0.1,　p (x i +1=b |x i =b )=0.9

i =1,2

假定现在观察2个时刻,观测值为y 1=s ,y 2=s ,其含义为

p (y 1=s )=1,　p (y 2=s )=1,p (y 1=r )=0,　p (y 2=r )=0

要求计算这种观测值下x 1和x 2的后验分布。4.1　采用直接计算推理算法计算

式(6)在此处具体化为

p (x 1,x 2|y 1,y 2)=

p (y 1,y 2|x 1,x 2)p (x 2|x 1)p (x 1)

∑

x 1x 2

p (y 1,y 2|x 1,x 2)p (x 2|x 1)p (x 1)

p (y 1|x 1)p (y 2|x 2)p (x 2|x 1)p (x 1)

∑

x 1x 2

p (y 1|x 1)p (y 2|x 2)p (x 2|x 1)p (x 1)

则后验概率

p (x 1=a ,x 2=a |y 1=s ,y 2=s )=

p (y 1=s ,y 2=s |x 1=a ,x 2=a )p (x 2=a |x 1=a )p (x 1=a )

∑

x 1x 2

p (y 1=s ,y 2=s |x 1,x 2)p (x 2|x 1)p (x 1)

p (y 1=s |x 1=a )p (y 2=s |x 2=a )p (x 2=a |x 1=a )p (x 1=a )

∑

x 1x 2

p (y 1=s |x 1)p (y 2=s |x 2)p (x 2|x 1)p (x 1)

上式分母的加和表示的四种组合x 1x 2,用到的都是先验概率和条件概率。

同理计算

p (x 1=b ,x 2=a |y 1=s ,y 2=s ),p (x 1=a ,x 2=b |y 1

=s ,y 2=s )和p (x 1=b ,x 2=b |y 1=s ,y 2=s ),这样就得到

x 1x 2的后验分布。通过加和就可以获得x 1和x 2的后验

　第27卷　第9期离散动态贝叶斯网络的直接计算推理算法

?1629　?　

分布。

将已知的条件概率代入,计算可得

p (x 1=a ,x 2=a |y 1=s ,y 2=s )=0.87327

p (x 1=b ,x 2=a |y 1=s ,y 2=s )=0.027723p (x 1=a ,x 2=b |y 1=s ,y 2=s )=0.027723p (x 1=b ,x 2=b |y 1=s ,y 2=s )=0.071287

p (x 1=a |y 1=s ,y 2=s )=0.90099p (x 1=b |y 1=s ,y 2=s )=0.09901p (x 2=a |y 1=s ,y 2=s )=0.90099p (x 2=b |y 1=s ,y 2=s )=0.09901

上述过程,用Matlab 语言编程,在P32900机器上运行,时间不到0.01s 。4.2　用接口算法的计算结果

用接口算法,用Matlab 语言编程,在P3900机器上运行,得到结果(如图4所示),运行时间为0.03s 。

p (x 1=a |y 1=s ,y 2=s )=0.9010

p (x 1=b |y 1=s ,y 2=s )=0.0990p (x 2=a |y 1=s ,y 2=s )=0.9010p (x 2=b |y 1=s ,y 2=s )=0.099

图4　接口计算结果柱状图

从上述两种方法的计算结果看,除了计算的舍入误差之

外,二者的计算结果是完全一致的,这也可以从一个侧面证明本文提出的离散静态信念推理的直接计算算法的正确性。而且经过实际的时间测试,直接计算算法明显快于接口算法。

5　结　论

本文提出的离散动态贝叶斯网络的直接计算推理算法,是由贝叶斯网络的条件无关特性和贝叶斯公式推导而来,理论上是正确的。计算实例也证明了算法的正确性。和最常用的接口算法比较,当时间片个数较少,并且隐藏节点数目较少时,本文提出的直接推理算法占有明显的时间

优势,而且接口算法还需要进行复杂的图形变化。当隐藏节点数目较多,并且时间片数目较多时,接口算法的计算时间就占优势,尽管其需要进行复杂的图形变换。

该算法的最大优点是不需要进行复杂的图形变化,计算公式简单实用,适合于计算机编程实现,而且可以用并行计算算法实现,以加快算法的计算速度。而实际应用中,所用的离散动态贝叶斯网络模型的时间片个数都是有限的,而且一般隐藏节点的个数也是比较少的,所以本文提出的离散动态贝叶斯网络推理的直接计算算法具有一定的应用价值。特别是这种算法编程简单,易于实现,在实时性要求不高的应用中更具有应用价值。

对于空天无人作战飞行器的智能自主控制,需要进行自动目标识别,态势评估和指挥决策,这些问题用离散动态贝叶斯网络建模,都是隐藏变量的个数很少(一般就一个),实际应用中时间片的个数也是很小(一般4级)的,因此本文提出的算法具有较好的应用价值。

参考文献:

[1]Henrik Bengtsson.Bayesian networks [EB/OL ].M athematical

S tatistics Center f or M athematical Sciences L und Instit ute of Technology ,S weden 2003.

[2]K evin Patrick Murphy.Dynamic bayesian networks :representation ,in 2

ference and learning[E B/oL ].A dissertation submitted in partial sat 2

isf action of the requirements f or the degree of Doctor of Philo sophy in Computer Science in the graduate division of the university of Calif or 2nia ,Berkeley.Fall ,2002.

[3]Alexander Kuenzer.An empirical study of Dynamic Bayesian net 2

works for user modeling.Institute of Industrial Engineering and

Ergonomics[EB/OL ].A achen U niversity of Technology ,Ger 2

many ,2002.

[4]Uri Nodelman ,Shelton Christian R ,Daphne K oller.Learning con 2

tinuous time bayesian networks [EB ].S tanf ord U niversity.

2002.

[5]王辉.用于决策支持的贝叶斯网络[J ].东北师大学报自然科学

版,2001,33(4):26-30.

[6]Vladimir Pavlovi ′c1,Rehg James M ,Tat 2Jen Cham.A dynamic

bayesian network approach to tracking using learned switching dy 2namic models[EB ].Com paq Com puter Corporation ,2003.[7]Vladimir Pavlovi ′c ,Rehg James M ,Tat 2Jen Cham ,et al.A dy 2

namic bayesian network approach to figure tracking using learned dynamic models[EB ].C om paq Com puter Corporation ,2003.

　?1630　?

系统工程与电子技术2005年　

模糊推理神经网络诊断模型案例

模糊推理神经网络诊断模型案例 [摘要]本文基于通用神经网络的自适应性和诊断的建模方法，建立了一种新的故障诊断模型一模糊神经网络诊断模型，并对它的智能诊断机理和突出特点进行了深入分析。最后，将该诊断模型应用于某大型汽轮发电机组故障诊断中，分析得出它具有明显的提高诊断精确度的优越性。 [关键词]神经网络故障诊断智能诊断 1模糊推理神经网络诊断模型建立 1．1通用网络模型自适应动态特性比较两类典型的神经网络一前向BP网络与反馈Hopfied网络，可以发现其核心是单层神经网络，则两类网络可以用一个通用神经网络模型来描述。根据点集拓扑理论和人工神经网络空间概念，对这个通用神经网络模型的特征进行分析得出以下两个结论，证明从略。定理1神经网络空间在紧集上的连续函数空间C上以及按L2范数在平方可积函数空间I上都是稠密的。推论1由通用神经网络模型所生成的任何开集可以一致逼近紧集上的连续映射函数f∈C(Rn。Rm)。由推论1表明，通用网络模型所概括的任何开集(如BP网络、Hopfied网络、BAM网络)通过自学习都能一致逼近紧集上的连续映射函数f∈(Rn，Rm)，因而具有良好的自学习、自适应动态特性。 1．2诊断建模方法设xjn(j=1，2，...，k)对应反映设备运行状态第n个观测样本的k个特征参数，yin，(i=1，2，...l)对应第n个样本的1种故障模式，共有N个样本xjn∈RN，yin∈RN，[n=1，2，...，N)，则故障模式向量Y={yin，i=1，2，...，l}与特征参数向量x={xin，i=1，2，...，k}间的内在关系用函数P表示，有：X=P(Y)。当N→∞时，函数P的逆函数存在，以函数S表示，有：Y=S(X) 诊断问题建模的实质就是根据有限的样本集，确定函数S(X)的一等价映射关系SS(X)，使得对于任意的ε>0，满足：

浅谈贝叶斯方法

浅谈贝叶斯方法随着MCMC（马尔可夫链蒙特卡尔理论Markov chain Monte Carlo）的深入研究，贝叶斯（T.Bayes(1702~1761)）统计已成为当今国际统计科学研究的热点。翻阅近几年国内外统计学方面的杂志，特别是美国统计学会的JASA(Journal of the American Statistical Association) 、英国皇家学会的统计杂志JRSS（Journal of the Royal Statistical Society）[1]等，几乎每期都有“贝叶斯统计”的论文。贝叶斯统计的应用范围很广，如计算机科学中的“统计模式识别”、勘探专家所采用的概率推理、计量经济中的贝叶斯推断、经济理论中的贝叶斯模型等。托马斯·贝叶斯在18世纪上半叶群雄争霸的欧洲学术界可谓是个重要人物，他首先将归纳推理法应用于概率论，并创立了贝叶斯统计理论，对于统计决策函数、统计推理、统计估算等作出了贡献。贝叶斯所采用的许多概率术语被沿用至今。他的两篇遗作于逝世前4个月，寄给好友普莱斯（R.Price,1723~1791）分别于1764年、1765年刊于英国皇家学会的《哲学学报》。正是在第一篇题为“机会学说中的一个问题的解”（An essay towards solving a problem in the doctrine of chance）的论文中，贝叶斯创立了逆概率思想。统计学家巴纳德赞誉其为“科学史上最著名的论文之一”。一、第一部分中给出了7个定义。定义1 给定事件组，若其中一个事件发生，而其他事件不发生，则称这些事件互不相容。定义2若两个事件不能同时发生，且每次试验必有一个发生，则称这些事件相互对立。

朴素贝叶斯分类算法及其MapReduce实现

最近发现很多公司招聘数据挖掘的职位都提到贝叶斯分类，其实我不太清楚他们是要求理解贝叶斯分类算法，还是要求只需要通过工具（SPSS，SAS，Mahout）使用贝叶斯分类算法进行分类。反正不管是需求什么都最好是了解其原理，才能知其然，还知其所以然。我尽量简单的描述贝叶斯定义和分类算法，复杂而有全面的描述参考“数据挖掘：概念与技术”。贝叶斯是一个人，叫（Thomas Bayes），下面这哥们就是。本文介绍了贝叶斯定理，朴素贝叶斯分类算法及其使用MapReduce实现。贝叶斯定理首先了解下贝叶斯定理 P X H P(H) P H X= 是不是有感觉都是符号看起来真复杂，我们根据下图理解贝叶斯定理。这里D是所有顾客（全集），H是购买H商品的顾客，X是购买X商品的顾客。自然X∩H是即购买X又购买H的顾客。 P(X) 指先验概率，指所有顾客中购买X的概率。同理P(H)指的是所有顾客中购买H 的概率，见下式。

X P X= H P H= P(H|X) 指后验概率，在购买X商品的顾客，购买H的概率。同理P(X|H)指的是购买H商品的顾客购买X的概率，见下式。 X∩H P H|X= X∩H P X|H= 将这些公式带入上面贝叶斯定理自然就成立了。朴素贝叶斯分类分类算法有很多，基本上决策树，贝叶斯分类和神经网络是齐名的。朴素贝叶斯分类假定一个属性值对给定分类的影响独立于其他属性值。描述：这里有个例子假定我们有一个顾客X（age = middle，income=high，sex =man）：?年龄（age）取值可以是：小（young），中（middle），大（old） ?收入（income）取值可以是：低（low），中（average），高（high） ?性别（sex）取值可以是：男（man），女（woman）其选择电脑颜色的分类标号H：白色（white），蓝色（blue），粉色（pink）问题：用朴素贝叶斯分类法预测顾客X，选择哪个颜色的分类标号，也就是预测X属于具有最高后验概率的分类。解答： Step 1 也就是说我们要分别计算X选择分类标号为白色（white），蓝色（blue），粉色（pink）的后验概率，然后进行比较取其中最大值。根据贝叶斯定理

比较简单的贝叶斯网络总结

贝叶斯网络贝叶斯网络是一系列变量的联合概率分布的图形表示。一般包含两个部分，一个就是贝叶斯网络结构图，这是一个有向无环图（DAG），其中图中的每个节点代表相应的变量，节点之间的连接关系代表了贝叶斯网络的条件独立语义。另一部分，就是节点和节点之间的条件概率表（CPT），也就是一系列的概率值。如果一个贝叶斯网络提供了足够的条件概率值，足以计算任何给定的联合概率，我们就称，它是可计算的，即可推理的。 3.5.1 贝叶斯网络基础首先从一个具体的实例（医疗诊断的例子）来说明贝叶斯网络的构造。假设：命题S(moker)：该患者是一个吸烟者命题C(oal Miner)：该患者是一个煤矿矿井工人命题L(ung Cancer)：他患了肺癌命题E(mphysema)：他患了肺气肿命题S对命题L和命题E有因果影响，而C对E也有因果影响。命题之间的关系可以描绘成如右图所示的因果关系网。因此，贝叶斯网有时也叫因果网，因为可以将连接结点的弧认为是表达了直接的因果关系。图3-5 贝叶斯网络的实例图中表达了贝叶斯网的两个要素：其一为贝叶斯网的结构，也就是各节点的继承关系，其二就是条件概率表CPT。若一个贝叶斯网可计算，则这两个条件缺一不可。贝叶斯网由一个有向无环图（DAG）及描述顶点之间的概率表组成。其中每个顶点对应一个随机变量。这个图表达了分布的一系列有条件独立属性：在给定了父亲节点的状态后，每个变量与它在图中的非继承节点在概率上是独立的。该图抓住了概率分布的定性结构，并被开发来做高效推理和决策。贝叶斯网络能表示任意概率分布的同时，它们为这些能用简单结构表示的分布提供了可计算优势。假设对于顶点xi，其双亲节点集为Pai，每个变量xi的条件概率P(xi|Pai)。则顶点集合X={x1,x2,…,xn}的联合概率分布可如下计算：。双亲结点。该结点得上一代结点。

matlab贝叶斯神经网络工具箱的下载安装与使用

matlab贝叶斯神经网络工具箱的下载安装与使用前言：其实通过Matlab神经网络工具的一些命令组合，可以轻易实现贝叶斯神经网络工具箱的功能，这里所讲的贝叶斯神经网络工具箱是有第三方开放，比较容易使用的贝叶斯神经网络工具箱。备注(by math)：另外一个工具箱PRtools(中文翻译：模式识别工具箱）也可以实现贝叶斯神经网络工具箱的所有功能，而且PRtools的工具箱功能更强，我会在另外一个帖子里再介绍PRtools模式识别工具箱。 Matlab的Bayes贝叶斯神经网络工具箱是Kevin Murphy开发的，最近一次的更新时间是在2007年，此工具的开发，得到了Intel员工的协助！一，下载：请直接点此下载，或者点此下载附件FullBNT-1.0.4.zip(2.13MB) 二，安装：解压刚刚下载的zip文件，把你刚才所解压的路径，添加到Matlab的Path里.打开Matlab,在命令行下输入： >>cd C:\Users\JasonZhang\Desktop\FullBNT-1.0.4%设置成你自己的路径>>addpath(genpathKPM(pwd)); 这时候，你会看到一大推的warning,原因是这个工具箱里的有些函数与MATLAB 自带的函数名字一样，会出现冲突。我个人的建议是，先记下这些冲突的函数，以后发现程序冲突的时候，可以临时把刚刚添加的path从matlab的path中删除掉。如果你用到此工具箱，再添加这个路径。如果想测试添加是否成功，在命令下面输入： >>test_BNT 即使有时候出现错误信息也没有关系，通常是由于MATLAB版本更新引起的，有些函数(比如说isfinite)在旧的版本里有，新的版本里就换了，只要看一下MATLAB的更新历史，去把相应的函数换掉即可。三、使用matlab贝叶斯神经网络工具箱 matlab贝叶斯神经网络工具箱有完整的帮助文件，请点击这里阅读，或者下载此文件How to use the Bayes Net Toolbox.pdf(407.53KB)

人工智能教程习题及答案第9章神经网络与遗传算法

第九章神经网络与遗传算法习题参考解答 9.1练习题 9.1 何谓人工神经网络?它有哪些特征? 9.2 生物神经元由哪几部分构成?每一部分的作用是什么?它有哪些特性? 9.3 什么是人工神经元？它有哪些连接方式？ 9.4 B-P算法的网络结构是什么？简述B-P算法的学习过程。 9.5 什么是网络的稳定性? Hopfield网络模型分为哪两类?两者的区别是什么? 9.6 有教师学习与无教师学习的区别是什么? 请分析说明。 9.7 Hopfield模型与B-P模型的网络结构有何异同？ 9.8 简述简单遗传算法的基本原理和一般过程,说明个体选择的常用策略,以及遗传操作“交叉”和“变异”所起的作用。 9.9 遗传算法有哪些特点？在应用遗传算法时要解决的最关键问题有哪些？ 9.2习题参考解答 9.1 答: （略） 9.2 答: 生物神经元主要由三部分构成：细胞体、轴突和树突。每一部分的作用是：（a）细胞体是神经元的新陈代谢中心，同时还用于接收并处理从其他神经元传递过来的信息。（b）轴突的作用相当于神经元的输出电缆，它通过尾部分出的许多神经末梢以及梢端的突触向其他神经元输出神经冲动。（c）树突的相当于神经元的输入端，用于接收从四面八方传来的神经冲动。神经元的功能特性包括：（a）时空整合功能。（b）神经元的动态极化性。（c）兴奋与抑制状态。（d）结构的可塑性。（e）脉冲与电位信号的转换。（f）突触延期和不应期。（g）学习、遗忘和疲劳。 9.3 答: （略） 9.4 答: B-P算法的网络结构是一个前向多层网络。网络中不仅含有输入节点和输出节点，而且含有一层或多层隐（层）节点，网络中各处理单元间的连接如图6.16所示。当有信息向网络输入时，信息首先由输入层传递到隐层节点，经特性函数（人工神经元）作用后，再

贝叶斯网络

贝叶斯网络一.简介贝叶斯网络又称信度网络，是Bayes方法的扩展，目前不确定知识表达和推理领域最有效的理论模型之一。从1988年由Pearl提出后，已知成为近几年来研究的热点.。一个贝叶斯网络是一个有向无环图(Directed Acyclic Graph,DAG),由代表变量节点及连接这些节点有向边构成。节点代表随机变量，节点间的有向边代表了节点间的互相关系(由父节点指向其后代节点)，用条件概率进行表达关系强度，没有父节点的用先验概率进行信息表达。节点变量可以是任何问题的抽象，如：测试值，观测现象，意见征询等。适用于表达和分析不确定性和概率性的事件，应用于有条件地依赖多种控制因素的决策，可以从不完全、不精确或不确定的知识或信息中做出推理。二. 贝叶斯网络建造贝叶斯网络的建造是一个复杂的任务，需要知识工程师和领域专家的参与。在实际中可能是反复交叉进行而不断完善的。面向设备故障诊断应用的贝叶斯网络的建造所需要的信息来自多种渠道，如设备手册，生产过程，测试过程，维修资料以及专家经验等。首先将设备故障分为各个相互独立且完全包含的类别（各故障类别至少应该具有可以区分的界限），然后对各个故障类别分别建造贝叶斯网络模型，需要注意的是诊断模型只在发生故障时启动，因此无需对设备正常状态建模。通常设备故障由一个或几个原因造成的，这些原因又可能由一个或几个更低层次的原因造成。建立起网络的节点关系后，还需要进行概率估计。具体方法是假设在某故障原

因出现的情况下，估计该故障原因的各个节点的条件概率，这种局部化概率估计的方法可以大大提高效率。三. 贝叶斯网络有如下特性 1. 贝叶斯网络本身是一种不定性因果关联模型。贝叶斯网络与其他决策模型不同，它本身是将多元知识图解可视化的一种概率知识表达与推理模型，更为贴切地蕴含了网络节点变量之间的因果关系及条件相关关系。 2. 贝叶斯网络具有强大的不确定性问题处理能力。贝叶斯网络用条件概率表达各个信息要素之间的相关关系，能在有限的，不完整的，不确定的信息条件下进行学习和推理。 3. 贝叶斯网络能有效地进行多源信息表达与融合。贝叶斯网络可将故障诊断与维修决策相关的各种信息纳入网络结构中，按节点的方式统一进行处理，能有效地按信息的相关关系进行融合。目前对于贝叶斯网络推理研究中提出了多种近似推理算法，主要分为两大类：基于仿真方法和基于搜索的方法。在故障诊断领域里就我们水电仿真而言，往往故障概率很小，所以一般采用搜索推理算法较适合。就一个实例而言，首先要分析使用那种算法模型： a.)如果该实例节点信度网络是简单的有向图结构，它的节点数目少的情况下，采用贝叶斯网络的精确推理，它包含多树传播算法，团树传播算法，图约减算法，针对实例事件进行选择恰当的算法； b.)如果是该实例所画出节点图形结构复杂且节点数目多，我们可采用近似推理算法去研究，具体实施起来最好能把复杂庞大的网络进行化简，然后在与精确推理相结合来考虑。

matlab-BP神经网络(贝叶斯正则化算法程序)

close all clear echo on clc % NEWFF——生成一个新的前向神经网络 % TRAIN——对BP 神经网络进行训练 % SIM——对BP 神经网络进行仿真 pause % 敲任意键开始 clc % 定义训练样本矢量 % P 为输入矢量 sqrs=[0.0000016420520 0.0000033513140 0.0000051272540 0.0000069694860 0.0000088776310 0.0000139339960 -0.0000594492310 -0.0001080022920 -0.0001476714860 ... 0.0000112367340 0.0002021567880 0.0008695337800 -0.0001189929700 -0.0000912336690 0.0002160472130 0.0006358522040 0.0012365884200 0.0049930394010 ]./0.001657904949 ; sqjdcs=[0.0000399039272 0.0000805129702 0.0001218448339 0.0001639173001 0.0002067504102 0.0003172835720 0.0000421189848 0.0000870310694 0.0001350858140 ... 0.0001866997652 0.0002423599348 0.0004033628719 0.0000394450224 0.0000830935373 0.0001317612004 0.0001864881262 0.0002486249700 0.0004497441812 ]./0.000533286; sqglmj=[0.0000068430669 0.0000147605347 0.0000240097285 0.0000349372747 0.0000480215187 0.0000954580176 0.0000005804238 0.0000011640375 0.0000017508228 ... 0.0000023407605 0.0000029338317 0.0000044301058 0.0000030813582 0.0000071511410 0.0000126615618 0.0000203910217 0.0000318028637 0.0001118629438 ]./0.000034868299 ; s1=[0.0001773503110 0.0003553133430 0.0005338922010 0.0007130899610 0.0008929096590 0.00#### 0.0005747667510 0.0012111415700 0.0019195724060 ... 0.0027130110200 0.0036077110840 0.0064386221260 0.0005056929850 0.0010189193420 0.00#### 0.0020685403470 0.0026052286500 0.0039828224110 ]./0.00275071; %s2=[25.9167875445 24.0718476818 22.2364947192 20.4105777318 18.5939487791 14.0920619223 990.2535888432 1040.4661104131 1096.3830297389 1159.029******* ... % 1229.6925839338 1453.3788619676 164.1136642277 142.4834641073 121.6137611080 101.4436832756 81.9180522413 35.6044841634]; glkyl=[1 1 1 1 1 1 2 2 2 2 2 2 3 3 3 3 3 3];

BP神经网络计算的题目

对如下的BP 神经网络，学习系数1=η，各点的阈值0=θ。作用函数为： ? ? ?<≥=111 )(x x x x f 。输入样本0,121==x x ，输出节点z 的期望输出为1，对于第k 次学习得到的权值分别为1)(,1)(,1)(,2)(,2)(,0)(2122211211======k T k T k w k w k w k w ，求第k 次和1+k 次学习得到的输出节点值)(k z 和)1(+k z （写出计算公式和计算过程）。 y 2 )(11=k w 1)(22=k 102 计算如下： 1．第k 次训练的正向过程如下： 1 )0()0210()()(12 1 11==?+?==-=∑=f f net f x w f y j j j θ ) ()(i j i j ij i net f x w f y =-=∑θ

2 )2()0112()()(22 1 22==?+?==∑==f f net f x w f y j j j 3 )3()2111()()(2 1 ==?+?==∑==f f net f y T f z l i i i 2)31(2 12 =-=E 2．第k 次训练的反向过程如下： 212)3()31()(')(''-=?-=?-=-=f net f z z l l δ li l l i i T net f ∑=δδ)('' 1)2(01)2()0(')(''111=?-?=?-?==f T net f l δδ 2 1)2(11)2()2(')(''222-=?-?=?-?==f T net f l δδ 1 1)2(11)()()1(11111-=?-?+=+=?+=+y k T T k T k T l ηδ 3 2)2(11)()()1(22222-=?-?+=+=?+=+y k T T k T k T l ηδ 1010')()()1(111111 1111=??+=+=?+=+x k W W k W k W ηδ ) ()(l i l i li l net f y T f O =-=∑θ

贝叶斯统计方法研究

贝叶斯方法贝叶斯分类器是一种比较有潜力的数据挖掘工具，它本质上是一种分类手段，但是它的优势不仅仅在于高分类准确率，更重要的是，它会通过训练集学习一个因果关系图（有向无环图）。如在医学领域，贝叶斯分类器可以辅助医生判断病情，并给出各症状影响关系，这样医生就可以有重点的分析病情给出更全面的诊断。进一步来说，在面对未知问题的情况下，可以从该因果关系图入手分析，而贝叶斯分类器此时充当的是一种辅助分析问题领域的工具。如果我们能够提出一种准确率很高的分类模型，那么无论是辅助诊疗还是辅助分析的作用都会非常大甚至起主导作用，可见贝叶斯分类器的研究是非常有意义的。与五花八门的贝叶斯分类器构造方法相比，其工作原理就相对简单很多。我们甚至可以把它归结为一个如下所示的公式：选取其中后验概率最大的，即分类结果，可用如下公式表示

贝叶斯统计的应用范围很广，如计算机科学中的“统计模式识别”、勘探专家所采用的概率推理、计量经济中的贝叶斯推断、经济理论中的贝叶斯模型等。上述公式本质上是由两部分构成的：贝叶斯分类模型和贝叶斯公式。下面介绍贝叶斯分类器工作流程： 1．学习训练集，存储计算条件概率所需的属性组合个数。 2．使用中存储的数据，计算构造模型所需的互信息和条件互信息。3．使用种计算的互信息和条件互信息，按照定义的构造规则，逐步构建出贝叶斯分类模型。 4．传入测试实例．根据贝叶斯分类模型的结构和贝叶斯公式计算后验概率分布。．选取其中后验概率最大的类，即预测结果。一、第一部分中给出了个定义。定义给定事件组，若其中一个事件发生，而其他事件不发生，则称这些事件互不相容。定义若两个事件不能同时发生，且每次试验必有一个发生，则称这些事件相互对立。定义若定某事件未发生，而其对立事件发生，则称该事件失败

人工智能练习题答案

1、什么是人工智能？人工智能有哪些研究领域？何时创建该学科，创始人是谁？（1）AI（Artificial Intelligence）是利用计算机技术、传感器技术、自动控制技术、仿生技术、电子技术以及其他技术仿制人类智能机制的学科（或技术），再具体地讲就是利用这些技术仿制出一些具有人类智慧（能）特点的机器或系统（2）人工智能的研究领域主要有专家系统、机器学习、模式识别、自然语言理解、自动定力证明、自动程序设计、机器人学、博弈、智能决策支持系统、人工神经网络等（3）人工智能于1956年夏季，由麦卡锡，明斯基、洛切斯特、香农等发起创建 2、产生式系统的由哪三部分组成？各部分的功能是什么？课本29页（1）产生式系统由综合数据库、产生式规则和控制系统三部分组成（2）综合数据库用于存放当前信息，包括初始事实和中间结果；产生式规则用于存放相关知识；控制系统用于规则的解释或执行程序。 3、设有三枚硬币，其初始状态为（反，正，反），允许每次翻转一个硬币（只翻一个硬币，必须翻一个硬币）。必须连翻三次。用知识的状态空间表示法求出到达状态（反，反，反）的通路。画出状态空间图。课本51页问题求解过程如下：（1）构建状态用数组表示的话，显然每一硬币需占一维空间，则用三维数组状态变量表示这个知识：Q=（q1 , q2 , q3）取q=0 表示钱币的正面; q=1 表示钱币的反面构成的问题状态空间显然为： Q0=（0，0，0），Q1=（0，0，1），Q2=（0，1，0）, Q3=（0，1，1）， Q4=（1，0，0），Q5=（1，0，1），Q6=（1，1，0），Q7=（1，1，1）（2）引入操作 f1：把q1翻一面。 f2：把q2翻一面。 f3：把q3翻一面。显然：F={f1，f2，f3} 目标状态：（找到的答案）Qg=（0，0，0）或（1，1，1）（3）画出状态图

贝叶斯网络结构学习及其应用研究_黄解军

收稿日期:2004-01-23。项目来源:国家自然科学基金资助项目(60175022)。第29卷第4期2004年4月武汉大学学报#信息科学版 Geomatics and Information Science of Wuhan U niversity V ol.29No.4Apr.2004 文章编号:1671-8860(2004)04-0315-04文献标识码:A 贝叶斯网络结构学习及其应用研究黄解军1 万幼川1 潘和平 1 (1 武汉大学遥感信息工程学院,武汉市珞喻路129号,430079) 摘要:阐述了贝叶斯网络结构学习的内容与方法,提出一种基于条件独立性(CI)测试的启发式算法。从完全潜在图出发,融入专家知识和先验常识,有效地减少网络结构的搜索空间,通过变量之间的CI 测试,将全连接无向图修剪成最优的潜在图,近似于有向无环图的无向版。通过汽车故障诊断实例,验证了该算法的可行性与有效性。关键词:贝叶斯网络;结构学习;条件独立性;概率推理;图论中图法分类号:T P18;T P311 贝叶斯网络学习是贝叶斯网络的重要研究内容,也是贝叶斯网络构建中的关键环节,大体分为结构学习和参数学习两个部分。由于网络结构的空间分布随着变量的数目和每个变量的状态数量呈指数级增长,因此,结构学习是一个NP 难题。为了克服在构建网络结构中计算和搜索的复杂性,许多学者进行了大量的探索性工作[1~5]。至今虽然出现了许多成熟的学习算法,但由于网络结构空间的不连续性、结构搜索和参数学习的复杂性、数据的不完备性等特点,每种算法都存在一定的局限性。本文提出了一种新算法,不仅可以有效地减少网络结构的搜索空间,提高结构学习的效率,而且可避免收敛到次优网络模型的问题。 1 贝叶斯网络结构学习的基本理论 1.1 贝叶斯网络结构学习的内容贝叶斯网络又称为信念网络、概率网络或因果网络[6] 。它主要由两部分构成:1有向无环图(directed acyclic graph,DAG),即网络结构,包括节点集和节点之间的有向边,每个节点代表一个变量,有向边代表变量之间的依赖关系;o反映变量之间关联性的局部概率分布集,即概率参数,通常称为条件概率表(conditional probability table,CPT),概率值表示变量之间的关联强度或置信度。贝叶斯网络结构是对变量之间的关系描述,在具体问题领域,内部的变量关系形成相对稳定的结构和状态。这种结构的固有属性确保了结构学习的可行性,也为结构学习提供了基本思路。贝叶斯网络结构学习是一个网络优化的过程,其目标是寻找一种最简约的网络结构来表达数据集中变量之间的关系。对于一个给定问题,学习贝叶斯网络结构首先要定义变量及其构成,确定变量所有可能存在的状态或权植。同时,要考虑先验知识的融合、评估函数的选择和不完备数据的影响等因素。 1.2 贝叶斯网络结构学习的方法近10年来,贝叶斯网络的学习理论和应用取得了较大的进展。目前,贝叶斯网络结构学习的方法通常分为两大类:1基于搜索与评分的方法,运用评分函数对网络模型进行评价。通常是给定一个初始结构(或空结构),逐步增加或删减连接边,改进网络模型,从而搜索和选择出一个与样本数据拟合得最好的结构。根据不同的评分准则,学习算法可分为基于贝叶斯方法的算法[3,7]、基于最大熵的算法[8]和基于最小描述长度的算法[1,2]。o基于依赖关系分析的方法,节点之间依赖关系的判断通过条件独立性(CI )测试来实现,文献[9,10]描述的算法属于该类算法。前者在DAG 复杂的情况下,学习效率更高,但不能得到一个最优的模型;后者在数据集的概率分布与DAG 同构的条件下,通常获得近似最优的模型[11],

机器学习期末测试练习题4

1、在神经网络模型VggNet中，使用两个级联的卷积核大小为3×3，stride=1的卷积层代替了一个5×5的卷积层，如果将stride设置为2，则此时感受野为 A.7×7 B.9×9 C.5×5 D.8×8 正确答案：A 2、上图是具有四个隐藏层的神经网络，该网络使用sigmoid函数作为激活函数，训练过程出现了梯度消失问题。从图中可以判断出四个隐藏层的先后顺序（靠近输入端的为先，靠近输出端的为后）分别为 A.DBCA B.ABCD

D.DCBA 正确答案：D 3、在网络训练时，loss在最初几个epoch没有下降，可能原因是 A.学习率过低 B.以下都有可能 C.正则参数过高 D.陷入局部最小值正确答案：B 4、假设有一个三分类问题，某个样本的标签为（1，0，0），模型的预测结果为（0.5，0.4，0.1），则交叉熵损失值（取自然对数结果）约等于

B.0.7 C.0.8 D.0.5 正确答案：B 5、 IoU是物体检测、语义分割领域中的结果评测指标之一，上图中A 框是物体的真实标记框，面积为8。B框是网络的检测结果，面积为7。两个框的重合区域面积为2。则IoU的值为 A.2/8 B.2/13 C.2/7 D.2/15 正确答案：B

6、Gram矩阵是深度学习领域常用的一种表示相关性的方法，在风格迁移任务中就使用风格Gram矩阵来表示图像的风格特征，以下关于风格Gram矩阵的论述正确的是 A.风格Gram矩阵的大小与输入特征图的通道数、宽、高都不相关 B.风格Gram矩阵的大小只与输入特征图的通道数相关 C.风格Gram矩阵的大小与输入特征图的通道数、宽、高都相关 D.风格Gram矩阵的大小只与输入特征图的宽、高有关正确答案：B 7、现使用YOLO网络进行目标检测，待检测的物体种类为20种，输入图像被划分成7*7个格子，每个格子生成2个候选框，则YOLO网络最终的全连接层输出维度为 A.1078 B.980 C.1470 D.1960 正确答案：C 二、多选题 1、池化层在卷积神经网络中扮演了重要的角色，下列关于池化层的论述正确的有 A.池化操作具有平移不变性

贝叶斯网络的建造训练和特性

贝叶斯网络建造贝叶斯网络的建造是一个复杂的任务，需要知识工程师和领域专家的参与。在实际中可能是反复交叉进行而不断完善的。面向设备故障诊断应用的贝叶斯网络的建造所需要的信息来自多种渠道，如设备手册，生产过程，测试过程，维修资料以及专家经验等。首先将设备故障分为各个相互独立且完全包含的类别（各故障类别至少应该具有可以区分的界限），然后对各个故障类别分别建造贝叶斯网络模型，需要注意的是诊断模型只在发生故障时启动，因此无需对设备正常状态建模。通常设备故障由一个或几个原因造成的，这些原因又可能由一个或几个更低层次的原因造成。建立起网络的节点关系后，还需要进行概率估计。具体方法是假设在某故障原因出现的情况下，估计该故障原因的各个节点的条件概率，这种局部化概率估计的方法可以大大提高效率。贝叶斯网络训练使用贝叶斯网络必须知道各个状态之间相关的概率。得到这些参数的过程叫做训练。和训练马尔可夫模型一样，训练贝叶斯网络要用一些已知的数据。比如在训练上面的网络，需要知道一些心血管疾病和吸烟、家族病史等有关的情况。相比马尔可夫链，贝叶斯网络的训练比较复杂，从理论上讲，它是一个NP-complete 问题，也就是说，对于现在的计算机是不可计算的。但是，对于某些应用，这个训练过程可以简化，并在计算上实现。贝叶斯网络具有如下特性：

1。贝叶斯网络本身是一种不定性因果关联模型。贝叶斯网络与其他决策模型不同，它本身是将多元知识图解可视化的一种概率知识表达与推理模型，更为贴切地蕴含了网络节点变量之间的因果关系及条件相关关系。 2。贝叶斯网络具有强大的不确定性问题处理能力。贝叶斯网络用条件概率表达各个信息要素之间的相关关系，能在有限的，不完整的，不确定的信息条件下进行学习和推理。 3。贝叶斯网络能有效地进行多源信息表达与融合。贝叶斯网络可将故障诊断与维修决策相关的各种信息纳入网络结构中，按节点的方式统一进行处理，能有效地按信息的相关关系进行融合。目前对于贝叶斯网络推理研究中提出了多种近似推理算法，主要分为两大类：基于仿真方法和基于搜索的方法。在故障诊断领域里就我们水电仿真而言，往往故障概率很小，所以一般采用搜索推理算法较适合。就一个实例而言，首先要分析使用那种算法模型： a.)如果该实例节点信度网络是简单的有向图结构，它的节点数目少的情况下，采用贝叶斯网络的精确推理，它包含多树传播算法，团树传播算法，图约减算法，针对实例事件进行选择恰当的算法； b.)如果是该实例所画出节点图形结构复杂且节点数目多，我们可采用近似推理算法去研究，具体实施起来最好能把复杂庞大的网络进行化简，然后在与精确推理相结合来考虑。在日常生活中，人们往往进行常识推理，而这种推理通常是不准确的。例如，你看见一个头发潮湿的人走进来，你可能会认为外面下雨了，那你也许错了；如果你在公园里看到一男一女带着一个小孩，你可能会认为他们是一家人，你可能也犯了错误。在工程中，我们也同样需要进行科学合理的推理。但是，工程实际中的问题一般都比较复杂，而且存在着许多不确定性因素。这就给准确推理带来了很大的困难。很早以前，不确定性推理就是人工智能的一个重要研究领域。尽管许多人工智能领域的研究人员引入其它非概率原理，但是他们也认为在常识推理的基础上构建和使用概率方法也是可能的。为了提高推理的准确性，人们引入了概率理论。最早由Judea Pearl于1988年提出的贝叶斯网络(Bayesian Network)实质上就是一种基于概率的不确定性推理网络。它是用来表示变量集合连接概率的图形模型，提供了一种表示因果信息的方法。当时主要用于处理人工智能中的不确定性信息。随后它逐步成为了处理不确定性信息技术的主流，并且在计算机智能科学、工业控制、医疗诊断等领域的许多智能化系统中得到了重要的应用。贝叶斯理论是处理不确定性信息的重要工具。作为一种基于概率的不确定性推理方法，贝叶斯网络在处理不确定信息的智能化系统中已得到了重要的应用，已成功地用于

案例1 贝叶斯方法

（一）贝叶斯方法介绍由贝果叶斯朔因公式,可以解决的推理问题. (|)j P B A 这个概率就是，可由贝叶斯公式给出. 12,,...,n j n B B B A A A B A 假设共有种两两互斥的原因会导致发生.当结果发生时,我们就会追朔发生的原因,需要计算由于原因导致发生的概率是多大？

12(|)(|),(|)...,(|).. j j n B P B A P B A P B A P B A 通常,我们会找那个最有可能发生的原因,也就是找,使得是中最大的一个这个推断方贝叶称之为斯方法法12,,,n B B B S ???: 称为的定义一个划分,若 12(),n i B B B S ??????= 不漏(),.i j ii B B i j =?≠ 不重1 B 2B 3B 4 B S n B

12,,,()0.()0 n i B B B S P B P A ???>>B s aye 设为的一个划分且对有公式：1()(|)(|)()(|)i i i n j j j P B P A B P B A P B P A B ==∑(),(|),1,2,...,. j j j j P B p P A B q j n ===设1q 1B ???S A 1 p 2 p n p 2q n q 2 B n B ()(|)i i P B P B A 先验概率后验概率 1 i i n j j j p q p q =∑=

(1702-1762) · 贝叶斯公式由英国数学家托马斯贝叶斯提出.不过贝叶斯在世时并没有公开发表这一重大发现.而是他去世后两年才由他的朋友理查德普莱斯整理遗稿时发现并帮助发表的.

BP神经网络模型推导

The project describes teaching process of multi-layer neural network employing backpropagation algorithm. To illustrate this process the three layer neural network with two inputs and one output,which is shown in the picture below, is used: Each neuron is composed of two units. First unit adds products of weights coefficients and input signals. The second unit realise nonlinear function, called neuron activation function. Signal e is adder output signal, and y = f(e) is output signal of nonlinear element. Signal y is also output signal of neuron. To teach the neural network we need training data set. The training data set

consists of input signals (x1 and x2 ) assigned with corresponding target (desired output) z. The network training is an iterative process. In each iteration weights coefficients of nodes are modified using new data from training data set. Modification is calculated using algorithm described below: Each teaching step starts with forcing both input signals from training set. After this stage we can determine output signals values for each neuron in each network layer. Pictures below illustrate how signal is propagating through the network, Symbols w(xm)n represent weights of connections between network input x m and neuron n in input layer. Symbols y n represents output signal of neuron n.

贝叶斯预测方法

贝叶斯预测模型的概述贝叶斯预测模型是运用贝叶斯统计进行的一种预测。贝叶斯统计不同于一般的统计方法，其不仅利用模型信息和数据信息，而且充分利用先验信息。托马斯·贝叶斯（Thomas Bayes）的统计预测方法是一种以动态模型为研究对象的时间序列预测方法。在做统计推断时，一般模式是：先验信息+总体分布信息+样本信息→后验分布信息可以看出贝叶斯模型不仅利用了前期的数据信息，还加入了决策者的经验和判断等信息，并将客观因素和主观因素结合起来，对异常情况的发生具有较多的灵活性。这里以美国1960—2005年的出口额数据为例，探讨贝叶斯统计预测方法的应用。 Bayes预测模型及其计算步骤此处使用常均值折扣模型，这种模型应用广泛而且简单，它体现了动态现行模型的许多基本概念和分析特性。常均值折扣模型对每一时刻t常均值折模型记为DLM{1，1，V，δ}，折扣因子δ，O<δ

推论2：μt的后验分布()～N [m t，C t]，其中f t = m t? 1,Q t = R t + V。由于Rt=Ct-1+Wt=Ct-1/δ，故有W?t = C t? 1(δ? 1? 1) W 其计算步骤为： (1)R t = C?t / δ； (2)Q t = R t + V； (3)A t = R t / Q t； (4)f t? 1 = m t? 1； (5)e t?y t?f t? 1； (6)C t = A t V； (7)m t?m t? 1 + A t e t 计算实例根据The SAS System for Windows 9．0所编程序，对美国出口额（单位：十亿元）变化进行了预测。选取常均值折扣模型和抛物线回归模型。美国出口额的预测，预测模型的初始信息为m0=304，Co=72，V=0。Ol，δ=0。8得到的1960—2006年的预测结果。见表2中给出了预测的部分信息（1980—2006年的预测信息）。通过The SAS System for Windows 9．0软件回归分析得到抛物线预测方程：表示年份见表3给出了1980-2006年的预测信息。计算结果分析对预测结果的准确度采用平均绝对百分误差（MAPE）分析。公式如下：根据表l和表2对1980-2005年出口额的预测结果可知，常均值折扣模型所得结果的平均绝对百分误差MAPE=8。1745％，而由抛物线回归模型所得结果的平均绝对百分误差为9。5077％。由此可见这组数据中，使用贝叶斯模型预测的结果更为精确。

人工智能化课后练习题集

上海大学《人工智能》网络课课后习题答案育才新工科-人工智能简介 1【判断题】《人工智能》课程为理工类通选课，本课程给予学生的主要是思想而不是知识。对图灵是谁？ 1【单选题】图灵曾协助军方破解（）的著名密码系统Enigma 。 A 英国 B 、美国 C 、德国 D 、日本 2【判断题】电影《模仿游戏》是纪念图灵诞生 90周年而拍摄的电影。X 3【判断题】图灵使用博弈论的方法破解了 Enigma 。对为什么图灵很灵？ 1【单选题】1937年，图灵在发表的论文（）中,首次提出图灵机的概念。 A 《左右周期性的等价》B 《论可计算数及其在判定问题中的应用》 C 《可计算性与入可定义性》 D 《论高斯误差函数》 2【单选题】1950年，图灵在他的论文（）中,提出了关于机器思维的问题。 A 、《论数字计算在决断难题中的应用》 B 《论可计算数及其在判定问题中的应用》 C 《可计算性与入可定义性》 D 《计算和智能》 3【判断题】存在一种人类认为的可计算系统与图灵计算不等价。 X 4【判断题】图灵测试是指测试者与被测试者（一个人和一台机器）隔开的情况下，通过一些装置（如键盘）向被测试者随意提问。如果测试者不能确定出被测试者是人还是机器，那么这台机器就通过了测试，并被认为具有人类智能。对为什么图灵不灵？ 1【单选题】以下叙述不正确的是（）。 A 图灵测试混淆了智能和人类的关系 B 机器智能的机制必须与人类智能相同 C 机器智能可以完全在特定的领域中超越人类智能 D 机器智能可以有人类智能的创造力 2【单选题】在政府报告中,（）的报告使用“机器智能”这个词汇。 A 中国B 英国C 德国D 美国 3【多选题】机器智能可以有自己的“人格”体现主要表现在 1【单选题】以下关于未来人类智能与机器智能共融的二元世界叙述不正确的是 A 人类智能与机器智能具有平等性 B 、机器智能是模仿人类智能 C 人类智能与机器智能均具有群智行 D 人工智能与机器智能均具有发展性、合作性 2【单选题】机器通过人类发现的问题空间的数据，进行机器学习，具有在人类发现的问题空间中求解的能力，并且求解的过程与结果可以被人类智能（），此为机器智能的产生。C （）0 A 模型间的对抗一智能进化的方式 B 、机器智能的协作一机器智能的社会组织 C 机器智能是社会的实际生产者 D 机器智能可以有人类智能的创造力 4【判断题】图灵测试存在的潜台词是机器智能的极限可以超越人的智能，机器智能可以不与人的智能可比拟。X 人类智能与机器智能如何共融及未来 ()。B