模式识别复习题
《模式识别》试题库
一、基本概念题
1.1 模式识别的三大核心问题是：、、。
1.2、模式分布为团状时，选用聚类算法较好。
1.3 欧式距离具有。马式距离具有。
（1）平移不变性（2）旋转不变性（3）尺度缩放不变性（4）不受量纲影响的特性
1.4 描述模式相似的测度有：。
（1）距离测度（2）模糊测度（3）相似测度（4）匹配测度
1.5 利用两类方法处理多类问题的技术途径有：（1）；（2）；
（3）。其中最常用的是第个技术途径。
1.6 判别函数的正负和数值大小在分类中的意义
是：，
。
1.7 感知器算法。
（1）只适用于线性可分的情况；（2）线性可分、不可分都适用。
1.8 积累位势函数法的判别界面一般为。
（1）线性界面；（2）非线性界面。
1.9 基于距离的类别可分性判据有：。
（1）
1
[]
w B
Tr S S
-
（2）
B
W
S
S（3）
B
W B
S
S S
+
1.10 作为统计判别问题的模式分类，在（）情况下，可使用聂曼-皮尔逊判决准则。
1.11 确定性模式非线形分类的势函数法中，位势函数K(x,x k)与积累位势函数K(x)的关系为
（）。
1.12 用作确定性模式非线形分类的势函数法，通常，两个n维向量x和x k的函数K(x,x k)若同时满足下列三个条件，都可作为势函数。
①（）；
②（ ）； ③ K(x,x k )是光滑函数，且是x 和x k 之间距离的单调下降函数。
1.13 散度J ij 越大，说明ωi 类模式与ωj 类模式的分布（ ）。当ωi 类模式与ωj 类模式的分布相同时，J ij =（ ）。
1.14 若用Parzen 窗法估计模式的类概率密度函数，窗口尺寸h1过小可能产生的问题是（ ），h1过大可能产生的问题是（ ）。 1.15 信息熵可以作为一种可分性判据的原因
是： 。
1.16作为统计判别问题的模式分类，在（ ）条件下，最小损失判决规则与最小错误判决规则是等价的。
1.17 随机变量l(x )=p( x |ω1)/p( x |ω2)，l( x )又称似然比，则E {l( x )|ω2}=
（ ）。在最小误判概率准则下，对数似然比Bayes 判决规则为（ ）。 1.18 影响类概率密度估计质量的最重要因素是
（ ）。
1.19 基于熵的可分性判据定义为
)]
|(log )|([1
x P x P E J i c
i i x H
ωω∑=-=，J H 越（ ），说明模式的
可分性越强。当P(ωi | x ) =（ ）(i=1,2,…,c)时，J H 取极大值。
1.20 Kn 近邻元法较之于Parzen 窗法的优势在于
（ ）。 上述两种算法的共同弱点主要是（ ）。 1.21 已知有限状态自动机Af=(∑，Q ，δ，q0，F)，∑={0，1}；Q={q0，q1}；
δ：δ(q0，0)= q1，δ(q0，1)= q1，δ(q1，0)=q0，δ(q1，1)=q0；q0=q0；F={q0}。现有输入字符串：(a) 00011101011，(b) 1100110011，(c) 101100111000，(d)0010011，试问，用Af 对上述字符串进行分类的结果为（ ）。
1.22 句法模式识别中模式描述方法有： 。 （1）符号串 （2）树 （3）图 （4）特征向量
1.23设集合X={a,b,c,d }上的关系，
R={(a,a),(a,b),(a,d),(b,b),(b,a),(b,d),(c,c),(d,d),(d,a),(d,b)}，则a,b,c,d 生成的R 等价类分别为 （ [a]R= ，[b]R= ，[c]R= ，[d]R= ）。 1.24 如果集合X 上的关系R 是传递的、（ ）和（ ）的，则称R 是一个等价关系。 1.25一个模式识别系统由那几部分组成？画出其原理框图。 1.26 统计模式识别中，模式是如何描述的。
1.27 简述随机矢量之间的统计关系：不相关，正交，独立的定义及它们之间的关系。 1.28 试证明，对于正态分布，不相关与独立是等价的。
1.29 试证明，多元正态随机矢量的线性变换仍为多元正态随机矢量。
1.30 试证明，多元正态随机矢量X
的分量的线性组合是一正态随机变量。
第二部分 分析、证明、计算题 第二章 聚类分析
2.1 影响聚类结果的主要因素有那些？ 2.2 马氏距离有那些优点？
2.3 如果各模式类呈现链状分布，衡量其类间距离用最小距离还是用最大距离？为什么？
2.4 动态聚类算法较之于简单聚类算法的改进之处何在？层次聚类算法是动态聚类算法吗？比较层次聚类算法与c-均值算法的优劣。
2.5 ISODATA 算法较之于c-均值算法的优势何在？ 2.6 简述最小张树算法的优点。
2.7 证明马氏距离是平移不变的、非奇异线性变换不变的。
2.8 设，类p ω、 q ω的重心分别为 p x 、 q x
，它们分别有样本 p n 、 q n 个。将和 q ω合并为 l ω，则 l
ω有 q p l n n n +=个样本。另一类 k ω的重心为 k x
。试证明 k ω与 l ω的距离平方是
2
2
2
2
pq
l
k q p kq l
k q kp l
k p kl D n n n n D n n n D n n n D +-
++
+=
2.9 （1）设有M 类模式ωi ，i=1,2,...,M ，试证明总体散布矩阵S T 是总类内散布矩阵S W 与类间散布矩阵S B 之和，即S T ＝S W ＋S B 。
（2）设有二维样本：x1=(-1,0)T，x2=(0,-1)T，x3=(0,0)T，x4=(2,0)T和x5=(0,2)T。试选用一种合适的方法进行一维特征特征提取y i= W T x i。要求求出变换矩阵W，并求出变换结果y i，(i=1,2,3,4,5)。（3）根据（2）特征提取后的一维特征，选用一种合适的聚类算法将这些样本分为两类，要求每类样本个数不少于两个，并写出聚类过程。
2.10 （1）试给出c-均值算法的算法流程图;
（2）试证明c-均值算法可使误差平方和准则
∑
∑
∈
=
-
-
=
)
(
)
(
)
()(
)
(
1
)
(
k
j
i
x
k
j
i
T
k
j
i
c
j
k z
x
z
x
J
ω
最小。
其中，k是迭代次数；
)
(k
j
z
是
)
(k
j
ω
的样本均值。
2.11 现有2k+1个一维样本，其中k个样本在x=-2处重合，另k个样本在x=0处重合，只有1个在x=a>0处。若a=2(k+1)，证明，使误差平方和准则Jc最小的两类划分是x=0处的k个样本与x=a处的1个样本为一类，其余为另一类。这里，
c N j
Jc = ∑∑(x i-m j)2
j=1 i=1
其中，c为类别数，Nj是第j类的样本个数，xi∈ωj，i=1,2,...,Nj，mj是第j类的样本均值。
2.12 有样本集
}
1
,
5
5
,
4
5
,
5
4
,
4
4
,
1
,
{??
?
?
?
?
??
?
?
?
?
??
?
?
?
?
??
?
?
?
?
??
?
?
?
?
??
?
?
?
?
??
?
?
?
?
，试用谱系聚类算法对其分类。
2.13 设有样本集S=
}
,...,
,
{
2
1n
x
x
x
，证明类心z
到S中各样本点距离平方和
∑
=
-
-
n
i
i
T
i
z
x
z
x
1
)
(
)
(
为最
小时，有
∑
=
=
n
i
i
x
n
z
1
1
。
2.14 假设s为模式矢量集X上的距离相似侧度，有
,0,(,)0
x y s x y
?>>且当0
a>时，
(,)/(,)
d x y a s x y
=。证明d是距离差异性测度。
2.15 证明欧氏距离满足旋转不变性。
提示：运用Minkowski不等式，对于两矢量
T
1
[,,]
l
x x x
=
和
min min max max m m (),(),(),()()
ss ss ss ss ss ss ss ss
avg avg ean ean d s d s d s d s d s ，满足
1/1/1/1
1
1
()
()
()
p
p
p
l
l
l
p
p
p
i i i i i i i y y x x ≤+===+∑∑∑
2.16证明：
（a ）如果s 是类X 上的距离相似侧度，,0,(,)0x y s x y ?>>，那么对于 0a ?>，
(,)s x y a +也是类X 上的距离测度。
（b ）如果d 是类X 上的距离差异性测度，那么对于0a ?>， d a +也是类X 上的距离差异性测度
2.17 假设:f R R +
+
→是连续单调递增函数，满足
()()(),,f x f y f x y x y R +
+≥+?∈
d 是类X 上的距离差异性测度且
00d ≥。证明 ()f d 也是类X 上的距离差异性测度。
2.18 假设s 为类X 上的距离相似侧度，有,0,(,)0x y s x y ?>>， :f R R +
+
→是连续单调递增函
数，满足
1
1
1()()(),,f x f y f x y R +
+≥?∈+
证明()f x 是X 上的距离相似侧度。
2.19 证明：对于模式矢量集X 上任意两个矢量x 和 y 有
21(,)(,)(,)
x y x y x y d
d d ∞
≤≤
2.20 （a ）证明公式
1/(,)1(,)
()
q
F l
q q
x y i i i s x y s ==∑中 (,)F
s x y 的最大最小值分别是和 1/0.5q
l 。
（b ）证明当q →+∞时，公式
1/(,)1(,)
()
q
q
F l
q
x y i i i s x y s ==∑中
1(,)max (,)
i l i i F
x y s x y s
≤≤=
2.21 假设d 是模式矢量集X 上的差异性测度，
max s d d =-是相应相似测度。
证明
max (,)(,),,ps
ps
avg avg x C x C x X C X
s d d =-?∈?
其中ps avg
s
和
ps avg
d
是分别根据s 和d 所定义的。
ps avg
ψ的定义来自于下面公式，其中第一个
集合只含有一个矢量。 提示：平均亲近函数
1
(,)(,)
i j
i j
ps avg i j x D y D D D D D x y n n ∈∈ψ=
ψ∑∑，其中
i
D n 和
j
D n 分别是集合
i D 和 j D 的
势。即使 ψ是测度，显然
ps avg
ψ不是测度。在公式中，
i D 和 j D 中的所有矢量都参与计算。
2.22 假设,{0,1}l x y ∈。证明
2
(,)x y d =。
2.23 考虑一维空间的两矢量，T 1[,
,]l x x x =和 T 1[,,]l y y y =，
1
max {}
j l
i
j i
j
y
y x x =-=-，定义距离
(,)
n
x y d
为
1,1
(,)[(2)/2]l
n
i
i
i
i
j j i
x y l l y
y
d
x x =≠=
-+---∑
这个距离曾被提议作为欧氏距离的近似值。 （a ）证明n d 是距离。
（b ）比较n d
和
2d
的计算复杂度。
2．24 若定义下列准则函数
1
1()()
i c
T T i T i i x X J x m S x m -=∈=--∑∑
其中
i m 是 i X 中 i N 个样本的均值向量， T S 是总散布矩阵，
（1）证明
T J 对数据的非奇异线形变换具有不变性。 （2）证明把
i X 中的样本 ?x 转移到 j X 中去，则使 T J 改变为 *
1
1
????[
()()()()]1
1j T T i T T j T j i T i j i N N J J x m S x
m x m S x m N N --=------+-
（3）写出使
T J 最小化的迭代程序。
2．25 证明对于C-均值算法，聚类准则函数满足使算法收敛的条件。（即若(,)(,)J K J K Γ≤Γ，则有
(,)(,)J K J K Γ≤Γ）
2．26 令
111(,)()()log ||22T j j j j j y K y m y m -?=
-∑-+∑是点到聚类的相似性度量，式中 j m 和 j ∑是
聚类
j
Γ的均值和协方差矩阵，若把一点从
i Γ转移到 j Γ中去，计算由公式
1(,)
j
c
K j i y J y K =∈Γ=?∑∑所示
K J 的变化值。
第三章 判别域代数界面方程法
3.1 证明感知器算法在训练模式是线性可分的情况下，经过有限次迭代后可以收敛到正确的解矢量*
w 。 3.2
（1）试给出LMSE 算法（H-K 算法）的算法流程图;
（2）试证明X #
e(k)=0，这里, X #
是伪逆矩阵；e(k)为第k 次迭代的误差向量; （3）已知两类模式样本ω1：x1=(-1,0)T
, x2=(1,0)T
；ω2：x3=(0,0)T
，x4=(0,-1)T
。 试用LMSE 算法判断其线性可分性。
3.3 设等式方程组b w X
=，其中：属于 1ω的样本作为 X 的前 1N 行，属于 2ω的样本作为 X 的后 2
N 行。证明：当余量矢量
),,,,,(
2
1
2211
N N N N
N N N N N N b =时，MSE 解等价于Fisher 解。
3.4 已知二维样本：1x =(-1,0)T ， 2x =(0,-1)T ，=(0,0)T ， 4x =(2,0)T 和 5x =(0,2)T ， 1321},,{ω∈x x x ， 254},{ω∈x x 。试用感知器算法求出分类决策函数，并判断 6x
=(1,1)T 属于哪一类？
3.4. 已知模式样本 x 1=(0,0)T
,x 2=(1,0)T
,x 3=(-1,1)T
分别属于三个模式类别，即， x 1∈ω1,x 2∈ω2,x 3∈ω3， （1）试用感知器算法求判别函数g i (x)，使之满足，若x i ∈ωi 则g i (x)>0，i=1,2,3； （2）求出相应的判决界面方程，并画出解区域的示意图。 给定校正增量因子C=1，初始值可以取：
w 1(1)=(4,-9,-4)T ，w 2(1)=(4,1,-4,)T ，w 3(1)=(-4,-1,-6)T
。
3.5 已知ω1：{(0,0)T
},ω2：{(1,1)T
},ω3：{(-1,1)T
}。用感知器算法求该三类问题的判别函数，并画出解区域。
3.6 试证明：
（1）从x 到超平面 0)(0=+=w x w x g T 的距离
w
x g r
|)(|=是在
)(=q x g
的约束条件下，使
2
q
x x -达到极小的解。
（2）x 在超平面上的投影是 w
w x g x x p
2)(-= 。
3.7 设有一维空间二次判别函数2
975)(x x x g ++=，试将其映射成广义齐次线性判别函数
y a x g T =)(。
3.8 对二维线性判别函数
22)(21-+=x x x g （1）将判别函数写成
0)(w x w x g T += 的形式，并画出 0)(=x g 的几何图形； （2）将其映射成广义齐次线性判别函数
y a x g T
=)( ； （3）指出上述X 空间实际是Y 空间的一个子空间，且0=y a T
对X 子空间的划分与原空间中 00=+w x w T
对原X 空间的划分相同，并在图上表示出来。
3.9 指出在Fisher 线性判别中，w 的比例因子对Fisher 判别结果无影响的原因。
3.10 证明两向量外积组成的矩阵一般是奇异的。
3.11 证明，在几何上，感知器准则函数值正比于被错分类样本到决策面的距离之和。
3.12解释为什么感知器函数是一个连续分段的线性分类器。
3.13如果在感知器算法中
k
ρ
ρ
=，那么在
()()
*
2
02w w
k
αρρβ-=
-步之后，这个算法收敛，其中
2
αγβ
=
，
2ρ<。
3.14证明感知器算法的正确分类和错误分类在有限个反复的运算以后是收敛的
3.15 考虑一种情况，在类
1
ω中包含两个特征向量，
[]
0,1T
。类
2ω
中包含
[]1,0T
和
[]1,1T
两
个向量。根据感知器算法，其中 1ρ=，
[](0)0.5,0.5T
ω=
，设计一个线性分离器来区分这两类
3.16在上一章2。12问题中两分类问题中，取
[]
1
1,1T
μ=,
[]2
0,0T
μ=,
2
2
12
0.2σσ==.对于每一类产生50个向量。为了确保对于这两类的线性分离，对于向量[1，1]类确保
12
1
x x +<， 对于[0，0]向量类
1
2
1
x x
+>。下面的步骤就是使用这些向量去设计一个线性分类器使用(3.21)中的
感知器算法。在收敛以后，画出相关的判定线
3.17 假如2.12问题中是多类分类问题，每一类有100个样本点。根据LMS 算法使用这些数据去设计一个线性分类器。当所有的点被带入这个算法中进行计算的时候，画出这个算法收敛的相关超平面。其中
0.01
k ρρ
==，然后使用 0.01ρ=。观察这个结果
3.18 证明，使用KESLER 构造器，经过前面3。21感知器算法的有限步正确与错误分类计算后，对于一个
()t
i
x ω
∈，变为
()()()
()()()()()()
()()()()()1,1,
1T
T
i i t i
t j t T
T
i i t i
t j t k k t t if t j i t t if t j i t t k j
andk i
x x x x x x ρρωωωωωωωωωω+=+<≠+=-<≠+=?≠≠
3.19 证明理想权重向量的误差平方和趋渐进于MSE 的解。 3.20使用均方误差和的原则解问题3.6并设计一个线性分类器。
3.21证明设计一个M 类的线性分类器，有最佳误差平方和。分类器减少到M 等价个有相应的效果。
3.22证明，假如x,y 服从联合高斯分布，对于x 条件下y 的分布是
[]|y
y
x
y
x
x
E y x x μασασμσσ
=
+-，
2
2
x
x y
x
y
y
σασσασσσ
?
?
?
?∑=????
3.23 取M 类分类器按照参数函数
()
;k g x ω的形式存在，目的是估计参数
k ω
，使得分类器根据输入
向量x 能够产生期望的响应输出值 。假设在每一类中x 是随机分布，分类器的输出根据相关期望响应值的不同而不同。按照高斯已知变量的一个高斯分布，假设所有的输出都是相同的。证明按照误差平方和的原则，ML 估计是产生一个等价的估计值。
提示：在已知的类别当中取出N 个训练样本值。对于他们中的每一个形成
();i
i k k
i
g y x d ω=-。
i k
d
是第k 类中第i 个样本点的期望响应值。 '
i
s y 服从正态0均值，方差为
2
σ
的分布。这个似然函数使
用
'
i
s y
3.24在二类分类问题中，贝叶斯最佳判定截面是通过()()()12||0
g x P x P x ωω=-=给出，证明MSE
中训练一个判定界面 ()
;f x ω，目的是对两类进行有效判别，相关的，它等价于在MSE 最优感知中，
它等价于 ()
;f x ω的渐进函数形式g(.).
3.25 假设在两类分类问题中有服从联合分布的特征向量，他们在有共同的方差∑。设计一个线性MSE 分类器，证明在2.11问题中的贝叶斯分类器和这个结果的MSE 分类器仅仅通过一个阈值就可以区分。简化起见，仅仅考虑等概率的类的情况。 提示：计算MSE 超平面
00
T
x ω
ω+=，增加x 的维数，它的解按照下列方式提供，
[][]
(
)
1201
210T
R
E x w E w x μμ??
????-??
??=?????????
??
?
相关的R 和∑在MSE 分类器中按照下列的形式给出
()()
1
1
2
1()0122T
x μμμμ-?
?
-
+>< ??
?-∑
第四章 统计判决
4.1 使用最小最大损失判决规则的错分概率是最小吗？为什么？ 4.2 当∑i=σ2I 时，先验概率对决策超平面的位置影响如何？
4.3 假设在某个地区的细胞识别中正常1ω和异常 2ω两类的先验概率分别为
正常状态 ：1()0.9P ω=
异常状态：
2()0.1P ω=
现有一待识的细胞，其观测值为x ，从类条件概率密度分布曲线上查得 12()0.2,()0.4p x p x ω==
并且已知损失系数为λ11=0，λ12=1，λ21=6，λ22=0。
试对该细胞以以下两种方法进行分类：①基于最小错误概率准则的贝叶斯判决；②基于最小损失准则的贝叶斯判决。请分析两种分类结果的异同及原因。
4.4 试用最大似然估计的方法估计单变量正态分布的均值μ和方差 2
σ。
4.5 已知两个一维模式类别的类概率密度函数为
? x 0≤x<1 p(x |ω1)=? 2-x
1≤x ≤2
? 0 其它 ? x -1 1≤x<2 p(x |ω2)=? 3-x 2≤x ≤3 ? 0 其它
先验概率P(ω1)=0.6，P(ω2)=0.4， （1）求0-1代价Bayes 判决函数； （2）求总错误概率P(e)；
（3）判断样本{x1=1.35,x2=1.45,x3=1.55,x4=1.65}各属于哪一类别。
4.6 在目标识别中，假定有农田和装甲车两种类型，类型
1
ω和类型
2
ω分别代表农田和装甲车，它们的
先验概率分别为0.8和0.2，损失函数如表1所示。现在做了三次试验，获得三个样本的类概率密度如下：
)/(1ωx p ：0.3，0.1，0.6
)/(2ωx p ：0.7，0.8，0.3
（1） 试用贝叶斯最小误判概率准则判决三个样本各属于哪一个类型；
（2） 假定只考虑前两种判决，试用贝叶斯最小风险准则判决三个样本各属于哪一个类型； （3） 把拒绝判决考虑在内，重新考核三次试验的结果。
表1
4.7已知两个一维模式类别的类概率密度函数为
??
?≤≤=其它 ,01
0 ,2)|(1x x x p ω ??
?≤≤-=其它 , 01
0 , 22)|(2x x x p ω
先验概率P(ω1)=P(ω2)，损失函数，λ11=λ22=0，λ12=0.6，λ21=0.4。 （1）求最小平均损失Bayes 判决函数； （2）求总的误判概率P(e)；
（3）对于一个两类一维问题，若这两类的类概率密度分别服从正态分布N(0,σ2
)和 N(1,σ2
)，证明使平
均决策风险最小的决策门限为
)()(ln 21
11222120ωλωλσP P x -=
这里，假设风险函数λ11=λ22=0 。一维正态分布：]
2)([2
221)(σμσ
π--
=
x e
x p
4.8 设T j j N j N m x N m x N N C ))(?))((?(1)(?1 --=∑=是基于样本集{ N x x x ,...,,21}对总体 x ? ),(C m N 的协方差矩阵的最大似然估计。试推导由 )(?N C 求增加一个样本 1+N x 后协方差矩阵的估计 )1(?+N C 的递推公式。其中， )(?N m 是基于样本集{ N x x x ,...,,21}对总体 x 的均值向量 m 的最大似然估计
j
N j x N N m ∑==1
1)(? 。
4.9 设以下两类模式均为正态分布 ω1：{(0,0)T
，(2,0)T
，(2,2)T
，(0,2)T
} ω2：{(4,4)T
，(6,4)T
，(6,6)T
，(4,6)T
}
(1) 设P(ω1)= P(ω2)=1/2，求该两类模式之间的Bayes 判别界面的方程。 (2) 绘出判别界面。
4.10 设以下两类模式均为正态分布
ω1：{(-5,-5)T
，(-5,-4)T
，(-4,-5)T
，(-6,-5)T
，(-5,-6)T
} ω2：{(5,5)T
，(5,6)T
，(6,5)T
，(5,4)T
，(4,5)T
}
(1) 试用正交函数逼近法求类概率密度的估计
)|(1ωx p 和 )|(2ωx p ，可选用Hermite 正交多项式前四项低阶基函数：H 0(x)=1, H 1(x)=2x,H 2(x)=4x 2
-2, H 3(x)=8x 3
-12x ； (2) 设P(ω1)= P(ω2)=1/2，求Bayes 判决函数； (3) 给出判别界面方程和图示。
4.11 证明在多类问题中，贝叶斯决策准则使错误分类概率最小。
提示：使用正确分类概率来证明要方便一些。
4.12 在一个两类一维问题中，两类的概率分布密度函数分别为高斯分布),0(2
σN 和 ),1(2
σN ，证明
使平均风险最小的门限
0x
为：
()
()
212012
1221ln
P x P λωσλω=- 其中
11220λλ==。
4.13 假设两类类问题中损失矩阵为L=
???? ??22211211λλλλ，ε1是将本来属于ω1类的样本错分为ω2的概率，ε2是将本来属于ω2类的样本错分为ω1的概率。试证明平均风险为
4.14 证明在多类分类问题中，M 类的分类错误概率上限为 Pe=(M-1)/M 。
提示，对于每一个向量x 最大后验概率密度函数(|)i P x ω，i=1,2，…，M ，大于或等于1/M 。这等
价于每一个
(|)i P x ω都是相等的。
4.15 假设在一维两类分类当中样本点符合Rayleigh 概率密度函数分布：
?????<≥-=0 00
)2exp()|(22
2x x x x x p i
i i σσω 试求判决边界
()0g x =。 4.16在两类分类问题中，限定其中一类的错分误概率为ε1=ε，证明，使另一类的错分概率ε2最小等价
于似然比判决：如果P(ω1)/P(ω2)> θ，则判x ∈ω1，这里，θ是使ε1=ε成立的似然比判决门限。 注：这就是Neyman-Pearson 判决准则， 它类似于贝叶斯最小风险准则。 提示：该问题等价于用Langrange 乘子法，使q=θ(ε1-ε)+ε2最小化。
4.17．二维三类问题，假设每一类都服从同一正态分布，且特征向量的的协方差矩阵为
1.20.40.4 1.8??
=??
??∑ 各类的均值向量分别是
[]0.1,0.1T
，
[]2.1,1.9T
，
[]1.5,2.0T
-。
（1）用贝叶斯最小错误概率分类器将向量
[]1.6,1.5T
分类。
（2）画出距离向量
[]2.1,1.9T
的等马氏距离曲线图（略图）
。
4.18. 在两类三维空间分类问题中，每一类中的特征向量都服从正态分布，协方差矩阵为
0.30.10.10.10.30.10.10.10.3????=-????-??∑ 这两类的各自的均值向量分别为[]0,0,0T
和
[]0.5,0.5,0.5T
。试推导相应的线性决策函数
和决策界面方程。
4.19．在两类等概率分类问题中，每一类中的特征向量的协方差矩阵均为∑，相关的均值向量为
1μ，
2μ，
证明对于贝叶斯最小错误概率分类器，错误概率分布是
2(1/2)1
exp(/2)2m
B
d z dz P π+∞
=
-?
其中，
m d 是这两个均值向量之间的马氏距离。该函数是 m d 的增函数。
提示：对数似然比
12ln (|)ln (|)
u p p x w x w =-是一个随机变量，且服从高斯分布：
221,2m m d d ??
N ???，?
1x ω∈；和 221,2m m d d ??
N - ?
??，? 2x ω∈。据此计算错误概率。
4.20．证明假设每个向量都遵循高斯概率密度函数分布，在（2。19）的最大似然概率检测
()
()112122|()()|p x x if
p x l ωωωθ
ω∈=><
等价于
()()
()22
1121
2
2
,|,|ln
2ln m
m
x x d d θμ
μ
-+<>-∑∑∑∑
这里()2,|m
i
i
x d μ∑是
i μ和x 之间关于
i
∑矩阵的的马氏距离。
4.21．如果
1
2
==∑∑∑
，证明上个问题成为
()()1
21T
x μμ-><Θ
-∑，这里
()
1
2
ln 12
θμ
μ
Θ=+∑-
∑
。
4.22．在二维两类问题中，每一类
12,ωω都服从以下分布：
()()1112
2111
1|exp ()22T
p x x x ωμμπσσ??=--- ??? ()()22222
221
1|exp ()22T
p x x x ωμμπσσ??=
--- ??? 其中
1
(1,1)T
μ=，
2
(1.5,1.5)T
μ=，
22
120.2σσ==假设
12()()P P ωω=，设计一个贝叶斯分类器，
满足
（a ） 错误分类概率最小
（b ） 具有损失矩阵Λ的平均风险最小
010.50??
Λ=????
使用一个伪随机的数值产生器，从每一个类中得到100个特征向量。按照上面的概率密度函数。使用这
个分类器去分类已经产生的向量。对于每个事例中的错误概率是多少？用2(3.0,3.0)T
μ=重复这个实
验。
4.23．重复上面的实验，特征向量服从以下分布：
()()(
)
1
12
1
1
|exp 22T
i i p x x i x ωπμμ-??
=-- ?
??
-∑
∑
而且
1.010.20.2 1.01??∑=???? 并且
[]1
1,1T
μ
=
，
[]2
1.5,1.5T
μ=
提示：一个高斯随机向量的线性变换仍然是一个高斯随机向量。注意
1.010.210.110.10.2 1.010.110.11??????=??????
?
?????
4.24．二维两类问题，假设两类服从同一正态分布，其协方差矩阵为
1.10.30.3 1.9??
∑= ?
??，均值向量分别为 12(0,0),(3,3)T T μμ==。试用贝叶斯分类器对向量 (1.0,2.2)T
x =进行分类。
4.25．假设在两类一维问题中
()
1|p x ω服从高斯分布
2
(,)μσN ，()2|p x ω服从a 到b 之间的均匀分布。证明贝叶斯错误概率的上限为
b a G G μμσσ--????
- ? ?
????，其中()()G x P y x ≡≤，并且y 服从高斯(0,1)N 分布。
4.26．证明随机向量ln((;))
k
p x θθ??的均值是0。
4.27．在掷硬币的游戏实验中，正面（1）出现的概率是q ，反面出现的概率是（1-q ）。设
i x ，i=1,2,…，
N 是这个实验的结果， {}0,1i x ∈，证明q 的最大似然估计是 11N
i
ML i N q x ==∑ 提示：
似然函数是：
()
()
11(;)1i
i
N
i x x P X q q q
-==-∏
证明ML 结果是下列方程的解 ()()
11i
i
i
i N i
i i i N x x q
q x x q q
-??-∑∑-= ?
?-?
?∑∑-
4.28．随机变量x 服从高斯
()
2,N μσ分布，μ未知。给定该变量的N 个观测值，设L （μ）为μ的对
数似然函数：()ln((;))L p x μμ=。试求该随机变量的Cramer-Rao 界：
()22L E μμ??
-????????。将该结果与μ的ML 估计值的方差进行比较，有何结论？假如这个未知参数是方差2
σ，结论又如何？。
4.29．证明假如似然函数是高斯函数有未知的均值μ，和协方差矩阵 ∑，然后ML 估计如下给出
1
1N
k
k N x
μ==
∑
11
T
N
k k k N
x x μμ=??∑=
- ??
???
-∑ ??
?
4.30．随机变量x 服从Erlang 分布，概率密度函数为
()()()
2;exp p x x x u x θθθ=-
其中u(x)是一个阶跃函数
()1
, 0
0, 0x u x x >?=?
假设x 的N 个观测值x 1，…，x N ，证明θ的最大似然估计为
12?
ML
N
k k N
x
θ==
∑
4.31．随机变量x 是服从正态分布
2
(,)
μσN ，其中未知参数 μ服从Rayleigh 分布，其概率密度函数
为
()22
2
exp(/2)
p μμμμσμσ-=
试证明μ的最大后验概率估计为
?(12MAP Z
R μ
=+
其中， 2
1
1
N
k
k Z x
σ
==
∑,
2
2
1
N
R μ
σσ
=
+
4.32. 证明对于对数正态分布
2
2
(),0
2
(ln)
p x x
x
σ
θ
??
?
=->
?
??
-
最大似然估计为
1
1
?ln
N
ML k
k
x
N
θ
=
=∑
4.33．若已知一个随机变量x的均值和方差：
()
xp x dx
μ+∞
-∞
=?
，
22
()()
x p x dx
σμ
+∞
-∞
=-
?
试证明，该随机变量概率密度函数的最大熵估计服从高斯分布
2
(,)
Nμσ
4.34．P为一个随机点x位于某区间h的概率。给定x的N个观测值，其中有k个落入区间h的概率服
从二项式分布：
{}()
!
!()!
1N k
k
N
prob k
k N k
P
P-
=
-
-
证明
[/]
E k N P
=，并且它的方差为22
[(/)](1)/
E k N P P P N
σ=-=-
而且这个概率估计P=k/N是无偏的和渐进一致的。
第五章特征提取与选择
5.1 设有M类模式ωi，i=1,2,...,M，试证明总体散布矩阵St是总类内散布矩阵Sw与类间散布矩阵Sb 之和，即St＝Sw＋Sb 。
5.2 下面哪个矩阵可以用在二维空间线性变换中，并保持马氏距离的特性？请解释原因。
??
?
?
?
?
-
=
1
1
1
2
A
；
??
?
?
?
?
=
1
1
1
2
B
；
??
?
?
?
?
-
=
1
5.0
5.0
1
C
5.3 Bhattacharyya可分性判据定义为
?Ω
-=x
d x p x p J B
2/121)]|()|([ln ωω
式中Ω表示特征空间。试证明，在最小误判概率准则判决下，最小最小误判概率有
)exp()]()([)(2/111B J P P e P -≤ωω 。
5.4 令x i ，i=1，2，3为独立的二值特征，且p(x i =1|ω1)=αi ，p(x i =1|ω2)=βi ，两类的先验概率相等，且αi ，βi 满足以下条件：
（1）αi <βi ，?i, (2) β1 - α1 >β2 - α2>β3 - α3 。
试证明各特征分别使用时之错误概率e(x i )满足：e(x 1)< e(x 2)< e(x 3) 。
5.5 按上题条件，试证明当两个特征合用时，其错误概率为
|]
)(|)(|)(|)()()([21
),(i i j j j j i i j i j i x e x e x e x e e x e ααβααβ------+=
请找出使),(),(3221x x e x x e <之条件。
5.6 同上题，如果给定
70.0,80.0,90.0,
01.0,05.0,10.0321321======βββααα
试计算),(),,(),,(),(),(),(323121321x x e x x e x x e x e x e x e 。
5.7 已知以下两类模式
ω1：{(0,0,0)T
，(1,0,0)T
，(1,0,1)T
，(1,1,0)T
} ω2：{(0,0,1)T
，(0,1,0)T
，(0,1,1)T
，(1,1,1)T
}
试用K-L 变换分别把特征空间维数降到d=2和d=1，并作图画出样本在该特征空间中的位置。 5.8 令
i ∑和 i P 分别是 i ω类（i=1,2）的协方差矩阵和先验概率。假设对数据进行了白化变换，即，使
I B S B w T =。这里，
∑∑=i
i
i w P S ，I 是单位矩阵。试证明矩阵 B B P T 11
∑和 B B P T 22∑所产生的K-L 坐标轴是相同的。若用 i Λ表示矩阵
B B P i T
i ∑的本征值矩阵，求证 21Λ-=ΛI 。
模式识别试题答案
模 式 识 别 非 学 位 课 考 试 试 题 考试科目： 模式识别 考试时间 考生姓名： 考生学号 任课教师 考试成绩 一、简答题（每题6分，12题共72分）： 1、 监督学习和非监督学习有什么区别？ 参考答案：当训练样本的类别信息已知时进行的分类器训练称为监督学习，或者由教师示范的学习；否则称为非监督学习或者无教师监督的学习。 2、 你如何理解特征空间？表示样本有哪些常见方法？ 参考答案：由利用某些特征描述的所有样本组成的集合称为特征空间或者样本空间，特征空间的维数是描述样本的特征数量。描述样本的常见方法：矢量、矩阵、列表等。 3、 什么是分类器？有哪些常见的分类器？ 参考答案：将特征空中的样本以某种方式区分开来的算法、结构等。例如：贝叶斯分类器、神经网络等。 4、 进行模式识别在选择特征时应该注意哪些问题？ 参考答案：特征要能反映样本的本质；特征不能太少，也不能太多；要注意量纲。 5、 聚类分析中，有哪些常见的表示样本相似性的方法？ 参考答案：距离测度、相似测度和匹配测度。距离测度例如欧氏距离、绝对值距离、明氏距离、马氏距离等。相似测度有角度相似系数、相关系数、指数相似系数等。 6、 你怎么理解聚类准则？ 参考答案：包括类内聚类准则、类间距离准则、类内类间距离准则、模式与类核的距离的准则函数等。准则函数就是衡量聚类效果的一种准则，当这种准则满足一定要求时，就可以说聚类达到了预期目的。不同的准则函数会有不同的聚类结果。 7、 一种类的定义是：集合S 中的元素x i 和x j 间的距离d ij 满足下面公式： ∑∑∈∈≤-S x S x ij i j h d k k )1(1 ，d ij ≤ r ，其中k 是S 中元素的个数，称S 对于阈值h ，r 组成一类。请说明， 该定义适合于解决哪一种样本分布的聚类？ 参考答案：即类内所有个体之间的平均距离小于h ，单个距离最大不超过r ，显然该定义适合团簇集中分布的样本类别。 8、 贝叶斯决策理论中，参数估计和非参数估计有什么区别？ 参考答案：参数估计就是已知样本分布的概型，通过训练样本确定概型中的一些参数；非参数估计就是未知样本分布概型，利用Parzen 窗等方法确定样本的概率密度分布规律。 9、 基于风险的统计贝叶斯决策理论中，计算代价[λij ]矩阵的理论依据是什么？假设这个矩阵是 M ?N ，M 和N 取决于哪些因素？
【模式识别】期末考试复习资料
题型： 1.填空题5题 填空题 2.名词解释4题 3.问答题4题 4.计算作图题3题 5.综合计算题1题 备注1：没有整理第一章和第六章，老师说不考的 备注2：非线性判别函数相关概念P69 概率相关定义、性质、公式P83以后 最小错误率贝叶斯决策公式P85 最小风险贝叶斯P86 正态贝叶斯P90 综合计算有可能是第六次作业 一、填空题 物以类聚人以群分体现的是聚类分析的基本思想。 模式识别分类：1.从实现方法来分模式识别分为监督分类和非监督分类；2.从理论上来分，有统计模式识别，统计模式识别，模糊模式识别，神经网络模式识别法 聚类分析是按照不同对象之间的差异，根据距离函数的规律做模式分类的。 模式的特性：可观察性、可区分性、相似性 模式识别的任务：一是研究生物体（包括人）是如何感知对象的，二是如何用计算机实现模式识别的理论和方法。 计算机的发展方向：1.神经网络计算机－－模拟人的大脑思维；2.生物计算机－－运用生物工程技术、蛋白分子作芯片； 3.光计算机－－用光作为信息载体，通过对光的处理来完成对信息的处理。 训练学习方法：监督学习、无监督学习（无先验知识，甚至类别数也未知）。 统计模式识别有：1.聚类分析法（非监督）；2.判决函数法/几何分类法(监督)；3.基于统计决策的概率分类法 - 以模式集在特征空间中分布的类概率密度函数为基础，对总体特征进行研究，以取得分类的方法 数据的标准化目的：消除各个分量之间数值范围大小对算法的影响 模式识别系统的基本构成：书P7 聚类过程遵循的基本步骤：特征选择；近邻测度；聚类准则；聚类算法；结果验证；结果判定。 相似测度基础：以两矢量的方向是否相近作为考虑的基础,矢量长度并不重要。 确定聚类准则的两种方式：阈值准则，函数准则 基于距离阈值的聚类算法——分解聚类：近邻聚类法；最大最小距离聚类法 类间距离计算准则:1）最短距离法2）最长距离法3）中间距离法4）重心法5）类平均距离法6）离差平方和法P24 系统聚类法——合并的思想 用于随机模式分类识别的方法，通常称为贝叶斯判决。 BAYES 决策常用的准则：最小错误率；最小风险 错误率的计算或估计方法：①按理论公式计算；②计算错误率上界；③实验估计。
模式识别试题
一、试问“模式”与“模式类”的含义。如果一位姓王的先生是位老年人，试问“王先生”和“老头”谁是模式，谁是模式类？ 二、试说明Mahalanobis距离平方的定义，到某点的Mahalanobis距离平方为常数的轨迹的几何意义，它与欧氏距离的区别与联系。 三、试说明用监督学习与非监督学习两种方法对道路图像中道路区域的划分的基本做法，以说明这两种学习方法的定义与它们间的区别。 四、试述动态聚类与分级聚类这两种方法的原理与不同。 五、如果观察一个时序信号时在离散时刻序列得到的观察量序列表示为，而该时序信号的内在状态序列表示成。如果计算在给定O条件下出现S的概 率，试问此概率是何种概率。如果从观察序列来估计状态序列的最大似然估计，这与Bayes 决策中基于最小错误率的决策有什么关系。 六、已知一组数据的协方差矩阵为，试问 1．协方差矩阵中各元素的含义。 2．求该数组的两个主分量。 3．主分量分析或称K-L变换，它的最佳准则是什么？ 4．为什么说经主分量分析后，消除了各分量之间的相关性。 七、试说明以下问题求解是基于监督学习或是非监督学习： 1. 求数据集的主分量非 2. 汉字识别有 3. 自组织特征映射非 4. CT图像的分割非 八、试列举线性分类器中最著名的三种最佳准则以及它们各自的原理。 九、在一两维特征空间，两类决策域由两条直线H1和H2分界， 其中 而包含H1与H2的锐角部分为第一类，其余为第二类。 试求： 1．用一双层感知器构造该分类器 2．用凹函数的并构造该分类器 十、设有两类正态分布的样本基于最小错误率的贝叶斯决策分界面，分别为X2=0，以及X1=3，其中两类的协方差矩阵，先验概率相等，并且有， 。 试求：以及。
华南理工大学《模式识别》(本科)复习资料
华南理工大学《模式识别》复习资料 CH1. 【Pattern Recognition Systems】 Data Acquisition & Sensing Measurements of physical variables Pre-processing Removal of noise in data Isolation of patterns of interest from the background (segmentation) Feature extraction Finding a new representation in terms of features Model learning / estimation Learning a mapping between features and pattern groups and categories Classification Using features and learned models to assign a pattern to a category Post-processing Evaluation of confidence in decisions Exploitation of context to improve performance Combination of experts 【Design Cycle】 【Learning strategies】 Supervised learning A teacher provides a category label or cost for each pattern in the training set Unsupervised learning The systems forms clusters or natural grouping of the input patterns Reinforcement learning No desired category is given but the teacher provides feedback to the system such as the decision is right or wrong 【Evaluation methods】 Independent Run A statistical method, also called Bootstrap. Repeat the experiment "n" times independently, and take the mean as the result. Cross-validation Dataset D is randomly divided into n disjoint sets D i of equal size n/m, where n is the number of samples in D i. Classifier is trained m times and each time with different set held out as a testing set CH2. 【Bayes formula】
模式识别试题及总结
一、填空与选择填空（本题答案写在此试卷上，30分） 1、模式识别系统的基本构成单元包括：模式采集、特征提取与选择 和模式分类。 2、统计模式识别中描述模式的方法一般使用特真矢量；句法模式识别中模式描述方法一般有串、树、网。 3、聚类分析算法属于（1）；判别域代数界面方程法属于（3）。 （1）无监督分类 (2)有监督分类（3）统计模式识别方法（4）句法模式识别方法 4、若描述模式的特征量为0-1二值特征量，则一般采用（4）进行相似性度量。 （1）距离测度（2）模糊测度（3）相似测度（4）匹配测度 5、下列函数可以作为聚类分析中的准则函数的有（1）（3）（4）。 （1）（2） (3) (4) 6、Fisher线性判别函数的求解过程是将N维特征矢量投影在（2）中进行。 （1）二维空间（2）一维空间（3）N-1维空间 7、下列判别域界面方程法中只适用于线性可分情况的算法有（1）；线性可分、不可分都适用的有（3）。 （1）感知器算法（2）H-K算法（3）积累位势函数法 8、下列四元组中满足文法定义的有（1）（2）（4）。 （1）({A, B}, {0, 1}, {A→01, A→ 0A1 , A→ 1A0 , B→BA , B→ 0}, A) （2）({A}, {0, 1}, {A→0, A→ 0A}, A) （3）({S}, {a, b}, {S → 00S, S → 11S, S → 00, S → 11}, S) （4）({A}, {0, 1}, {A→01, A→ 0A1, A→ 1A0}, A) 9、影响层次聚类算法结果的主要因素有（计算模式距离的测度、（聚类准则、类间距离门限、预定的 类别数目））。 10、欧式距离具有（ 1、2 ）；马式距离具有（1、2、3、4 ）。 （1）平移不变性（2）旋转不变性（3）尺度缩放不变性（4）不受量纲影响的特性 11、线性判别函数的正负和数值大小的几何意义是（正（负）表示样本点位于判别界面法向量指向的 正（负）半空间中；绝对值正比于样本点到判别界面的距离。）。 12、感知器算法1。 （1）只适用于线性可分的情况；（2）线性可分、不可分都适用。
模式识别与机器学习期末考查试题及参考答案(20210221222717)
模式识别与机器学习期末考查 试卷 研究生姓名：入学年份：导师姓名：试题1：简述模式识别与机器学习研究的共同问题和各自的研究侧重点。 答：（1）模式识别是研究用计算机来实现人类的模式识别能力的一门学科，是指对表征事物或现象的各种形式的信息进行处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程。主要集中在两方面，一是研究生物体（包括人）是如何感知客观事物的，二是在给定的任务下，如何用计算机实现识别的理论和方法。机器学习则是一门研究怎样用计算机来模拟或实现人类学习活动的学科，是研究如何使机器通过识别和利用现有知识来获取新知识和新技能。主要体现以下三方面：一是人类学习过程的认知模型；二是通用学习算法；三是构造面向任务的专用学习系统的方法。两者关心的很多共同问题，如：分类、聚类、特征选择、信息融合等，这两个领域的界限越来越模糊。机器学习和模式识别的理论和方法可用来解决很多机器感知和信息处理的问题，其中包括图像/ 视频分析（文本、语音、印刷、手写）文档分析、信息检索和网络搜索等。 （2）机器学习和模式识别是分别从计算机科学和工程的角度发展起来的，各自的研究侧重点也不同。模式识别的目标就是分类，为了提高分类器的性能，可能会用到机器学习算法。而机器学习的目标是通过学习提高系统性能，分类只是其最简单的要求，其研究更
侧重于理论，包括泛化效果、收敛性等。模式识别技术相对比较成熟了，而机器学习中一些方法还没有理论基础，只是实验效果比较好。许多算法他们都在研究，但是研究的目标却不同。如在模式识别中研究所关心的就是其对人类效果的提高，偏工程。而在机器学习中则更侧重于其性能上的理论证明。试题2：列出在模式识别与机器学习中的常用算法及其优缺点。答：（1）K 近邻法算法作为一种非参数的分类算法，它已经广泛应用于分类、 回归和模式识别等。在应用算法解决问题的时候，要注意的两个方面是样本权重和特征权重。 优缺点：非常有效，实现简单，分类效果好。样本小时误差难控制，存储所有样本，需要较大存储空间，对于大样本的计算量大。（2）贝叶斯决策法 贝叶斯决策法是以期望值为标准的分析法，是决策者在处理 风险型问题时常常使用的方法。 优缺点：由于在生活当中许多自然现象和生产问题都是难以完全准确预测的，因此决策者在采取相应的决策时总会带有一定的风险。贝叶斯决策法就是将各因素发生某种变动引起结果变动的概率凭统计资料或凭经验主观地假设，然后进一步对期望值进行分析，由于此概率并不能证实其客观性，故往往是主观的和人为的概率，本身带有一定的风险性和不肯定性。虽然用期望的大小进行判断有一些风险，但仍可以认为贝叶斯决策是一种兼科学性和实效性于一身的比较完善的用于解决风险型决策问题的方法，在实际中能够广泛应
中科院-模式识别考题总结(详细答案)
1.简述模式的概念及其直观特性，模式识别的分类，有哪几种方法。（6’） 答（1）：什么是模式？广义地说，存在于时间和空间中可观察的物体，如果我们可以区别它们是否相同或是否相似，都可以称之为模式。 模式所指的不是事物本身，而是从事物获得的信息，因此，模式往往表现为具有时间和空间分布的信息。 模式的直观特性：可观察性；可区分性；相似性。 答（2）：模式识别的分类： 假说的两种获得方法（模式识别进行学习的两种方法）： ●监督学习、概念驱动或归纳假说； ●非监督学习、数据驱动或演绎假说。 模式分类的主要方法： ●数据聚类：用某种相似性度量的方法将原始数据组织成有意义的和有用的各种数据 集。是一种非监督学习的方法，解决方案是数据驱动的。 ●统计分类：基于概率统计模型得到各类别的特征向量的分布，以取得分类的方法。 特征向量分布的获得是基于一个类别已知的训练样本集。是一种监督分类的方法， 分类器是概念驱动的。 ●结构模式识别：该方法通过考虑识别对象的各部分之间的联系来达到识别分类的目 的。（句法模式识别） ●神经网络：由一系列互相联系的、相同的单元（神经元）组成。相互间的联系可以 在不同的神经元之间传递增强或抑制信号。增强或抑制是通过调整神经元相互间联 系的权重系数来（weight）实现。神经网络可以实现监督和非监督学习条件下的分 类。 2.什么是神经网络？有什么主要特点？选择神经网络模式应该考虑什么因素？ （8’） 答（1）：所谓人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息处 理系统（计算机）。由于我们建立的信息处理系统实际上是模仿生理神经网络，因此称它为人工神经网络。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。 人工神经网络的两种操作过程：训练学习、正常操作（回忆操作）。 答（2）：人工神经网络的特点： ●固有的并行结构和并行处理； ●知识的分布存储； ●有较强的容错性； ●有一定的自适应性； 人工神经网络的局限性： ●人工神经网络不适于高精度的计算； ●人工神经网络不适于做类似顺序计数的工作； ●人工神经网络的学习和训练往往是一个艰难的过程； ●人工神经网络必须克服时间域顺序处理方面的困难； ●硬件限制； ●正确的训练数据的收集。 答（3）：选取人工神经网络模型，要基于应用的要求和人工神经网络模型的能力间的 匹配，主要考虑因素包括：
中科大模式识别试题
中国科学技术大学模式识别试题 （2012年春季学期） 姓名：学号：成绩： 一、填空与选择填空（本题答案写在此试卷上，30分） 1、模式识别系统的基本构成单元包括：、 和。 2、统计模式识别中描述模式的方法一般使用；句法模式识别中模式描述方法一般 有、、。 3、聚类分析算法属于；判别域代数界面方程法属于。 （1）无监督分类 (2)有监督分类（3）统计模式识别方法（4）句法模式识别方法 4、若描述模式的特征量为0-1二值特征量，则一般采用进行相似性度量。 （1）距离测度（2）模糊测度（3）相似测度（4）匹配测度 5、下列函数可以作为聚类分析中的准则函数的有。 （1） (4) 6、Fisher线性判别函数的求解过程是将N维特征矢量投影在中进行。 （1）二维空间（2）一维空间（3）N-1维空间 7、下列判别域界面方程法中只适用于线性可分情况的算法有；线性可分、不可分都适用的 有。 （1）感知器算法（2）H-K算法（3）积累位势函数法 8、下列四元组中满足文法定义的有。 （1）({A, B}, {0, 1}, {A→01, A→ 0A1 , A→ 1A0 , B→BA , B→ 0}, A) （2）({A}, {0, 1}, {A→0, A→ 0A}, A) （3）({S}, {a, b}, {S → 00S, S → 11S, S → 00, S → 11}, S) （4）({A}, {0, 1}, {A→01, A→ 0A1, A→ 1A0}, A) 二、(15分)简答及证明题 （1）影响聚类结果的主要因素有那些？ （2）证明马氏距离是平移不变的、非奇异线性变换不变的。 （3）画出对样本集 ω1：{(0,0,0)T, (1,0,0)T, (1,0,1)T, (1,1,0)T,} PDF 文件使用 "pdfFactory Pro" 试用版本创建https://www.wendangku.net/doc/fe14190535.html,
模式识别复习题1
模式识别 复习题 1. 简单描述模式识别系统的基本构成（典型过程）？ 2. 什么是监督模式识别（学习）？什么是非监督模式识别（学习）？ 对一副道路图像，希望把道路部分划分出来，可以采用以下两种方法： (1). 在该图像中分别在道路部分与非道路部分画出一个窗口，把在这两个窗口中的象素数据作为训练集，用某种判别准则求得分类器参数，再用该分类器对整幅图进行分类。 (2)．将整幅图的每个象素的属性记录在一张数据表中，然后用某种方法将这些数据按它们的自然分布状况划分成两类。因此每个象素就分别得到相应的类别号，从而实现了道路图像的分割。 试问以上两种方法哪一种是监督学习，哪个是非监督学习？ 3. 给出一个模式识别的例子。 4. 应用贝叶斯决策的条件是什么？列出几种常用的贝叶斯决策规 则，并简单说明其规则. 5. 分别写出在以下两种情况：（1）12(|)(|)P x P x ωω=；（2）12()() P P ωω=下的最小错误率贝叶斯决策规则。 6. （教材P17 例2.1） 7. （教材P20 例2.2），并说明一下最小风险贝叶斯决策和最小错误 率贝叶斯决策的关系。 8. 设在一维特征空间中有两类服从正态分布的样本， 12122,1,3,σσμμ====两类先验概率之比12(),() P e P ωω= 试确定按照最小错误率贝叶斯决策规则的决策分界面的x 值。
9. 设12{,,...,}N x x x =X 为来自点二项分布的样本集，即 1(,),0,1,01,1x x f x P P Q x P Q P -==≤≤=-，试求参数P 的最大似然估 计量?P 。 10. 假设损失函数为二次函数2??(,)()P P P P λ=-，P 的先验密度为均匀分布，即()1,01f P P =≤≤。在这样的假设条件下，求上题中的贝叶 斯估计量?P 。 11. 设12{,,...,}N x x x =X 为来自(|)p x θ的随机样本，其中0x θ≤≤时， 1 (|)p x θθ=，否则为0。证明θ的最大似然估计是max k k x 。 12. 考虑一维正态分布的参数估计。设样本（一维）12,,...,N x x x 都是由 独立的抽样试验采集的，且概率密度函数服从正态分布，其均值μ和方差2σ未知。求均值和方差的最大似然估计。 13. 设一维样本12{,,...,}N x x x =X 是取自正态分布2(,)N μσ的样本集，其中 均值μ为未知的参数，方差2σ已知。未知参数μ是随机变量，它的先验分布也是正态分布200(,)N μσ，200,μσ为已知。求μ的贝叶斯估计 ?μ 。 14. 什么是概率密度函数的参数估计和非参数估计？分别列去两种 参数估计方法和非参数估计方法。 15. 最大似然估计和Parzen 窗法的基本原理？
模式识别v试题库.doc
《模式识别》试题库 一、基本概念题 1.1 模式识别的三大核心问题是：、、。 1.2、模式分布为团状时，选用聚类算法较好。 1.3 欧式距离具有。马式距离具有。 （1）平移不变性（2）旋转不变性（3）尺度缩放不变性（4）不受量纲影响的特性 1.4 描述模式相似的测度有：。 （1）距离测度（2）模糊测度（3）相似测度（4）匹配测度 1.5 利用两类方法处理多类问题的技术途径有：（1）；（2）； （3）。其中最常用的是第个技术途径。 1.6 判别函数的正负和数值大小在分类中的意义 是：， 。 1.7 感知器算法。 （1）只适用于线性可分的情况；（2）线性可分、不可分都适用。 1.8 积累位势函数法的判别界面一般为。 （1）线性界面；（2）非线性界面。 1.9 基于距离的类别可分性判据有：。 （1） 1 [] w B Tr S S - （2） B W S S （3） B W B S S S + 1.10 作为统计判别问题的模式分类，在（）情况下，可使用聂曼-皮尔逊判决准则。 1.11 确定性模式非线形分类的势函数法中，位势函数K(x,x k)与积累位势函数K(x)的关系为 （）。 1.12 用作确定性模式非线形分类的势函数法，通常，两个n维向量x和x k的函数K(x,x k)若同时满足下列三个条件，都可作为势函数。 ①（）；
②（ ）； ③ K(x,x k )是光滑函数，且是x 和x k 之间距离的单调下降函数。 1.13 散度J ij 越大，说明ωi 类模式与ωj 类模式的分布（ ）。当ωi 类模式与ωj 类模式的分布相同时，J ij =（ ）。 1.14 若用Parzen 窗法估计模式的类概率密度函数，窗口尺寸h1过小可能产生的问题是（ ），h1过大可能产生的问题是（ ）。 1.15 信息熵可以作为一种可分性判据的原因 是： 。 1.16作为统计判别问题的模式分类，在（ ）条件下，最小损失判决规则与最小错误判决规则是等价的。 1.17 随机变量l(x ρ)=p( x ρ|ω1)/p( x ρ|ω2)，l( x ρ)又称似然比，则E {l( x ρ)|ω2}= （ ）。在最小误判概率准则下，对数似然比Bayes 判决规则为（ ）。 1.18 影响类概率密度估计质量的最重要因素是 （ ）。 1.19 基于熵的可分性判据定义为 )] |(log )|([1 x P x P E J i c i i x H ρ ρωω∑=-=，J H 越（ ），说明模式的 可分性越强。当P(ωi | x ρ) =（ ）(i=1,2,…,c)时，J H 取极大值。 1.20 Kn 近邻元法较之于Parzen 窗法的优势在于 （ ）。 上述两种算法的共同弱点主要是（ ）。 1.21 已知有限状态自动机Af=(∑，Q ，δ，q0，F)，∑={0，1}；Q={q0，q1}； δ：δ(q0，0)= q1，δ(q0，1)= q1，δ(q1，0)=q0，δ(q1，1)=q0；q0=q0；F={q0}。现有输入字符串：(a) 00011101011，(b) 1100110011，(c) 101100111000，(d)0010011，试问，用Af 对上述字符串进行分类的结果为（ ）。 1.22 句法模式识别中模式描述方法有： 。 （1）符号串 （2）树 （3）图 （4）特征向量
模式识别试题
《模式识别》试题答案（A卷） 一、填空与选择填空（本题答案写在此试卷上，30分） 1、影响层次聚类算法结果的主要因素有（计算模式距离的测度、（聚类准则、类间距离门限、预定 的类别数目））。 2、欧式距离具有（ 1、2 ）；马式距离具有（1、2、 3、4 ）。（1）平移不变性（2）旋转不 变性（3）尺度缩放不变性（4）不受量纲影响的特性 3、线性判别函数的正负和数值大小的几何意义是（正（负）表示样本点位于判别界面法向量指向的 正（负）半空间中；绝对值正比于样本点到判别界面的距离。）。 4、感知器算法1。（1）只适用于线性可分的情况；（2）线性可分、不可分都适用。 5、积累势函数法较之于H-K算法的优点是（该方法可用于非线性可分情况（也可用于线性可分情 况））；位势函数K(x,x k)与积累位势函数K(x)的关系为（ ∑ ∈ = X x x x K x K ~ k k k ) , ( ) ( α ）。 6、在统计模式分类问题中，聂曼-皮尔逊判决准则主要用于（某一种判决错误较另一种判决错误更 为重要）情况；最小最大判决准则主要用于（先验概率未知的）情况。 7、“特征个数越多越有利于分类”这种说法正确吗？（错误）。特征选择的主要目的是（从n个特 征中选出最有利于分类的的m个特征（m
最新模式识别复习要点和参考习题
复习要点 绪论 1、举出日常生活或技术、学术领域中应用模式识别理论解决问题的实例。 答：我的本科毕设内容和以后的研究方向为重症监护病人的状态监测与预诊断，其中的第一步就是进 行ICU病人的死亡率预测，与模式识别理论密切相关。主要的任务是分析数据库的8000名ICU病人，统计 分析死亡与非死亡的生理特征，用于分析预测新进ICU病人的病情状态。 按照模式识别的方法步骤，首先从数据库中采集数据，包括病人的固有信息，生理信息，事件信息等并分为死亡组和非死亡组，然后分别进行数据的预处理，剔除不正常数据，对数据进行插值并取中值进行第一次特征提取，然后利用非监督学习的方法即聚类分析进行第二次特征提取，得到训练样本集和测试样本集。分别利用判别分析，人工神经网络，支持向量机的方法进行训练，测试，得到分类器，实验效果比传统ICU 中采用的评价预测系统好一些。由于两组数据具有较大重叠，特征提取，即提取模式特征就变得尤为重要。语音识别，图像识别，车牌识别，文字识别，人脸识别，通信中的信号识别； ① 文字识别 汉字已有数千年的历史，也是世界上使用人数最多的文字，对于中华民族灿烂文化的形成和发展有着不可 磨灭的功勋。所以在信息技术及计算机技术日益普及的今天，如何将文字方便、快速地输入到计算机中已 成为影响人机接口效率的一个重要瓶颈，也关系到计算机能否真正在我过得到普及的应用。目前，汉字输 入主要分为人工键盘输入和机器自动识别输入两种。其中人工键入速度慢而且劳动强度大；自动输入又分 为汉字识别输入及语音识别输入。从识别技术的难度来说，手写体识别的难度高于印刷体识别，而在手写 体识别中，脱机手写体的难度又远远超过了联机手写体识别。到目前为止，除了脱机手写体数字的识别已 有实际应用外，汉字等文字的脱机手写体识别还处在实验室阶段。 ②语音识别 语音识别技术技术所涉及的领域包括：信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人 工智能等等。近年来，在生物识别技术领域中，声纹识别技术以其独特的方便性、经济性和准确性等优势 受到世人瞩目，并日益成为人们日常生活和工作中重要且普及的安验证方式。而且利用基因算法训练连续 隐马尔柯夫模型的语音识别方法现已成为语音识别的主流技术，该方法在语音识别时识别速度较快，也有 较高的识别率。 ③ 指纹识别 我们手掌及其手指、脚、脚趾内侧表面的皮肤凹凸不平产生的纹路会形成各种各样的图案。而这些皮肤的 纹路在图案、断点和交叉点上各不相同，是唯一的。依靠这种唯一性，就可以将一个人同他的指纹对应起 来，通过比较他的指纹和预先保存的指纹进行比较，便可以验证他的真实身份。一般的指纹分成有以下几 个大的类别:环型(loop),螺旋型(whorl),弓型(arch),这样就可以将每个人的指纹分别归类，进行检索。指 纹识别基本上可分成：预处理、特征选择和模式分类几个大的步骤。 ③ 遥感 遥感图像识别已广泛用于农作物估产、资源勘察、气象预报和军事侦察等。 ④医学诊断 在癌细胞检测、X射线照片分析、血液化验、染色体分析、心电图诊断和脑电图诊断等方面，模式识别已取 得了成效。
模式识别试题2
《模式识别》试题库 一、基本概念题 1模式识别的三大核心问题是：（ ）、（ ）、（ ）。 2、模式分布为团状时，选用（ ）聚类算法较好。 3 欧式距离具有（ ）。马式距离具有（ ）。（1）平移不变性（2）旋转不 变性（3）尺度缩放不变性（4）不受量纲影响的特性 4 描述模式相似的测度有( )。（1）距离测度 （2）模糊测度 （3）相似测度 （4） 匹配测度 5 利用两类方法处理多类问题的技术途径有：（1） （2） （3） 。其中最常用的是第( )个技术途径。 6 判别函数的正负和数值大小在分类中的意义是：( )。 7 感知器算法 ( )。（1）只适用于线性可分的情况；（2）线性可分、不可分都适用。 8 积累位势函数法的判别界面一般为( )。（1）线性界面；（2）非线性界面。 9 基于距离的类别可分性判据有：( ).（1）1[]w B Tr S S - （2） B W S S （3） B W B S S S + 10 作为统计判别问题的模式分类，在（ ）情况下，可使用聂曼-皮尔逊判决准则。 11 确定性模式非线形分类的势函数法中，位势函数K(x,xk)与积累位势函数K(x)的关系为 （ ）。 12 用作确定性模式非线形分类的势函数法，通常，两个n 维向量x 和xk 的函数K(x,xk)若 同时满足下列三个条件，都可作为势函数。①（ ）； ②（ ）；③ K(x,xk)是光滑函数，且是x 和xk 之间距离的单调下降函数。 13 散度Jij 越大，说明i 类模式与j 类模式的分布（ ）。当i 类 模式与j 类模式的分布相同时，Jij=（ ）。 14 若用Parzen 窗法估计模式的类概率密度函数，窗口尺寸h1过小可能产生的问题是 （ ），h1过大可能产生的问题是（ ）。 15 信息熵可以作为一种可分性判据的原因是：( )。 16作为统计判别问题的模式分类，在（ ）条件下，最小损失判决规则与最 小错误判决规则是等价的。 17 随机变量l(x )=p(x 1)/p(x 2)，l(x )又称似然比，则E l( x )2= （ ）。在最小误判概率准则下，对数似然比Bayes 判决规则为 （ ）。 18 影响类概率密度估计质量的最重要因素（ ）。 19 基于熵的可分性判据定义为)]|(log )|([1x P x P E J i c i i x H ωω∑=-=，JH 越（ ），说 明模式的可分性越强。当P(i| x ) =（ ）(i=1,2,…,c)时，JH 取极大值。 20 Kn 近邻元法较之于Parzen 窗法的优势在于（ ）。上 述两种算法的共同弱点主要是（ ）。 21 已知有限状态自动机Af=(，Q ，，q0，F)，={0，1}；Q={q0，q1}；：(q0， 0)= q1，(q0，1)= q1，(q1，0)=q0，(q1，1)=q0；q0=q0；F={q0}。 现有输入字符串：(a) 000，(b) 11，(c) ，(d)0010011，试问，用Af 对上述字符串进行分
模式识别习题集答案解析
1、PCA和LDA的区别？ PCA是一种无监督的映射方法，LDA是一种有监督的映射方法。PCA只是将整组数据映射到最方便表示这组数据的坐标轴上，映射时没有利用任何数据部的分类信息。因此，虽然做了PCA后，整组数据在表示上更加方便（降低了维数并将信息损失降到了最低），但在分类上也许会变得更加困难；LDA在增加了分类信息之后，将输入映射到了另外一个坐标轴上，有了这样一个映射，数据之间就变得更易区分了（在低纬上就可以区分，减少了很大的运算量），它的目标是使得类别的点距离越近越好，类别间的点越远越好。 2、最大似然估计和贝叶斯方法的区别？p(x|X)是概率密度函数，X是给定的训练样本的集合，在哪种情况下，贝叶斯估计接近最大似然估计？ 最大似然估计把待估的参数看做是确定性的量，只是其取值未知。利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值(模型已知，参数未知）。贝叶斯估计则是把待估计的参数看成是符合某种先验概率分布的随机变量。对样本进行观测的过程，把先验概率密度转化为后验概率密度，利用样本的信息修正了对参数的初始估计值。 当训练样本数量趋于无穷的时候，贝叶斯方法将接近最大似然估计。如果有非常多的训练样本，使得p(x|X)形成一个非常显著的尖峰，而先验概率p(x)又是均匀分布，此时两者的本质是相同的。 3、为什么模拟退火能够逃脱局部极小值？ 在解空间随机搜索，遇到较优解就接受，遇到较差解就按一定的概率决定是否接受，这个概率随时间的变化而降低。实际上模拟退火算法也是贪心算法，只不过它在这个基础上增加了随机因素。这个随机因素就是：以一定的概率来接受一个比单前解要差的解。通过这个随机因素使得算法有可能跳出这个局部最优解。 4、最小错误率和最小贝叶斯风险之间的关系？ 基于最小风险的贝叶斯决策就是基于最小错误率的贝叶斯决策，换言之，可以把基于最小错误率决策看做是基于最小风险决策的一个特例，基于最小风险决策本质上就是对基于最小错误率公式的加权处理。 5、SOM的主要功能是什么？怎么实现的？是winner-all-take-all 策略吗？ SOM是一种可以用于聚类的神经网络模型。 自组织映射（SOM）或自组织特征映射（SOFM）是一种使用非监督式学习来产生训练样本的输入空间的一个低维（通常是二维）离散化的表示的人工神经网络（ANN）。自组织映射与其他人工神经网络的不同之处在于它使用一个邻近函数来保持输入控件的拓扑性质。SOM网络中, 某个输出结点能对某一类模式作出特别的反应以代表该模式类, 输出层上相邻的结点能对实际模式分布中相近的模式类作出特别的反映,当某类数据模式输入时, 对某一输出结点产生最大刺激( 获胜结点) , 同时对获胜结点周围的一些结点产生较大刺激。在训练的过程中, 不断对获胜结点的连接权值作调整, 同时对获胜结点的邻域结点的连接权值作调整; 随着训练的进行, 这个邻域围不断缩小, 直到最后, 只对获胜结点进行细微的连接权值调整。 不是winner-all-take-all 策略。获胜结点产生刺激，其周围的结点也会产生一定程度的兴奋。 6、期望算法需要哪两步？请列出可能的公式并做必要的解释。 E-Step和M-Step。E-Step叫做期望化步骤，M-Step为最大化步骤。 整体算法的步骤如下所示： 1、初始化分布参数。 2、(E-Step)计算期望E，利用对隐藏变量的现有估计值，计算其最大似然估计值，以此实现期望化的过程。 3、(M-Step)最大化在E-步骤上的最大似然估计值来计算参数的值
《模式识别》试题库
《模式识别》试题库 一、基本概念题 1.1 模式识别的三大核心问题是： 、 。 1.2、模式分布为团状时，选用 聚类算法较好。 1.3 欧式距离具有 。 马式距离具有 。 （1）平移不变性 （2）旋转不变性 （3）尺度缩放不变性 （4）不受量纲影响的特性 1.4 描述模式相似的测度有： 。 （1）距离测度 （2）模糊测度 （3）相似测度 （4）匹配测度 1.5 利用两类方法处理多类问题的技术途径有：（1） ；（2） ； （3） 。其中最常用的是第 个技术途径。 1.6 判别函数的正负和数值大小在分类中的意义是： ， 。 1.7 感知器算法 。 （1）只适用于线性可分的情况；（2）线性可分、不可分都适用。 1.8 积累位势函数法的判别界面一般为 。 （1）线性界面；（2）非线性界面。 1.9 基于距离的类别可分性判据有： 。 （1）1[]w B Tr S S - （2） B W S S （3）B W B S S S + 1.10 作为统计判别问题的模式分类，在（ ）情况下，可使用聂曼-皮尔逊判决准则。
1.11 确定性模式非线形分类的势函数法中，位势函数K(x,x k )与积累位势函数K(x)的关系为（ ）。 1.12 用作确定性模式非线形分类的势函数法，通常，两个n 维向量x 和x k 的函数K(x,x k )若同时满足下列三个条件，都可作为势函数。 ①（ ）； ②（ ）； ③ K(x,x k )是光滑函数，且是x 和x k 之间距离的单调下降函数。 1.13 散度J ij 越大，说明ωi 类模式与ωj 类模式的分布（ ）。当ωi 类模式与ωj 类模式的分布相同时，J ij =（ ）。 1.14 若用Parzen 窗法估计模式的类概率密度函数，窗口尺寸h1过小可能产生的问题是（ ），h1过大可能产生的问题是（ ）。 1.15 信息熵可以作为一种可分性判据的原因 是： 。 1.16作为统计判别问题的模式分类，在（ ）条件下，最小损失判决规则与最小错误判决规则是等价的。 1.17 随机变量l(x )=p(x |ω1)/p(x |ω2)，l(x )又称似然比，则 E {l(x )|ω2}=（ ）。在最小误判概率准则下，对数似然比Bayes 判决规则为（ ）。 1.18 影响类概率密度估计质量的最重要因素是 （ ）。
大学模式识别考试题及答案详解
大学模式识别考试题及答 案详解 Last revision on 21 December 2020
一、填空与选择填空（本题答案写在此试卷上，30分） 1、模式识别系统的基本构成单元包括：模式采集、特征提取与选择 和模式分类。 2、统计模式识别中描述模式的方法一般使用特真矢量；句法模式识别中模式描述方法一般有串、树、网。 3、聚类分析算法属于（1）；判别域代数界面方程法属于（3）。 （1）无监督分类 (2)有监督分类（3）统计模式识别方法（4）句法模式识别方法 4、若描述模式的特征量为0-1二值特征量，则一般采用（4）进行相似性度量。 （1）距离测度（2）模糊测度（3）相似测度（4）匹配测度 5、下列函数可以作为聚类分析中的准则函数的有（1）（3）（4）。 （1）（2） (3) (4) 6、Fisher线性判别函数的求解过程是将N维特征矢量投影在（2）中进行。 （1）二维空间（2）一维空间（3）N-1维空间 7、下列判别域界面方程法中只适用于线性可分情况的算法有（1）；线性可分、不可分都适用的有（3）。 （1）感知器算法（2）H-K算法（3）积累位势函数法 8、下列四元组中满足文法定义的有（1）（2）（4）。 （1）({A, B}, {0, 1}, {A01, A 0A1 , A 1A0 , B BA , B 0}, A) （2）({A}, {0, 1}, {A0, A 0A}, A) （3）({S}, {a, b}, {S 00S, S 11S, S 00, S 11}, S) （4）({A}, {0, 1}, {A01, A 0A1, A 1A0}, A) 二、(15分)简答及证明题 （1）影响聚类结果的主要因素有那些 （2）证明马氏距离是平移不变的、非奇异线性变换不变的。
模式识别习题及答案
第一章 绪论 1.什么是模式？具体事物所具有的信息。 模式所指的不是事物本身，而是我们从事物中获得的___信息__。 2.模式识别的定义？让计算机来判断事物。 3.模式识别系统主要由哪些部分组成？数据获取—预处理—特征提取与选择—分类器设计/ 分类决策。 第二章 贝叶斯决策理论 1.最小错误率贝叶斯决策过程？ 答：已知先验概率，类条件概率。利用贝叶斯公式 得到后验概率。根据后验概率大小进行决策分析。 2.最小错误率贝叶斯分类器设计过程？ 答：根据训练数据求出先验概率 类条件概率分布 利用贝叶斯公式得到后验概率 如果输入待测样本X ，计算X 的后验概率根据后验概率大小进行分类决策分析。 3.最小错误率贝叶斯决策规则有哪几种常用的表示形式？ 答： 4.贝叶斯决策为什么称为最小错误率贝叶斯决策？ 答：最小错误率Bayes 决策使得每个观测值下的条件错误率最小因而保证了（平均）错误率 最小。Bayes 决策是最优决策：即，能使决策错误率最小。 5.贝叶斯决策是由先验概率和（类条件概率）概率，推导（后验概率）概率，然后利用这个概率进行决策。 6.利用乘法法则和全概率公式证明贝叶斯公式 答：∑====m j Aj p Aj B p B p A p A B p B p B A p AB p 1) ()|()() ()|()()|()(所以推出贝叶斯公式 7.朴素贝叶斯方法的条件独立假设是（P(x| ωi) =P(x1, x2, …, xn | ωi) = P(x1| ωi) P(x2| ωi)… P(xn| ωi)） 8.怎样利用朴素贝叶斯方法获得各个属性的类条件概率分布？ 答：假设各属性独立，P(x| ωi) =P(x1, x2, …, xn | ωi) = P(x1| ωi) P(x2| ωi)… P(xn| ωi) 后验概率：P(ωi|x) = P(ωi) P(x1| ωi) P(x2| ωi)… P(xn| ωi) 类别清晰的直接分类算，如果是数据连续的，假设属性服从正态分布，算出每个类的均值方差，最后得到类条件概率分布。 均值：∑==m i xi m x mean 11)( 方差：2)^(11)var(1∑=--=m i x xi m x 9.计算属性Marital Status 的类条件概率分布 给表格计算，婚姻状况几个类别和分类几个就求出多少个类条件概率。 ???∈>=<2 11221_,)(/)(_)|()|()(w w x w p w p w x p w x p x l 则如果∑==21 )()|()()|()|(j j j i i i w P w x P w P w x P x w P 2,1),(=i w P i 2,1),|(=i w x p i ∑==2 1)()|()()|()|(j j j i i i w P w x P w P w x P x w P ∑=== M j j j i i i i i A P A B P A P A B P B P A P A B P B A P 1) ()| ()()|()()()|()|(