基于马氏距离的TOPSIS决策方法及其应用

求马氏距离_matlab解法

求马氏距离（Mahalanobis distance ）--matlab版方法一： X = [1 2; 1 3; 2 2; 3 1]; [mx,nx] = size(X); Dis = ones(mx,nx); Cov = cov(X); for i=1:mx for j=1:nx D(i,j)=((X(i,:)-X(j,:))*inv(C)*(X(i,:)-X(j,:))')^0.5; end end D >> X X = 1 2 1 3 2 2 3 1 >> D D = 0 2.3452 2.0000 2.3452 2.3452 0 1.2247 2.4495 2.0000 1.2247 0 1.2247

2.3452 2.4495 1.2247 0 >> 2.3452 X的第一行向量与第二行向量之间的马氏距离。 2.0000 X的第一行向量与第三行向量之间的马氏距离。 。。。 方法二： X = [1 2; 1 3; 2 2; 3 1] X = 1 2 1 3 2 2 3 1 Y = pdist(X,'mahal') Y = 2.3452 2.0000 2.3452 1.2247 2.4495 1.2247 function d = mahalanobis(X, Mu, C) %MAHALANOBIS Mahalanobis distance. % D = MAHALANOBIS(X, MU, C) returns the Mahalanobis distance between % the length p vectors X and MU given the p by p covariance matrix % C. If omitted, it is assumed that C is the identity matrix(单位矩阵/恒等矩阵) % EYE(p). If either X or MU is an n by p matrix, D will be returned % as an n by g matrix where n is the number of rows in X and g is % the number of rows in MU where each entry i, j corresponds to the % mahalanobis distance between row i of X and row j of MU. If MU is % simply 0, it is treated as the origin from which Mahalanobis % distance to X is calculated. C must be a positive, definite, % symmetric matrix. % % The Mahalanobis distance between vectors X(i,:) and MU(j,:) is % defined as: % % D(i,j) = ((X(i,:) - MU(j,:))'*INV(C)*(X(i,:) - MU(j,:))).^(1/2)

判别分析-四种方法

第六章 判别分析 §6.1 什么是判别分析 判别分析是判别样品所属类型的一种统计方法，其应用之广可与回归分析媲美。 在生产、科研和日常生活中经常需要根据观测到的数据资料，对所研究的对象进行分类。例如在经济学中，根据人均国民收入、人均工农业产值、人均消费水平等多种指标来判定一个国家的经济发展程度所属类型；在市场预测中，根据以往调查所得的种种指标，判别下季度产品是畅销、平常或滞销；在地质勘探中，根据岩石标本的多种特性来判别地层的地质年代，由采样分析出的多种成份来判别此地是有矿或无矿，是铜矿或铁矿等；在油田开发中，根据钻井的电测或化验数据，判别是否遇到油层、水层、干层或油水混合层；在农林害虫预报中，根据以往的虫情、多种气象因子来判别一个月后的虫情是大发生、中发生或正常； 在体育运动中，判别某游泳运动员的“苗子”是适合练蛙泳、仰泳、还是自由泳等；在医疗诊断中，根据某人多种体验指标（如体温、血压、白血球等）来判别此人是有病还是无病。总之，在实际问题中需要判别的问题几乎到处可见。 判别分析与聚类分析不同。判别分析是在已知研究对象分成若干类型（或组别）并已取得各种类型的一批已知样品的观测数据，在此基础上根据某些准则建立判别式，然后对未知类型的样品进行判别分类。对于聚类分析来说，一批给定样品要划分的类型事先并不知道，正需要通过聚类分析来给以确定类型的。 正因为如此，判别分析和聚类分析往往联合起来使用，例如判别分析是要求先知道各类总体情况才能判断新样品的归类，当总体分类不清楚时，可先用聚类分析对原来的一批样品进行分类，然后再用判别分析建立判别式以对新样品进行判别。 判别分析内容很丰富，方法很多。判别分析按判别的组数来区分，有两组判别分析和多组判别分析；按区分不同总体的所用的数学模型来分，有线性判别和非线性判别；按判别时所处理的变量方法不同，有逐步判别和序贯判别等。判别分析可以从不同角度提出的问题，因此有不同的判别准则，如马氏距离最小准则、Fisher 准则、平均损失最小准则、最小平方准则、最大似然准则、最大概率准则等等，按判别准则的不同又提出多种判别方法。本章仅介绍四种常用的判别方法即距离判别法、Fisher 判别法、Bayes 判别法和逐步判别法。 §6.2 距离判别法 基本思想：首先根据已知分类的数据，分别计算各类的重心即分组（类）的均值，判别准则是对任给的一次观测，若它与第i 类的重心距离最近，就认为它来自第i 类。 距离判别法，对各类（或总体）的分布，并无特定的要求。 1 两个总体的距离判别法 设有两个总体（或称两类）G 1、G 2，从第一个总体中抽取n 1个样品，从第二个总体中抽取n 2个样品，每个样品测量p 个指标如下页表。 今任取一个样品，实测指标值为),,(1'=p x x X ，问X 应判归为哪一类？ 首先计算X 到G 1、G 2总体的距离，分别记为),(1G X D 和),(2G X D ，按距离最近准则

判别分析实例

例：人文与发展指数是联合国开发计划署于1990年5月发表的第一份《人类发展报告》中公布的。该报告建议，目前对人文发展的衡量指标应当以人生的三大要素为重点。衡量人生的三大要素的指标分别为：实际人均GDP指数、出生时的预期寿命指数、受教育程度指数（由成人识字率指数和综合总人学率指数按2/3、1/3的权重加权而得），将一生三个指数合成为一个指数就是人文发展指数。今从2007年世界各国人文发展指数（2005年）的排序中，选取高发展水平、中等发展水平和低发展水平国家各6个作为三组样品，另选四个国家作为待判样品，资料如下表所示。试用判别分析过程对以下数据资料进行判别分析，并据此对待选的四个国家进行判别归类。

data develop; input type gdp life rate zhrate@@; cards; 1 41890 77.9 99.5 93.3 1 29461 79.1 99. 2 88 1 23381 78.9 96 99 1 29663 79.4 92.5 87.3 1 28529 80.3 98.4 90.6 1 22029 77.9 99 96 2 6000 77.7 99.8 87.6 2 9060 71.9 97. 3 76.8 2 8402 71.7 88.6 87.5 2 8677 69.6 92.6 71.2 2 5137 71 92.6 81.1 2 8407 71.4 87.4 68.7 3 1550 62.6 48.6 58.1 3 1128 46.5 69.1 56.2 3 2299 49.8 67.9 62.3 3 2370 64.6 49.9 40 3 3071 73.7 90.3 63.9 3 3843 69.7 90. 4 68.2 . 31267 82.3 99 85.9 . 3452 63.7 61 63.8 . 6757 72.5 90.9 69.1 . 11110 50.8 82.4 77 ; proc discrim simple wcov distance list;/*simple:要求技术各类样品的简单描述统计量；选项WCOV要求计算类内协方差阵；选项DISTANCE要求计算马氏距离；选项LIST要求输出重复替换归类结果。由于没有给出方法选项，所以系统按缺省时的正态分布进行有关参数的估计和归类。*/ class type; var gdp life rate zhrate; run; proc discrim pool=test slpool=0.05list; /*simple: */ class type; priors'1'=0.3'2'=0.4'3'=0.3 ; run; proc discrim method=npar k=2list; /*simple: */ class type; run; proc candisc out=result ncan=2; /*simple: */

多个总体距离判别法(DOC)

多个总体距离判别法 及其应用 课程名： 年级： 专业： 姓名： 学号：

目录 一、摘要 (1) 二、引言 (1) 三、原理 (1) 3.1定义 (1) 3.2思想 (1) 3.3判别分析过程 (1) 四、具体应用 (3) 4.1判别分析在医学上的应用 (3) 4.2距离判别法在居民生活水平方面的应用 (9) 4.3判别分析软件的使用 (12) 五、参考文献 (14) 六、附录 (15)

一、 摘要 近年来随着信息化社会的进行，数据分析对我们来说日趋重要，为了对数据的分类进行判别，本文介绍了数据分类判别的一种方法：距离判别法。本文从多个总体距离判别法理论出发并结合例题详细介绍了多个总体距离判别法的在医学领域以及居民生活水平方面的应用，同时也简单介绍了spss 软件一般判别法的具体操作。 关键词： 距离判别法 判别分析 一般判别分析 二、 引言 随着科技的发展，判别分析在经济，医学等很多领域以及气候分类，农业区划，土地类型划分等有着重要的应用， 本文从多个总体距离判别分析理论出发，介绍了多个总体距离判别法在医学以及人民生活方面的应用，并介绍了spss 一般判别分析的应用。 三、 原理 3.1 定义 距离判别法：距离判别分析方法是判别样品所属类别的一应用性很强的多因素决方法，其中包括两个样本总体距离判别法，多个样本距离判别法。 多个总体距离判别法：多个总体距离判别法是距离判别法的一种，是两个总体距离判别法的推广，具有多个总体，将待测样本归为多个样本中的一类。 3.2 思想 计算待测样本与各总体之间的距离，将待测样本归为与其距离最进的一类。 3.3 判别分析过程 对于k 个总体k 21G G G ?， ，，假设其均值分别为：k 21u u u ，，，?，协方差阵

判别分析实例汇总

判别分析实例汇总

例：人文与发展指数是联合国开发计划署于1990年5月发表的第一份《人类发展报告》中公布的。该报告建议，目前对人文发展的衡量指标应当以人生的三大要素为重点。衡量人生的三大要素的指标分别为：实际人均GDP指数、出生时的预期寿命指数、受教育程度指数（由成人识字率指数和综合总人学率指数按2/3、1/3的权重加权而得），将一生三个指数合成为一个指数就是人文发展指数。今从2007年世界各国人文发展指数（2005年）的排序中，选取高发展水平、中等发展水平和低发展水平国家各6个作为三组样品，另选四个国家作为待判样品，资料如下表所示。试用判别分析过程对以下数据资料进行判别分析，并据此对待选的四个国家进行判别归类。

data develop; input type gdp life rate zhrate@@; cards; 1 41890 77.9 99.5 93.3 1 29461 79.1 99. 2 88 1 23381 78.9 96 99 1 29663 79.4 92.5 87.3 1 28529 80.3 98.4 90.6 1 22029 77.9 99 96 2 6000 77.7 99.8 87.6 2 9060 71.9 97. 3 76.8 2 8402 71.7 88.6 87.5 2 8677 69.6 92.6 71.2 2 5137 71 92.6 81.1 2 8407 71.4 87.4 68.7 3 1550 62.6 48.6 58.1 3 1128 46.5 69.1 56.2

3 2299 49.8 67.9 62.3 3 2370 64.6 49.9 40 3 3071 73.7 90.3 63.9 3 3843 69.7 90. 4 68.2 . 31267 82.3 99 85.9 . 3452 63.7 61 63.8 . 6757 72.5 90.9 69.1 . 11110 50.8 82.4 77 ; proc discrim simple wcov distance list;/*simple:要求技术各类样品的简单描述统计量；选项WCOV要求计算类内协方差阵；选项DISTANCE要求计算马氏距离；选项LIST要求输出重复替换归类结果。由于没有给出方法选项，所以系统按缺省时的正态分布进行有关参数的估计和归类。*/ class type; var gdp life rate zhrate; run; proc discrim pool=test slpool=0.05list; /*simple: */ class type; priors'1'=0.3'2'=0.4'3'=0.3 ; run; proc discrim method=npar k=2list; /*simple: */ class type; run; proc candisc out=result ncan=2; /*simple: */ class type; var gdp life rate zhrate; run; proc gplot data=reult; plot can1*can2=type; run; proc discrim data=result distance list; class type; var can1 can2; run; 表1 已知样本分类水平信息

模式识别-马氏距离论证

马氏距离 一、 马氏距离的定义 马氏距离是由印度统计学家马哈拉诺比斯（P . C. Mahalanobis ）提出的，表示数据的协方差距离。它是一种有效的计算两个未知样本集的相似度的方法。 定义1： 两个服从同一分布G 并且其协方差矩阵为Σ的随机变量 x 与 y 的差异程度：。 定义2： 设分布G 均值为()12=,,,T p μμμμK ，协方差矩阵为Σ的多变量向量为()12x=,,,T p x x x K ，其马氏距离为 。 说到马氏距离，不得不说的就是欧式距离，它是马氏距离的一种特殊情况： ，即协方差矩阵为单位矩阵Σ=I 。 有人形象的解释了“马氏距离”与“欧式距离”的几何区别：欧式距离就好比一个参照值，它表征的是当所有类别等概率出现的情况下，类别之间的距离。此时决策面中心点的位置就是两个类别中心的连线的中点。如图1所示。而当类别先验概率并不相等时，显然，如果仍然用中垂线作为决策线是不合理的，将出现判别错误（绿色类的点被判别为红色类），假设图1中绿色类别的先验概率变大，那么决策线将左移，如图2黄线。左移的具体位置，就是通过马氏距

离来获得的。马氏距离中引入的协方差参数，表征的是点的稀密程度。 二、 距离表达式各部分的含义和来历 若用通用的平方表达式表示： 21()() : : :T D X M C X M X M C ?=??其中，模式向量 均值向量 该类模式总体的协方差矩阵 三、 举例说明马氏距离的意义 欧氏距离是定义在两个点之间的距离，维度的多少，并不会使得欧氏距离的公式更复杂。它背后的思想，就是认为多维空间是各向同性的，往哪个方向走某一距离，意义都一样。 而马氏距离与欧氏距离的唯一区别，就是它认为空间是各向异性的。各向异性的具体参数，是由一个协方差矩阵表示的。把这个协方差矩阵考虑成一个多维正态分布的协方差阵，则这个分布的密度函数的等高线，就是个椭圆。 多维正态分布的密度函数（如下图）：

马氏距离

协方差矩阵, 相关系数矩阵 变量说明： 设为一组随机变量，这些随机变量构成随机向量 ，每个随机变量有m个样本，则有样本矩阵 （1） 其中对应着每个随机向量X的样本向量，对应着第i个随机单变量的所有样本值构成的向量。 单随机变量间的协方差： 随机变量之间的协方差可以表示为 （2） 根据已知的样本值可以得到协方差的估计值如下： （3） 可以进一步地简化为： （4）

协方差矩阵： （5） 其中，从而得到了协方差矩阵表达式。 如果所有样本的均值为一个零向量，则式（5）可以表达成： （6） 补充说明：

1、协方差矩阵中的每一个元素是表示的随机向量X的不同分量之间的协方差， 而不是不同样本之间的协方差，如元素C ij 就是反映的随机变量X i , X j 的协方 差。 2、协方差是反映的变量之间的二阶统计特性，如果随机向量的不同分量之间的 相关性很小，则所得的协方差矩阵几乎是一个对角矩阵。对于一些特殊的应用场合，为了使随机向量的长度较小，可以采用主成分分析的方法，使变换之后的变量的协方差矩阵完全是一个对角矩阵，之后就可以舍弃一些能量较小的分量了（对角线上的元素反映的是方差，也就是交流能量）。特别是在模式识别领域，当模式向量的维数过高时会影响识别系统的泛化性能，经常需要做这样的处理。 3、必须注意的是，这里所得到的式（5）和式（6）给出的只是随机向量协方差 矩阵真实值的一个估计（即由所测的样本的值来表示的，随着样本取值的不同会发生变化），故而所得的协方差矩阵是依赖于采样样本的，并且样本的数目越多，样本在总体中的覆盖面越广，则所得的协方差矩阵越可靠。 4、如同协方差和相关系数的关系一样，我们有时为了能够更直观地知道随机向量的不同分量之间的相关性究竟有多大，还会引入相关系数矩阵。 在概率论和统计学中，相关或称相关系数或关联系数，显示两个随机变量之间线性关系的强度和方向。在统计学中，相关的意义是用来衡量两个变量相对于其相互独立的距离。在这个广义的定义下，有许多根据数据特点而定义的用来衡量数据相关的系数。 对于不同数据特点，可以使用不同的系数。最常用的是皮尔逊积差相关系数。其定义是两个变量协方差除以两个变量的标准差（方差）。 皮尔逊积差系数 数学特征 其中，E是数学期望，cov表示协方差。 因为μX = E(X)，σX2 = E(X2) ?E2(X)，同样地，对于Y，可以写成

马氏距离判别与贝叶斯判别

《马氏距离判别与贝叶斯判别》实验报告 姓名：学号：班级： 一、目的： 1.熟练掌握matlab软件进行距离判别贝叶斯判别的 方法与步骤。 2.掌握判别分析的回代误判率与交叉误判率的编程。 3.掌握贝叶斯判别的误判率的计算。 二、内容： 我国山区某大型化工厂，在厂区及邻近地区挑选有代表性的15个大气取样点，每日4次同时抽取大气样品，测定其中含有的6种气体的浓度，前后共4天，每个取样点每种气体实测16次，计算每个取样点每种气体的平均浓度，数据见表1。气体数据对应的污染地区分类见表1中最后一列。现有两个取自该地区的4个气体样本，气体指标见表1中的后4行，试解决一下问题： 1.判别两类总体的协方差矩阵是否相等，然后用马氏距离判别这4个未知气体样本的污染类别，并计算回代误判率与交叉误判率；若两类总体服从正太分布，第一类与第二类的先验概率分别为7/15、8/15，利用贝叶斯判别样本的污染分类。 2.先验概率为多少时，距离判别与贝叶斯判别相同？调整先验概率对判别结果的影响是什么？ 3.对第一类与第二类的先验概率分别为7/15、 8/15，计算误判概率。 表1 大气样品数据表

三、程序 马氏距离判别： A=load('shiyan4.txt'); x1=A([1:4 7 8 15],2:7); x2=A([5 6 9:14],2:7); m1=mean(x1);m2=mean(x2);n1=size(x1,1); n2=size(x2,1);s1=cov(x1);s2=cov(x2);p=6;

s=((n1-1)*s1+(n2-1)*s2)/(n1+n2-2); Q1=(n1-1)*(log(det(s))-log(det(s1))- p+trace(inv(s)*s1)); Q2=(n2-1)*(log(det(s))-log(det(s2))- p+trace(inv(s)*s2)); if Q1

怎样求马氏距离

怎样求马氏距离（Mahalanobis distance ）matlab版学习2010-01-06 15:33:51 阅读396 评论1 字号：大中小 求马氏距离（matlab版）： 方法一： X = [1 2; 1 3; 2 2; 3 1]; [mx,nx] = size(X); Dis = ones(mx,nx); Cov = cov(X); for i=1:mx for j=1:nx D(i,j)=((X(i,:)-X(j,:))*inv(C)*(X(i,:)-X(j,:))')^0.5; end end D >> X X = 1 2 1 3 2 2 3 1 >> D D = 0 2.3452 2.0000 2.3452 2.3452 0 1.2247 2.4495 2.0000 1.2247 0 1.2247 2.3452 2.4495 1.2247 0 >> 2.3452 X的第一行向量与第二行向量之间的马氏距离。 2.0000 X的第一行向量与第三行向量之间的马氏距离。 。。。

方法二： X = [1 2; 1 3; 2 2; 3 1] X = 1 2 1 3 2 2 3 1 Y = pdist(X,'mahal') Y = 2.3452 2.0000 2.3452 1.2247 2.4495 1.2247 function d = mahalanobis(X, Mu, C) %MAHALANOBIS Mahalanobis distance. % D = MAHALANOBIS(X, MU, C) returns the Mahalanobis distance between % the length p vectors X and MU given the p by p covariance matrix % C. If omitted, it is assumed that C is the identity matrix(单位矩阵/恒等矩阵) % EYE(p). If either X or MU is an n by p matrix, D will be returned % as an n by g matrix where n is the number of rows in X and g is % the number of rows in MU where each entry i, j corresponds to the % mahalanobis distance between row i of X and row j of MU. If MU is % simply 0, it is treated as the origin from which Mahalanobis % distance to X is calculated. C must be a positive, definite, % symmetric matrix. % % The Mahalanobis distance between vectors X(i,:) and MU(j,:) is % defined as: % % D(i,j) = ((X(i,:) - MU(j,:))'*INV(C)*(X(i,:) - MU(j,:))).^(1/2) % Copyright (c) 1999 Michael Kiefte. % $Log$ error(nargchk(2, 3, nargin)) if isempty(X) | ~isa(X, 'double') | ~isreal(X) | ... any(any(isnan(X) | isinf(X))) error(['X must be a vector or matrix of real, finite numeric' ... ' doubles.']) elseif length(X) == prod(size(X)) X = X(:)'; elseif ndims(X) ~= 2

图像特征检测和马氏距离中的数据融合与置信度

第30卷第3期电子与信息学报Vol.30No.3 2008年3月 Journal of Electronics & Information Technology Mar.2008 图像特征检测和马氏距离中的数据融合与置信度 朱秋煜王朔中 (上海大学通信与信息工程学院上海 200072) 摘 要：该文在单源图像的模式特征检测中应用数据融合，用统计方法对同一特征的多算法结果进行融合，论证算法的合理性和融合结果的有效性，定义融合数据的置信度以反映其可靠程度。在此基础上推导了包含置信度的马氏距离度量公式。以人脸检索及其中的眼角检测为例，进行了多算法结果的融合并讨论其置信度，说明该文提出的方法能有效降低模式分类时错误检测参数的不利影响，提高模式识别率。 关键词：特征检测；数据融合；置信度；马氏距离 中图分类号：TP391.41 文献标识码：A 文章编号：1009-5896(2008)03-0534-05 Data Fusion and Confidence in Image Feature Detection and Mahalanobis Distance Zhu Qiu-yu Wang Shuo-zhong (School of Communication and Information Engineering, Shanghai University, Shanghai 200072, China) Abstract:Using a statistical approach, data fusion is performed in image feature detection with which information about the same feature obtained by multiple methods can be integrated. Validity of the described fusion scheme and properties of the fused data are discussed. A confidence measure is defined and applied to evaluate credibility of the results. Taking into account the data fusion and confidence measure, a Mahalanobis distance is derived. The technique is applied to face retrieval and its canthus detection. Experimental results show that the proposed approach can reduce adverse effects of feature detection errors and enhance the pattern recognition rate. Key words: Feature detection; Data fusion; Confidence measure; Mahalanobis distance 1引言 提取对象的有效特征并设计相应的分类器是模式识别的两个关键问题。其中特征提取起决定性的作用。特征提取需解决两个问题，首先是找出提取有效特征的算法，其次是保证特征参数的正确可靠。错误的特征参数会对识别结果造成负面影响。 为提高模式的识别率，人们提出了各种特征提取的算法。比如人脸识别中人眼宽度特征，首先要利用眼睛的灰度、边缘等特点检测出眼角位置，若利用灰度特征，通常采用灰度投影等方法，若利用边缘信息则要先提取边缘再进行边缘跟踪等。这些单一算法往往较难满足实用要求，不同算法的检测结果有时一致，有时存在矛盾，有时又可互补。这是因为具体算法往往仅抓住图像某一方面的特征，而没有充分利用图像的所有信息。综合利用同一特征的各种有效信息显然可以提高特征检测的成功率和可靠性。 数据融合通常用于多源数据，分为数据级、特征级和决策级3种融合[1]。本文讨论单源图像的特征级融合，可分为特征检测、特征提取两个层面。目前对单源图像的特征级融合主要是在特征提取这一层面，目的是优化组合不同特征， 2006-08-14收到，2007-05-15改回 上海市重点学科建设项目(T0102)资助课题保留参与融合的多特征有效鉴别信息，消除冗余信息[2?4]，而对特征检测层面的研究则较少。事实上特征检测是特征提取和分类的基础，如果图像基本特征(点、边缘、区域等)的检测有差错，就不可能得到好的识别结果。 本文在单源图像模式特征点检测中对同一特征的多算法结果进行融合，并计算融合后数据的置信度。在数据融合与置信度基础上推导结合置信度的马氏距离度量公式，最后以人脸检索以及其中的眼角检测为例，讨论多算法结果的融合和置信度。 2多算法结果融合 在特征检测中采用多算法结果进行融合，主要目的是提高特征检测的可靠性和精度。如人脸眼角这个特征点，就可以用多种方法来检测，不同的方法只利用了眼角的某一方面的特性，因而检测效果就不佳，而综合多种方法的结果就有可能提高特征检测的可靠性，这里着重对特征点检测中多算法结果的融合进行研究。 从统计检测的角度，特征点检测相当于对特征点位置这个量的检测，每种检测算法都不可能得到完全精确的结果，因而一种算法就相当于一个随机测量事件，而每次检测结果就是一个测量样本。对多次测量结果进行加权平均处理就有可能提高整个检测的精度。

马氏距离计算函数定义

1. 样本与某一总体之间马氏距离的计算： ● 函数名称：MahalanobisCompute(Group,Vector) ● 用途：此函数用来计算n 维空间中的某一个样本点Vector （一个向量），与该空间 中的某一总体分布Group （一组向量）之间的距离，总体的样本容量为m （即有m 个向量）。 ● 输入： 1) Group ：代表n 维空间中的某一总体的样本空间，其维数为n ，样本数为m ， 实际上就是一个m 行n 列的矩阵； 2) Vector ：代表n 维空间中的某一个样本点，也就是一个n 维向量； ● 输出：DisMaha ，表示样本Vector 与总体Group 之间的马氏距离。 ● 计算公式：DisMaha =，其中μ是总体Group 的均值向量，维数为n ，其各分量计算公式为：1 1m j ij i Group m μ==∑，其中1,...,j n =；C 是总体Group 的协方差矩阵，其计算公式为：()C Cov Group =。 ● 说明：在计算过程中，需要首先求C ，并判断是否有0C =；如果有，说明协方差 矩阵不存在，不能够求马氏距离；如果C 等于0，则可以求出马氏距离。 2. 计算某一总体（样本空间）的均值向量 ● 函数名称：AverageCompute(Group) ● 用途：此函数用来计算n 维空间中的某一总体分布Group （一组向量）的均值向量。 ● 输入：Group ：代表n 维空间中的某一总体的样本空间，其维数为n ，样本数为m ， 实际上就是一个m 行n 列的矩阵； ● 输出：E ，表示总体Group 的均值向量，是一个n 维向量。 ● 计算公式：1 1m j ij i E Group m ==∑，其中1,...,j n =； ● 说明：无。

判别分析-四种方法

第六章 判别分析 § 什么是判别分析 判别分析是判别样品所属类型的一种统计方法，其应用之广可与回归分析媲美。 在生产、科研和日常生活中经常需要根据观测到的数据资料，对所研究的对象进行分类。例如在经济学中，根据人均国民收入、人均工农业产值、人均消费水平等多种指标来判定一个国家的经济发展程度所属类型；在市场预测中，根据以往调查所得的种种指标，判别下季度产品是畅销、平常或滞销；在地质勘探中，根据岩石标本的多种特性来判别地层的地质年代，由采样分析出的多种成份来判别此地是有矿或无矿，是铜矿或铁矿等；在油田开发中，根据钻井的电测或化验数据，判别是否遇到油层、水层、干层或油水混合层；在农林害虫预报中，根据以往的虫情、多种气象因子来判别一个月后的虫情是大发生、中发生或正常； 在体育运动中，判别某游泳运动员的“苗子”是适合练蛙泳、仰泳、还是自由泳等；在医疗诊断中，根据某人多种体验指标（如体温、血压、白血球等）来判别此人是有病还是无病。总之，在实际问题中需要判别的问题几乎到处可见。 判别分析与聚类分析不同。判别分析是在已知研究对象分成若干类型（或组别）并已取得各种类型的一批已知样品的观测数据，在此基础上根据某些准则建立判别式，然后对未知类型的样品进行判别分类。对于聚类分析来说，一批给定样品要划分的类型事先并不知道，正需要通过聚类分析来给以确定类型的。 正因为如此，判别分析和聚类分析往往联合起来使用，例如判别分析是要求先知道各类总体情况才能判断新样品的归类，当总体分类不清楚时，可先用聚类分析对原来的一批样品进行分类，然后再用判别分析建立判别式以对新样品进行判别。 判别分析内容很丰富，方法很多。判别分析按判别的组数来区分，有两组判别分析和多组判别分析；按区分不同总体的所用的数学模型来分，有线性判别和非线性判别；按判别时所处理的变量方法不同，有逐步判别和序贯判别等。判别分析可以从不同角度提出的问题，因此有不同的判别准则，如马氏距离最小准则、Fisher 准则、平均损失最小准则、最小平方准则、最大似然准则、最大概率准则等等，按判别准则的不同又提出多种判别方法。本章仅介绍四种常用的判别方法即距离判别法、Fisher 判别法、Bayes 判别法和逐步判别法。 § 距离判别法 基本思想：首先根据已知分类的数据，分别计算各类的重心即分组（类）的均值，判别准则是对任给的一次观测，若它与第i 类的重心距离最近，就认为它来自第i 类。 距离判别法，对各类（或总体）的分布，并无特定的要求。 1 两个总体的距离判别法 设有两个总体（或称两类）G 1、G 2，从第一个总体中抽取n 1个样品，从第二个总体中抽取n 2个样品，每个样品测量p 个指标如下页表。 今任取一个样品，实测指标值为),,(1'=p x x X ，问X 应判归为哪一类 首先计算X 到G 1、G 2总体的距离，分别记为),(1G X D 和),(2G X D ，按距离最近准则

距离判别法及其应用

距离判别法及其应用 一、什么是距离判别 （一）定义 距离判别分析方法是判别样品所属类别的一应用性很强的多因素决策方法，根据已掌握的、历史上每个类别的若干样本数据信息，总结出客观事物分类的规律性，建立判别准则，当遇到新的样本点，只需根据总结得出的判别公式和判别准则，就能判别该样本点所属的类别。 距离判别分析的基本思想是：样本和哪个总体的距离最近，就判它属于哪个总体。 （二）作用 判别个体所属类型。例如在经济学中，可根据各国的人均国人民收入、人均工农业产值和人均消费水平等多种指标来判定一个国家经济发展程度的怕属类型医学上根据口才的体温、白血球数目以及其他病理指标来判断患者所患何病等。 二、距离判别分析原理 （一）欧氏距离 欧氏距离（Euclidean distance ）是一个通常采用的距离定义，最多的应用是对距离的测度。大多情况下，人们谈到距离的时候，都会很自然的想到欧氏距离。从数学的角度来讲，它是在m 维空间中两个点之间的真实距离。 在二维空间中其公式为： 2 21221)()(y y x x d -+-=

推广到n 维空间其公式为： 21) (1i n i i y x d -=∑= （二）马氏距离 在判别分析中，考虑到欧氏距离没有考虑总体分布的分散性信息，印度统计学家马哈诺必斯（Mahalanobis ）于1936年提出了马氏距离的概念。 设总体T m X X X G },...,,{21=为m 维总体（考察m 个指标），样本 T m i x x x X },...,,{21=。令μ=E(i X )(i=1,2, …，m)，则总体均值向量为 T m },,{21μμμμ???=。总体G 的协方差矩阵为： ]))([()(T G G E G COV μμ--==∑。 设X ，Y 是从总体G 中抽取的两个样本，则X 与Y 之间的平方马氏距离为： )()(),(12Y X Y X Y X d T -∑-=- 样本X 与总体G 的马氏距离的平方定义为： )()(),(12μμ-∑-=-X X G X d T 1．两总体距离判别。设有两总体1G 和2G 的均值分别为1μ和2μ，协方差矩阵分别为1∑和2∑（1∑，2∑>0），1?m X 是一个新样本，判断其 属于哪个总体。定义1?m X 到1G 和2G 的距离为),(12G X d 和 ),(22G X d ，则按如下判别规则进行判断： 1G X ∈，若),(12G X d ≤),(22G X d 2G X ∈，若),(22G X d ﹤),(12G X d (1)当1∑=2∑时，该判别式可进行如下简化：

第九章 聚类分析和判别分析 讲过

第九章 聚类分析与判别分析 在实际工作中，我们经常遇到分类问题.若事先已经建立类别，则使用判别分析，若事先没有建立类别，则使用聚类分析. 聚类分析主要是研究在事先没有分类的情况下，如何将样本归类的方法.聚类分析的内容包含十分广泛，有系统聚类法、动态聚类法、分裂法、最优分割法、模糊聚类法、图论聚类法、聚类预报等多种方法. 聚类分析指将物理或抽象对象的集合分组成为由类似的对象组成的多个类的分析过程。它是一种重要的人类行为。聚类分析的目标就是在相似的基础上收集数据来分类。聚类源于很多领域，包括数学，计算机科学，统计学，生物学和经济学。在不同的应用领域，很多聚类技术都得到了发展，这些技术方法被用作描述数据，衡量不同数据源间的相似性，以及把数据源分类到不同的簇中。 聚类与分类的不同在于，聚类所要求划分的类是未知的。 聚类是将数据分类到不同的类或者簇这样的一个过程，所以同一个簇中的对象有很大的相似性，而不同簇间的对象有很大的相异性。 从统计学的观点看，聚类分析是通过数据建模简化数据的一种方法。 §9.1 聚类分析基本知识介绍 在MA TLAB 软件包中，主要使用的是系统聚类法. 系统聚类法是聚类分析中应用最为广泛的一种方法.它的基本原理是：首先将一定数量的样品(或指标)各自看成一类，然后根据样品(或指标)的亲疏程度，将亲疏程度最高的两类合并，然后重复进行，直到所有的样品都合成一类.衡量亲疏程度的指标有两类：距离、相似系数. 一、常用距离 1）欧氏距离 假设有两个n 维样本),,,(112111n x x x x =和),,,(222212n x x x x =，则它们的欧氏距离为 ∑=-= n j j j x x x x d 1 22121)(),( 2）标准化欧氏距离 假设有两个n 维样本),,,(112111n x x x x =和),,,(222212n x x x x =，则它们的标准化欧氏距离为 T x x D x x x x sd )()(),(2112121--=- 其中：D 表示n 个样本的方差矩阵，),,,(22221n diagonal D σσσ =，2 j σ表示第j 列的方差. 3）马氏距离 假设共有n 个指标，第i 个指标共测得m 个数据(要求n m >)： ???? ??? ??=im i i i x x x x 21， 1121112 2121212(,,,)n n n m m nn x x x x x x X x x x x x x ?? ? ? == ? ? ??

判别分析

判别分析 假设有k 个总体，判别分析就是根据某个个体的观察值来推断该个体是来自这k 个总体中哪一个总体。下面的例子说明判别分析有着广泛的应用。 （1）根据已有的气象资料，如气温、气压等判断明天是晴天还是阴天，是有雨还是无雨。明天的天气情况是未来的行为。因为是未来行为，难以得到它的完全信息。已有的气象资料仅是它的一部分信息。基于未来行为的不完全信息对未来行为进行预测是判别分析的一个应用。 （2）在非洲发现了一种头盖骨化石，考古学家要研究它究竟是像猿（如黑猩猩）还是像人。倘若研究对象是活的，就能对他进行各方面的观察，有充足乃至完全的信息。但研究对象早就死了，他的很多重要信息都丢失了。考古学家只能根据不完全信息，如牙齿的长宽来进行判断。当信息丢失后，对过去的行为进行判断是判别分析的另一个应用。 （3）有时人们难以得到完全的信息，这里有两种情况。情况之一是信息完全只能来自破坏性试验。例如，汽车的寿命只有在把它用坏之后才知道。一般地，希望根据一些测量指标（如零部件的性能）就能事先对汽车的寿命作出判断。情况之二是获得完全信息的代价太高。例如，有些疾病可用代价昂贵的检查或通过手术得到确诊。但人们往往更希望用便于观察得到的一些外部症状来诊断体内的疾病，以避免过大的开支和损失。在完全信息难以得到时，对行为判断是判别分析的又一格应用。 正因为判别分析是基于不完全信息作出的判断，它就不可避免地会犯错误，一个好的判别法则错判的概率应很小。除了错判概率，在判别分析问题中还应考虑费用，一个好的判别法则错误的损失应很小。关于判别法则优良性的讨论从略。 判别分析问题的描述：设有k 个m 维总体k G G G ,,,21 ，其分布特征已知（如已知分布函数分别为)(,),(),(21x F x F x F k ，或知道来自各个总体的训练样本）。对给定的一个新样品 X ，我们要判断它来自哪个总体。 在进行判别归类时，由假设的前提，判别的依据及处理的手法不同，可得出不同判别方法。如距离判别，贝叶斯（Bayes ）判别，费希尔(Fisher)判别，逐步判别，序贯判别等。 5.1 距离判别 距离判别的基本思想是：样品和哪个总体距离最近，就判断它属哪个总体。距离判别也称为直观判别法。 一、马氏距离 定义5.1.1 （马氏距离）设总体G 为m 元总体（考察m 个指标），均值向量为 )',,(1m μμμ =，协方差阵为m m ij ?=∑)(σ，则样品)',,(1m x x X =与总体G 的马氏距 离定义为 )()'(),(12μμ-∑-=-X X G X d 。 当1=m 时， 2 2 2 ) () ()'(),(σμσμμ-= --= x x x G x d 。 二、两总体的距离判别