概率图模型介绍与计算

概率图模型介绍与计算

01 简单介绍

概率图模型是图论和概率论结合的产物，它的开创者是鼎鼎大名的Judea Pearl,我十分喜欢概率图模型这个工具，它是一个很有力的多变量而且变量关系可视化的建模工具，主要包括两个大方向：无向图模型和有向图模型。无向图模型又称马氏网络，它的应用很多，有典型的基于马尔科夫随机场的图像处理，图像分割，立体匹配等，也有和机器学习结合求取模型参数的结构化学习方法。严格的说他们都是在求后验概率:p(y|x)，即给定数据判定每种标签y的概率，最后选取最大的后验概率最大的标签作为预测结果。这个过程也称概率推理(probabilistic inference）。而有向图的应用也很广，有向图又称贝叶斯网络(bayes networks),说到贝叶斯就足以可以预见这个模型的应用范围咯，比如医疗诊断，绝大多数的机器学习等。但是它也有一些争议的地方，说到这就回到贝叶斯派和频率派几百年的争议这个大话题上去了，因为贝叶斯派假设了一些先验概率，而频率派认为这个先验有点主观，频率派认为模型的参数是客观存在的，假设先验分布就有点武断，用贝叶斯模型预测的结果就有点“水分”，不适用于比较严格的领域，比如精密制造，法律行业等。好吧，如果不遵循贝叶斯观点，前面讲的所有机器学习模型都可以dismiss咯，我们就通过大量数据统计先验来弥补这点“缺陷”吧。无向图和有向图的例子如（图一）所示：

图一(a)无向图（隐马尔科夫）(b)有向图

概率图模型吸取了图论和概率二者的长处，图论在许多计算领域中扮演着重要角色，比如组合优化，统计物理，经济等。图的每个节点都可看成一个变量，每个变量有N个状态（取值范围），节点之间的边表示变量之间的关系，它除了

可以作为构建模型的语言外，图还可以评价模型的复杂度和可行性，一个算法的运行时间或者错误界限的数量级可以用图的结构性质来分析，这句话说的范围很广，其实工程领域的很多问题都可以用图来表示，最终转换成一个搜索或者查找问题，目标就是快速的定位到目标，试问还有什么问题不是搜索问题？树是图，旅行商问题是基于图，染色问题更是基于图，他们具有不同的图的结构性质。对于树的时间复杂度我们是可以估算出来的，而概率图模型的一开始的推理求解方法也是利用图的结构性质，把复杂图转换成树（容易处理的图）的形式来求解，这个算法被称为联合树算法（junction tree algorithm）。联合树算法简单的说就是利用图的条件独立性质把图分解，然后以树的形式组织，最后利用树的良好操作性进行推理求解（消息传递），联合树算法是后续章节的重要的推理算法之一。但并不是所有的图都能拆分成树的形式，一般只有合适的稀疏边的图才能转成树，因此联合树算法也有一定的限制。不能构建联合树，那怎么推理求解？好在还有其他几种方法，概率图模型的第二个成分：概率，既然进入了概率空间，那基于蒙特卡洛（MCMC）的采样方法也就可以使用了，反正就是求最大后验概率，MCMC的求解方法也是经常利用的工具，还有一些基于均值场(mean field)以及变分方法(variational method)的求解工具。这几个求解方法的算法复杂度比较如（图二）所示：

(图二) 推理求解算法性能比较

（图二）中的几种求解方法也都是概率图模型或者统计机器学习里经常使用的方法，MCMC方法和变分方法都起源于统计物理，最近很火的深度学习也算是

概率图模型的一个应用，尽管你要反对，我也要把它划到概率图模型下^.^，RBM,CRBM,DBM都是很特殊的概率图模型，整个思路从建模到求解方法都是

围绕着求取图模型节点的最大后验概率来开展的。MCMC求解方法就不说了，

深度学习里已经用的很多咯，而变分方法（variational method）很有吸引力，andrew ng的师傅Michael Jordan认为把变分方法用在统计机器学习中的有希

望的方法是把凸分析和极家族分布函数链接起来，既然有凸分析，那么就会伴随着凸松弛(convex relaxtion),因为数据是离散的，具体可以看前面的关于凸松弛

的博文介绍。另外还有一些图模型特有的求解方法，比如belief

propagation(sum-product algorithm)n或者expectation propagation等求解方法。上面算是对概率图模型做了个简单的介绍，接下的来的博文就是按照下面的提纲来记录一下学习笔记，在尽量不违背honor code的情况下，用原来Daphne koller教授的作业来做辅助介绍。

一、介绍图模型定义

二、利用基于变分方法的极家族和凸分析来求边缘概率

三、逼近求解方法，如belief-propagation、expectation-propagation等

四、均值场求解方法等各种优化求解方法

五、结构化学习

02 概率图模型定义

翻开Jordan和Wainwright著作的书，正文开始（第二章）就说概率图模型的核心就是：分解（factorization）。的确是这样的，对于复杂的概率图模型，要

在复杂交织的变量中求取某个变量的边缘概率，常规的做法就是套用贝叶斯公式，积分掉其他不相干的变量，假设每个变量的取值状态为N，如果有M个变量，

那么一个图模型的配置空间就有N^M，指数增长的哦，就这个配置空间已经让

我们吃不消了，不可以在多项式时间内计算完成，求边缘概率就没办法开展下去了。此时分解就派上用场咯，我们想法找到一些条件独立，使得整个概率图模型分解成一个个的团块，然后求取团块的概率，这样就可以把大区域的指数增长降为小区域的指数增长。毕竟100^20这样的计算量比25*（4^20）的计算量大多咯。好了，不说这么抽象了，下面进入正题：

（图一）

（图二）

无向图模型又称马尔科夫随机场（markov random filed）无向图模型的分解就是通过团块（clique）来完成，所谓团块就是全连接的最大子图，如（图二）所示，(a)图的｛1，2，3，4｝，｛4，5，6｝，｛6，7｝都是全连接的最大子图，假设团块用C表示，为每个团块分配一个兼容函数(compatibility function)

，它的作用就是把团块取值状态映射到正实值空间，说白了就是给这个团块一个度量，可以是概率，也可以是取值状态和真实标签之间的差值平方和，根据应用而定，这个兼容函数有时又被称为势函数（potential function）,有了兼容函数，无向图模型就可以通过（公式二）分解：

（公式二）

（公式二）中的Z是归一化的常量，学名叫配分函数(partition function)，一

归一化就成概率了，不归一化不满足概率和为1的性质。为了能在图模型中直观的看到团块，可以用因子图（factor graph）来表示无向图模型，如（图二）(b)所示，和黑块连接的顶点表示全部互相连接（全连接），一个黑块部分表示一个团块，所以上面分解又多了一个名字：因子分解(factorization)。

上面说了很多枯燥的定义，目标只有一个，引出两种图模型的分解公式：（公式一）和（公式二），那为什么可以分解成那个样子？现在通过两个小例子说明一下：

对于有向图模型，如（图三）所示模型，一个人的聪明程度（Intelligence）可以影响他的年级（Grade:痴呆的读高年级的概率低，聪明的一般走的比较远），而且对他的成绩（SAT）也有高低影响。当我们知道一个人的聪明度后，年级和成绩还有关系吗？二本就根本没有关系，在这里不要想多，其实很简单，给定一个物体后，那么这个物体上的两个属性值就决定了，已经存在的事实，所以二者是独立的。朴素贝叶斯就是根据这个条件独立做的分解。

（图三）

另外注意一下，这里给定的是父亲节点，（公式一）中也强调了这点，如果不给父亲节点，条件独立就变的稍微复杂一些，如（图四）中有一个比（图三）稍微复杂一些的有向图模型：

（图四）

在（图四）中Difficulty表示试卷难度，Intelligence表示考生聪明度，如果什么都不给，这二者是独立的，因为试卷难度和考生没有关系，所谓的高考很难，但是这跟我有什么关系？我又不参加高考^.^，但是如果一旦给定空考生的年级（grade）,情况就变得不一样了，比如考生考到了博士，如果他不聪明，那说明

啥？说明卷子不难，水的很，如果卷子很难，考生一定很聪明，所以这中间有个因果推理关系。这就是Judea peal提出的explain away问题（Even if two hidden causes are independent in the prior, they can become dependent when we observe an effect that they can both influence）,在前面的博文《目标检测（ObjectDetection）原理与实现(三)》也解释了这个问题，如果这个例子没有解释清楚，可以看下前面的例子。

对于无向图模型的条件独立就要简单一些，是从图论的可达性（reachability）考虑，也可从图的马尔科夫性入手，如（图五）所示：

（图五）

（图五）是个标准的隐马尔科夫模型（HMM），当给定X2时，就相当于在X2除切了一刀，在X2前后之间的变量都相互独立。独立就可以分解了，比如条件概率独立公式：P(A,B|C)=P(A|C)*P(B|C),团块兼容函数也是如此。如果

X1-X5我们都给定，那这个模型分解的团块都是相似的，每个图块都可以用一个通用的标记来表示，因此图模型里又提了一种盘子表示法（plate notation），如（图六）所示：

（图六）

（图六）不是表示的HMM的盘子模型，而是LDA模型的盘子模型，只是让大家了解一下通用分解模版的表示方法，其实很多时候这个表示方法反而不是那么清晰，南加州大学有一个做机器学习的博士生就在吐槽这个表示方法，有兴趣的可以去看看（链接）。今天算是了解一下概率图模型的基本定义和两个分解公式，这两个分解公式只是给出了图模型不好求概率的一个解决方法的切入点，下节就来学习一下概率图模型如何通过分解来进行边缘概率推理求解。

03 图模型推理算法

这节了解一下概率图模型的推理算法（Inference algorithm），也就是如何求边缘概率（marginalization probability）。推理算法分两大类，第一类是准确推理（Exact Inference）,第二类就是近似推理（Approximate Inference）。准确推理就是通过把分解的式子中的不相干的变量积分掉（离散的就是求和）；由于有向图和无向图都是靠积分不相干变量来完成推理的，准确推理算法不区分有向图和无向图，这点也可以在准确推理算法：和积算法（sum-product）里体现出来，值得一提的是有向图必须是无环的，不然和积算法不好使用。如果有向图包含了环，那就要使用近似推理算法来求解，近似推理算法包含处理带环的和积算法（”loopy” sum-product）和朴素均值场算法（naive mean field），下面就来了解下这两种推理算法的工作原理。

假如给一个无向图，他包含数据节点X和标签Y,它可以分解成（公式一）的形式：

（公式一）

有些人一开始觉得（公式一）很奇怪，貌似和上一节的无向图分解有点不一样，其实是一样的，稍微有点不同的是把不同的团块区分对待了，这里有两种团块，比如（公式一）右边第一项是归一化常量配分函数，第二项可能是先验概率，而第二项就可能是给定标签时样本的概率。这里用可能这个措辞，表示这些势函数只是一个抽象的函数，他可以根据你的应用来变化，它就是对两种不同团块的度量。如果X的取值状态只有两个，那么配分函数可以写成（公式二）的形式：

（公式二）

配分函数就是把所有变量都积分掉得到的最终的度量值，如果要求边缘概率就要通过积分掉其他变量得到的度量值除以配分函数，例如我们要求（图一）中的x1的边缘概率P(x1)：

（图一）

要求取P(x1),我们就要积分掉x2-x6这五个变量，写成数学的形式如（公式三）所示：

（公式三）

如果你对代数分配率很熟悉，外面的加法符号大sigma可以分开写成（公式四）的样子：

（公式四）

其实（公式四）就是和积算法的雏形，因为可以很明显的看出又有和又有积。有人可能要问积分掉变量的顺序为什么是那样？其实这个没有准则的，先积分掉哪个变量，积分的顺序也会导致运算量大小不一样，求取最优的积分变量顺序是NP-hard的，下面用图示演示下积分消除变量发生的事情。

(01)

(02)

(03)

(04)

(05)

（图二）

（图二）中注意观察下每次积分掉一个变量后，原来的团块就因为少了一个变量变成了一个新的团块，新的团块使得图被三角剖分了，尤其在倒数第二个图更

明显，消除变量x4后形成新的团块（x2,x3）,使得x2,x3之间建立了一条连接（蓝线所示），这个三角化添加的边在图论里被成为弦（chord），全部完成三角化的图也称端正图（moral graph）。而边缘概率计算量的复杂度取决于剩下的变量形成的团块大小，如（图二）中红色的部分，变量消除的顺序也会影响新团块的大小，寻找一个最优的变量消除顺序十分必要，但是寻找最优的变量消除顺序是NP-hard的，眼看着问题就没法解决了，但如果图模型是树呢？树这种图模型具有良好的性质，他的计算量不大，下面先叉开下话题去看下树结构的图模型的边缘概率求解方法：

假设树结构的图模型如（图三）所示：

（图三）

和（公式一）类似，这个树结构的图模型的分布可以分解成（公式一）的形式，因为树可简单的分解成节点和边，那么它分解的形式如（公式五）所示：

（公式五）

把上面所述的和积算法写成一个通用的形式公式,如（公式六）所示：

（公式六）

这里注意下大sigma下标中的竖线表示排除Xs这个变量，积分掉其他变量，最终得到Xs的边缘概率。现在问题来了，在（图三）中，如果要求变量Xs的边缘概率就要积分掉Xs周围的其他四个变量（Xt,Xw,Xu,Xv），这是由(公式五)中的团块决定的（有边相连）,而要积分掉这周围的四个变量就要继续积分掉这四个变量周围除Xs以外的其他相邻变量，这是个递归过程。而动态规划其实也是递归，所以本质上和积算法（sum-product）是个非连续的动态规划算法。下面用数学语言更进一步的梳理下这个递归算法流程，先做几个定义：

对于任意的属于V的节点变量s,它的临域可以定义成（公式七）的样子：

（公式七）

用表示和要计算边缘概率节点变量相连的子树，如变量s,但是子树不能越过变量s,如（图三）中的Tt,Tw,Tu,Tv都是子树，每个子树上的变量用表示，那么每个子树又可以做团块分解，如（公式八）所示：

（公式八）

有了这些定义，我们就可以再重新梳理下刚才的递归过程，要计算变量Xs的边缘概率，就要计算其临域上的边缘概率，然后再临域的临域上的边缘概率，其实就是子树上的边缘概率，最终会递归到整个树的叶子节点上，叶子节点计算完成后传到父亲节点，以后依次向上传，最终传递到变量Xs上，这个过程其实叫消息传递（Message-Passing）,有时也叫置信传播（BeliefPropagation）,有了消息的概念，那（公式八）就可以变成（公式九）的样子：

（公式九）

（公式九）中k表示归一化常量，Mts表示从变量Xt传向Xs的消息，其实就是从子树上传递过来的，然后P表示子树的子树上传递过来的消息，引入消息的好处就是容易描述这个递归过程，另外也容易扩展到其他带环的图上，因为动态规划是递归的，递归用消息传播来表示，那么带环的图用消息传递的方法求解，我们就说其实用了动态规划算法，这个话题就不扯远了。

另外有了消息传播机制，上述的计算边缘概率的方法还可以扩展一下，使得可以同时计算所有节点的边缘概率，这就使得计算速度大大提高。我们可以让每个节点都同时沿着边向其临域传送消息，消息如（公式十）所示：

（公式十）

这样其实是传播了2倍于边数的消息，然后开始迭代，第二轮迭代时用第一轮传播来过来的子树上的消息更新当前消息，然后依次迭代下去，迭代n次后，消息值收敛，这样每个变量周围的消息都已确定，就不需要递归了，套用下（公式九）就可以计算边缘概率了。计算最大边缘概率（max-marginal）也是类似的方法，只不过是在收敛收选取最大的边缘概率而已，虽然简单，但是应用范围很广，因为很多时候都是在寻找个极值，比如立体匹配就是这个原理。

说完了树结构图模型的和积算法，就要回来说一般图的和积算法了，通过上面可以看到树结构的图模型具有容易计算的优点，那对于一般图模型如果能转成树也可以套用上面所述方法，我们可以把节点分组以团块的形式放在树的节点上，但是要注意连续性，因为一般图中的节点边可以很复杂，比如有环的图，那么一

个节点变量就可以属于多个团块。因此团块树也要保持原有图的这种特性，不然求解不正确，因此团块树的定义就要来了，如（图四）所示：

（图四）

这段话不好翻译，也没见过中文对应的术语，因此只能直接贴图了，满足这种定义的团块树又称联合树，联合树其实就是说满足团块之间的连续性，每个相临团块之间都有公共变量，又成分割变量(separator-S)，如（图五）的C图中的矩形所示：

（图五）

在（图五）中a图是有环的一般图模型，要想把a图转成联合树图，必须把其三角化，也就是说每三个变量围成一个环，多于3个的必须添加弦边，这其实是回应了上面最初的和积算法，Lauritzen在参考文献[3]中也对这种处理方法给出了证明，有兴趣的可以翻阅下。

对于一般图转联合树的步骤来个总结，如（图六）所示：

（图六）

联合树建立后，就可以把树结构的消息传递算法推广到联合树上，树的节点由原来的单一变量变成了团块，那如何传递消息？其实也简单，每次传消息时积分掉和非公共变量的变量，然后用公共变量的消息传递就行了，如（图七）所示：

（图七）

（图七）中上半部分表示消息的内容，套用树结构消息传递方式，迭代收敛就行了，不过能否收敛还是一个值得深究的问题，今天就不展开了，理解联合树算法的核心就是理解消息到底是什么，看的很晕的就带着这个问题再看一遍咯^.^，另外逼近推理的变分方法需要用到极家族函数和凸分析来做统一框架，因此下节开始学习极家族函数。

机器学习 —— 概率图模型(推理：决策)

Koller 教授把决策作为一种单独的模块进行讲解，但我认为，决策和推理本质上是一样的，都是在假设已知CPD或者势函数的情况下对模型给出结论。 1、决策==逐利 决策的基本思想很intuitive，并且非常有用。在赌博行为中，最后获得的钱与硬币的正反，赌注的大小有关。硬币的正反显然是随机变量，而赌注的大小却是决策量。显而易见的是，决策的最终目的是使得某个期望最大化。再举一个视觉中的例子，对于双目配准算法而言，左相机对应右相机的像素可以认为是随机变量。但是否将两个像素配在一起却可以认为是一个决策（假设像素一一对应，如果甲配了乙就不能配丙了，希望配准的最终结果是尽可能正确的）。故决策的数学表达为： 其中，P(X|A)表示在给定决策下，随机变量X的概率。U(x,a)表示给定决策下，x发生所获得的收益。简单的决策如图所示：

2、决策的方法 显然从上面的分析可知，我们要做的决策就是使得期望最大化的那个。换一个角度来看，如果每次的决策都是未知的，决策取决于已知信息，决策影响最终结果，如果决策也是随机变量，我们应该把获利最多的那个决策组作为我们所需采取的决策库。换而言之，凡事应有a,b,c三策，不同的策略对应不同的情况。显然，我们所需要采取的策略取决于已知的信息（Action的父节点）。而策略组本身就是一个随机变量。 如图所示，如果变量真实值无法观测，只能通过一个传感器（survey）来进行推测时，决策应该取决于S的值。S的值又和其所有父节点（M）的值相关。MEU表示所选择的策略。

显然，我们需要P(S)deta(F|S)U(F,M)，然后P(S)需要对P(M,S)进行边际获得。故表达式如上。带入数据发现

概率图模型研究进展综述

软件学报ISSN 1000-9825, CODEN RUXUEW E-mail: jos@https://www.wendangku.net/doc/3a17064791.html, Journal of Software,2013,24(11):2476?2497 [doi: 10.3724/SP.J.1001.2013.04486] https://www.wendangku.net/doc/3a17064791.html, +86-10-62562563 ?中国科学院软件研究所版权所有. Tel/Fax: ? 概率图模型研究进展综述 张宏毅1,2, 王立威1,2, 陈瑜希1,2 1(机器感知与智能教育部重点实验室(北京大学),北京 100871) 2(北京大学信息科学技术学院智能科学系,北京 100871) 通讯作者: 张宏毅, E-mail: hongyi.zhang.pku@https://www.wendangku.net/doc/3a17064791.html, 摘要: 概率图模型作为一类有力的工具,能够简洁地表示复杂的概率分布,有效地(近似)计算边缘分布和条件分 布,方便地学习概率模型中的参数和超参数.因此,它作为一种处理不确定性的形式化方法,被广泛应用于需要进行 自动的概率推理的场合,例如计算机视觉、自然语言处理.回顾了有关概率图模型的表示、推理和学习的基本概念 和主要结果,并详细介绍了这些方法在两种重要的概率模型中的应用.还回顾了在加速经典近似推理算法方面的新 进展.最后讨论了相关方向的研究前景. 关键词: 概率图模型;概率推理;机器学习 中图法分类号: TP181文献标识码: A 中文引用格式: 张宏毅,王立威,陈瑜希.概率图模型研究进展综述.软件学报,2013,24(11):2476?2497.https://www.wendangku.net/doc/3a17064791.html,/ 1000-9825/4486.htm 英文引用格式: Zhang HY, Wang LW, Chen YX. Research progress of probabilistic graphical models: A survey. Ruan Jian Xue Bao/Journal of Software, 2013,24(11):2476?2497 (in Chinese).https://www.wendangku.net/doc/3a17064791.html,/1000-9825/4486.htm Research Progress of Probabilistic Graphical Models: A Survey ZHANG Hong-Yi1,2, WANG Li-Wei1,2, CHEN Yu-Xi1,2 1(Key Laboratory of Machine Perception (Peking University), Ministry of Education, Beijing 100871, China) 2(Department of Machine Intelligence, School of Electronics Engineering and Computer Science, Peking University, Beijing 100871, China) Corresponding author: ZHANG Hong-Yi, E-mail: hongyi.zhang.pku@https://www.wendangku.net/doc/3a17064791.html, Abstract: Probabilistic graphical models are powerful tools for compactly representing complex probability distributions, efficiently computing (approximate) marginal and conditional distributions, and conveniently learning parameters and hyperparameters in probabilistic models. As a result, they have been widely used in applications that require some sort of automated probabilistic reasoning, such as computer vision and natural language processing, as a formal approach to deal with uncertainty. This paper surveys the basic concepts and key results of representation, inference and learning in probabilistic graphical models, and demonstrates their uses in two important probabilistic models. It also reviews some recent advances in speeding up classic approximate inference algorithms, followed by a discussion of promising research directions. Key words: probabilistic graphical model; probabilistic reasoning; machine learning 我们工作和生活中的许多问题都需要通过推理来解决.通过推理,我们综合已有的信息,对我们感兴趣的未 知量做出估计,或者决定采取某种行动.例如,程序员通过观察程序在测试中的输出判断程序是否有错误以及需 要进一步调试的代码位置,医生通过患者的自我报告、患者体征、医学检测结果和流行病爆发的状态判断患者 可能罹患的疾病.一直以来,计算机科学都在努力将推理自动化,例如,编写能够自动对程序进行测试并且诊断 ?基金项目: 国家自然科学基金(61222307, 61075003) 收稿时间:2013-07-17; 修改时间: 2013-08-02; 定稿时间: 2013-08-27

新资本协议中违约概率模型的研究及应用

新资本协议中违约概率模型的研究与应用 Research and Application of PD Model in New Basel Capi tal Accord 武剑王健内容摘要：巴塞尔新资本协议实施在即，新资本协议与往常版本的重大突破在于它倡导使用内部评级法（IRB）以加强风险监管的敏感性。而客户违约概率（PD）的准确计算正是内部评级法的核心内容。本文就详尽介绍了违约概率的概念、定义，计算违约概率的进展过程；并重点研究分析了一些较为成熟的违约概率计算模型和数学统计方法，并结合建行违约概率计算的应用提出一

些经验之谈，同时对国内商业银行客户违约概率研究的进展提出了建设性的意见。 关键词：内部评级法违约概率违约数据 背景 巴塞尔新资本协议立即于2003年底正式公布，并拟于200 6年在各成员国实施。新资本协议首次提出了涵盖“三大支柱”（资本充足率、市场监管和市场纪律）的监管框架，进一步充实了金融风险监管的内容和方式，这将对业以后进展产生重大和深远的阻碍。新资本协议的核心内容是内部评级法（IRB法），同意治理水平高的银行采纳IRB法计算资本充足率，从而将资本充足率与银行信用风险的大小紧密结合起来。能够讲，满足资本监管的IRB法代表了巴塞尔委员会认可的并希望商业银行，特不是大银行今后广泛采纳的内部评级体系。IRB法代表了信用风险治理技术进展的大方向。在新协议的推动下，许多国家的银行都在积极开发IRB法，力争在2006年达标。银监会也差不多明确指出，各家商业银行应该尽早着手收集内部评级体系所需的各项必要信息，为今后采纳定量分析方法监测、治理信用风险做好基础性工作。在一段时刻之后，如银行条件具备，银监会将考虑使用

概率图模型中的推断

概率图模型中的推断 王泉 中国科学院大学网络空间安全学院 2016年11月

?推断问题回顾 ?精确推断：信念传播 –信念传播算法回顾 –信念传播在HMM中的应用?近似推断：吉布斯采样–吉布斯采样算法回顾 –吉布斯采样在LDA中的应用

?推断问题回顾 ?精确推断：信念传播 –信念传播算法回顾 –信念传播在HMM中的应用?近似推断：吉布斯采样–吉布斯采样算法回顾 –吉布斯采样在LDA中的应用

?已知联合概率分布 P x 1,?,x n ，估计 –x Q 问题变量；x E 证据变量；x Q ∪x E =x 1,?,x n P R =1 P R =0 0 P R =1G =1= ? P B =0.001 P E =0.002 P A B ,E =0.95 P A B ,?E =0.94 P A ?B ,E =0.29 P A ?B ,?E =0.001 P J A =0.9 P J ?A =0.05 P M A =0.7 P M ?A =0.01 P B =1E =0,J =1=? P x Q x E =x Q ,x E x E

?已知联合概率分布 P x 1,?,x n ，估计 –x Q 问题变量；x E 证据变量；x Q ∪x E =x 1,?,x n P x Q x E =x Q ,x E x E 观测图片 y i 原始图片 x i y ?=argmax P y x 朴素贝叶斯 x ?=argmax P x y 图像去噪

?精确推断：计算P x Q x E的精确值 –变量消去 (variable elimination) –信念传播 (belief propagation) –计算复杂度随着极大团规模的增长呈指数增长，适用范围有限?近似推断：在较低的时间复杂度下获得原问题的近似解–前向采样 (forward sampling) –吉布斯采样 (Gibbs sampling) –通过采样一组服从特定分布的样本，来近似原始分布，适用范围更广，可操作性更强

读懂概率图模型：你需要从基本概念和参数估计开始

读懂概率图模型：你需要从基本概念和参数估计开始 选自statsbot作者：Prasoon Goyal机器之心编译参与：Panda 概率图模型是人工智能领域内一大主要研究方向。近日，Statsbot 团队邀请数据科学家Prasoon Goyal 在其博客上分两部分发表了一篇有关概率图模型的基础性介绍文章。文章从基础的概念开始谈起，并加入了基础的应用示例来帮助初学者理解概率图模型的实用价值。机器之心对该文章进行了编译介绍。 第一部分：基本术语和问题设定 机器学习领域内很多常见问题都涉及到对彼此相互独立的 孤立数据点进行分类。比如：预测给定图像中是否包含汽车或狗，或预测图像中的手写字符是0 到9 中的哪一个。 事实证明，很多问题都不在上述范围内。比如说，给定一个句子「I like machine learning」，然后标注每个词的词性（名词、代词、动词、形容词等）。正如这个简单例子所表现出的那样：我们不能通过单独处理每个词来解决这个任务——「learning」根据上下文的情况既可以是名词，也可以是动词。这个任务对很多关于文本的更为复杂的任务非常重要，比如从一种语言到另一种语言的翻译、文本转语音等。 使用标准的分类模型来处理这些问题并没有什么显而易见

的方法。概率图模型（PGM/probabilistic graphical model）是一种用于学习这些带有依赖（dependency）的模型的强大框架。这篇文章是Statsbot 团队邀请数据科学家Prasoon Goyal 为这一框架编写的一份教程。 在探讨如何将概率图模型用于机器学习问题之前，我们需要先理解PGM 框架。概率图模型（或简称图模型）在形式上是由图结构组成的。图的每个节点（node）都关联了一个随机变量，而图的边（edge）则被用于编码这些随机变量之间的关系。 根据图是有向的还是无向的，我们可以将图的模式分为两大类——贝叶斯网络（?Bayesian network）和马尔可夫网络（Markov networks）。 贝叶斯网络：有向图模型 贝叶斯网络的一个典型案例是所谓的「学生网络（student network）」，它看起来像是这样： 这个图描述了某个学生注册某个大学课程的设定。该图中有5 个随机变量：课程的难度（Difficulty）：可取两个值，0 表示低难度，1 表示高难度 学生的智力水平（Intelligence）：可取两个值，0 表示不聪明，1 表示聪明 学生的评级（Grade）：可取三个值，1 表示差，2 表示中，3 表示优

概率图模型介绍与计算

概率图模型介绍与计算 01 简单介绍 概率图模型是图论和概率论结合的产物，它的开创者是鼎鼎大名的Judea Pearl,我十分喜欢概率图模型这个工具，它是一个很有力的多变量而且变量关系可视化的建模工具，主要包括两个大方向：无向图模型和有向图模型。无向图模型又称马氏网络，它的应用很多，有典型的基于马尔科夫随机场的图像处理，图像分割，立体匹配等，也有和机器学习结合求取模型参数的结构化学习方法。严格的说他们都是在求后验概率:p(y|x)，即给定数据判定每种标签y的概率，最后选取最大的后验概率最大的标签作为预测结果。这个过程也称概率推理(probabilistic inference）。而有向图的应用也很广，有向图又称贝叶斯网络(bayes networks),说到贝叶斯就足以可以预见这个模型的应用范围咯，比如医疗诊断，绝大多数的机器学习等。但是它也有一些争议的地方，说到这就回到贝叶斯派和频率派几百年的争议这个大话题上去了，因为贝叶斯派假设了一些先验概率，而频率派认为这个先验有点主观，频率派认为模型的参数是客观存在的，假设先验分布就有点武断，用贝叶斯模型预测的结果就有点“水分”，不适用于比较严格的领域，比如精密制造，法律行业等。好吧，如果不遵循贝叶斯观点，前面讲的所有机器学习模型都可以dismiss咯，我们就通过大量数据统计先验来弥补这点“缺陷”吧。无向图和有向图的例子如（图一）所示： 图一(a)无向图（隐马尔科夫）(b)有向图 概率图模型吸取了图论和概率二者的长处，图论在许多计算领域中扮演着重要角色，比如组合优化，统计物理，经济等。图的每个节点都可看成一个变量，每个变量有N个状态（取值范围），节点之间的边表示变量之间的关系，它除了

各种概率分布及应用场合(建模对象)

1、高斯分布 高斯分布是最常见的分布，我现在觉得高斯分布中最难的就是，如何说服别人，你假设某个分布是高斯，是有依据的，而不是一个所谓的“经验假设”。 高斯分布的概率密度函数为： 各种各样的心理学测试分数、各种各样的无力现象、测量误差等都被发现近似地服从正态分布。尽管这些现象的根本原因经常是未知的，但是理论上可以证明如果把许多小作用加起来看做一个变量，那么这个变量服从正态分布。 由正态分布还可以到处一些常见的分布： 2、伯努利分布（又称：两点分布，0-1分布） 均值为p，方差为p(1-p). 这是为纪念瑞士科学家伯努利而命名的，猜测应该与伯努利本人没有太大关系吧，哈哈。 3、二项分布

进行独立的n次伯努利实验得到。均值为np，方差为np(1-p)。 与高斯分布的关系：当n足够大时，且p不接近于0或1，则二项分布近似为高斯分布，且n越大越近似。 4、多项分布 与二项分布对应，每次独立事件会出现3个及3个以上可能值。 二项分布和多项分布的概率值都可以经过计算多项式（x1+x2）^n 和多项式 (x1+x2+...+xm)^n的通项得到，对于二项分布，此时的x1=p，x2=1-p。 5、泊松分布 参考资料： https://www.wendangku.net/doc/3a17064791.html,/wiki/%E6%B3%8A%E6%9D%BE%E5%88%86%E5%B8%83 泊松分布适合于描述单位时间内随机事件发生的次数的概率分布。如某一服务设施在一定时间内受到的服务请求的次数，电话交换机接到呼叫的次数、汽车站台的候客人数、机器出现的故障数、自然灾害发生的次数、DNA序列的变异数、放射性原子核的衰变数等等。 概率质量函数为：（区分概率质量函数和概率密度函数，概率质量函数-离散，是概率值；概率密度-连续，不是概率值）

概率论中几种概率模型方法总结

概率论中几种概率模型方法总结 绪论：概率论中几种常用的概率模型是古典概型、几何概型、贝努里概型.本文对概率论中几种概率模型方法进行了总结。 1 古典概型 古典概型及其概率是概率论的基础知识,它既是进一步学习概率的基础,下面就一些典型事件的分析来说明古典概型的概率计算方法。古典概型的概率计算可以分为三个步骤:确定所研究的对象为古典概型;计算样本点数;利用公式计算概率。即如果随机试验只有有限个可能结果,而且每一个可能结果出现的可能性相同,那么这样的随机试验就是古典概型问题。若设Ω是一个古典概型样本空间, 则对任意事件A 有: A m P ( A ) ==Q n 中的样本点数中的样本点数。在计算m 和n 时,经常使用排列与组合计算公式。在确定一个试验的每个基本事件发生的可能性相同时,经常根据问题本身所具有的某种“对称性”,即利用人们长期积累的关于“对称性”的实际经验,认为某些基本事件发生的可能性没有理由偏大或偏小。关于古典概型的数学模型如下: 1.1 袋中取球问题 1.1.1 随机地同时从袋中取若干球问题 随机地同时从袋中取若干球问题是古典概型中的一类最基本问题,其特点是所考虑的事件中只涉及球的结构而不涉及取球的先后顺序,计算样本点数时只需考虑组合数即可。概率中的很多问题常常可以归结为此类问题来解决。 事件1 一袋中有m + n 个球,其中m 个黑球, n 个白球,现随机地从袋中取出k 个球( k ≤m + n) ,求其中恰好有l 个白球( l ≤n)的概率。 分析:随机地从袋中取出k 个球有k m+n C 种可能的结果,其中“恰好有l 个白球”这 一事件包含了l k-l n m C C 种结果,因此所求概率为l k - l n m k m + n C C P =C 这个结论可以作为一个公式来应用。用它可以解决一些类似的问题。 1.1.2 随机地从袋中不放回地取球若干次 随机地从袋中不放回地取球若干次就是指随机地从袋中每次只取一个球,取后不再放回袋中,连续进行若干次。这样的取球过程实际上是按顺序取的,所考虑的事件也会涉及到取球的顺序,所以要用排列数计算样本点数。 事件2 一袋中装有m + n 个球,其中m 个黑球, n 个白球,现随机地从中每次取出一

机器学习 —— 概率图模型(推理：团树算法)

在之前的消息传递算法中，谈到了聚类图模型的一些性质。其中就有消息不能形成闭环，否则会导致“假消息传到最后我自己都信了”。为了解决这种问题，引入了一种称为团树（clique tree)的数据结构，树模型没有图模型中的环，所以此模型要比图模型更健壮，更容易收敛。 1.团树模型 链模型是一种最简单的树模型，其结构如下图所示，假设信息从最左端传入则有以下式子。 假设要对变量CD 进行推断，则应该求Belief(3) = deta 2->3 *deta 4->3 * phi(3). 从这里可以看出，团树算法是一种精确推断算法。它和变量消除算法在理论推导上是等价的。 上面的例子只是一种非常简单的团树，团树的本质还是聚类图，只不过是一种特殊的聚类图。对于更一般的概率图，也可以生成团树图。

其中，每个cluster都是变量消除诱导图中的一个最小map。 2.团树模型的计算 从上面分析可知，团树模型本质上和变量消除算法还有说不清道不明的关系（团树模型也是精确推理模型）。但是这个算法的优势在于，它可以利用消息传递机制达到收敛。之前提过，聚类图模型中的收敛指的是消息不变。除此之外，聚类图的本质是一种数据结构，它可以储存很多中间计算结果。如果我们有很多变量ABCDEF，那么我们想知道P(A)，则需要执行一次变量消除。如果要计算P(B)又要执行一次变量消除。如果中途得到了某个变量的观测，又会对算法全局产生影响。但是使用团树模型可以巧妙的避免这些问题。 首先，一旦模型迭代收敛之后。所有的消息都是不变的，每个消息都是可以被读取的。 每个团的belief，实际上就是未归一划的联合概率，要算单个变量的概率，只需要把其他的变量边际掉就行。这样一来，只需要一次迭代收敛，每个变量的概率都是可算的。并且算起来方便。 其次，如果对模型引入先验知识比如A = a 时，我们需要对D 的概率进行估计。按照变量消除的思路又要从头来一次。但是如果使用团树结构则不用，因为A的取值只影

一个概率模型的拓展和应用

一个概率模型的拓展和应用 陈锁华 同时抛掷3枚相同的硬币，计算正面都朝上的概率，这是常见的一种游戏。本文研究将相同的n 枚硬币同时抛出，如何计算n 枚硬币同是正面朝上的概率及其推广和应用。 概率模型： 将1枚硬币抛出，正面朝上的概率是21，即12 1。用树状图验证如图1。 将相同的2枚硬币同时抛出，2枚硬币同是正面朝上的概率是41，即22 1。用树状图验证如图2。 将相同的3枚硬币同时抛出，3枚硬币同是正面朝上的概率是81，即32 1。用树状图验证如图3。 将相同的4枚硬币同时抛出，4枚硬币同是正面朝上的概率是 161，即421（验证略）。 图1 图2 图3 由此可以推断，将相同的n 枚硬币同时抛出，n 枚硬币同是正面朝上的概率是n 2 1。 特别提起注意，在这个问题中，“将n 枚硬币同时抛出”，“将1枚硬币连续抛出n 次”，“将n 枚硬币一枚一枚连续抛出”，在这三种不同的操作情形下出现的结果概率是相同的，用树状图可以验证。 拓展延伸：如果将硬币换成一个正方体的骰子，骰子的六个面上分别标有1，2，3，4，5，6六个数字，那么将完全相同的n （2 n ）枚骰子同时抛出，n 枚骰子同时出现朝上一面是数字1的概率又是多少呢？ 还是从最简单的实验开始。将完全相同的2枚骰子同时抛出，2枚骰子朝上的一面同是数字1

的概率是26 1361=。将完全相同的3枚骰子同时抛出，3枚骰子朝上的一面同是数字1的概率是3612161=。将完全相同的4枚骰子同时抛出，4枚骰子朝上的一面同是数字1的概率是46112961=。由此可以推断，将完全相同的)2(≥n n 枚骰子同时抛出，n 枚骰子朝上的一面同是数字1的概率应该是n 61。 结论应用：我们以2005年中考试题为例说明这个模型的应用。 例1. （徐州市）交通信号灯俗称红绿灯，至今已有一百多年的历史了。“红灯停，绿灯行”，这是我们必须遵守的交通规则。小刚每天骑自行车上学都要经过3个安装有红灯和绿灯的路口，假如每个路口红灯和绿灯亮的时间相同，那么，小刚从家随时出发去学校，他至少遇到1次红灯的概率是多少？不遇红灯的概率是多少？（请用树状图分析） 分析：可以将上述问题看成是抛硬币概率模型的应用。不遇红灯的概率相当于同时抛出3枚硬币时，3个反面都朝上的概率，即 81。因此至少遇到1次红灯的概率是87。（解答略） 例2. （常州市）某中学七年级有6个班，要从中选出2个班代表学校参加某项活动。七（1）班必须参加，另外再从七（2）班至七（6）班选出1个班。七（4）班有同学建议用如下方法：从装有编号为1，2，3的3个白球的A 袋中摸出1个球，再从装有编号为1，2，3的3个红球的B 袋中摸出1个球（两袋中球的大小、形状与质量完全一样），摸出的两个球上数字和是几，就选几班。你认为这种方法公平吗？说明理由。 分析：A 袋中有3个球，每个球出现的可能性相同；B 袋中也有3个球，每个球出现的可能性也相同。由上面的概率模型可得所有可能的情况共有932=种，其中两数和为2，3，4，5，6的情况出现的次数分别为1，2，3，2，1。因此七（2）至七（6）班依次被选中的概率为9192319291，，，，。因此这种方法不公平。（解答略）

概率图模型

概率图模型 过去的一段时间里，忙于考试、忙于完成实验室要求的任务、更忙于过年，很长时间没有以一种良好的心态来回忆、总结自己所学的东西了。这几天总在想，我应该怎么做。后来我才明白，应该想想我现在该做什么，所以我开始写这篇博客了。这将是对概率图模型的一个很基础的总结，主要参考了《PATTERN RECOGNITION and MACHINE LEARNING》。看这部分内容主要是因为LDPC码中涉及到了相关的知识。概率图模型本身是值得深究的，但我了解得不多，本文就纯当是介绍了，如有错误或不当之处还请多多指教。 0. 这是什么？ 很多事情是具有不确定性的。人们往往希望从不确定的东西里尽可能多的得到确定的知识、信息。为了达到这一目的，人们创建了概率理论来描述事物的不确定性。在这一基础上，人们希望能够通过已经知道的知识来推测出未知的事情，无论是现在、过去、还是将来。在这一过程中，模型往往是必须的，什么样的模型才是相对正确的？这又是我们需要解决的问题。这些问题出现在很多领域，包括模式识别、差错控制编码等。 概率图模型是解决这些问题的工具之一。从名字上可以看出，这是一种或是一类模型，同时运用了概率和图这两种数学工具来建立的模型。那么，很自然的有下一个问题 1. 为什么要引入概率图模型？ 对于一般的统计推断问题，概率模型能够很好的解决，那么引入概率图模型又能带来什么好处呢？ LDPC码的译码算法中的置信传播算法的提出早于因子图，这在一定程度上说明概率图模型不是一个从不能解决问题到解决问题的突破，而是采用概率图模型能够更好的解决问题。《模式识别和机器学习》这本书在图模型的开篇就阐明了在概率模型中运用图这一工具带来的一些好的性质，包括

概率图模型理论及应用教学大纲

教学大纲 统计推理和学习（Statistical Inference and Learning）是信号处理、模式识别、通信系统等工程应用中处理不确定性的一个重要方法。新兴的（概率）图模型是概率论与图论相结合的产物，为各种统计推理和学习提供了一个统一的灵活框架。 本课程介绍图模型基本理论，包括：图论相关知识，图模型上条件独立性，有向图模型（贝叶斯网络）、无向图模型（马尔可夫随机场），图模型的统计推理算法，图模型的学习算法（参数学习和结构学习）等，以及图模型在语音识别、图像处理、计算机视觉、通信信道编码（Turbo-coding）等应用中的具体实例。具体包括如下内容：第一章引言 统计推理和学习的概念 第二章图模型 图论相关知识（简介） 图模型上条件独立性（d-separation，Bayes ball） 有向图模型（贝叶斯网络），无向图模型（马尔可夫随机场） 在图模型框架下介绍： 多元高斯模型、 主成分分析（PCA）、 混合分布（Mixtures）、 因子分析（FA）、 隐马尔科夫模型（HMM） 第三章图模型上的推理（Inference） 图论知识深入：簇（Cliques）、可分解图（Decomposable graph），连接树（Junction tree），规范化（Moralization），三角化（Triangulation）等概念 Junction Tree算法 对HMM的前向-后向算法、Viterbi算法，线性动态系统的Kalman滤波的统一描述 1

第四章图模型的参数学习（Parameter Learning） 完整数据下的最大似然（ML）参数估计 不完整数据（Incomplete Data）下的ML参数估计（EM算法） 完整数据下的贝叶斯学习 不完整数据下的贝叶斯学习 第五章图模型的结构学习（Structure Learning） 模型选取准则，包括最小描述长度（Minimum Description Length，MDL），贝叶斯信息准则（Bayesian Information Criterion，BIC）等 结构EM算法（Structural EM） 结构的贝叶斯学习 第六章图模型的应用选讲 图模型在语音识别应用中的实例 图模型在图像处理应用中的实例 图模型在计算机视觉应用中的实例 图模型在通信信道编码（Turbo-coding）应用中的实例 （前面各章中配合理论的讲解，相应有应用实例的介绍。） 2

概率图模型介绍与计算

概率图模型介绍与计算． 概率图模型介绍与计算 01 简单介绍概率图模型是图论和概率论结合的产物，它的开创者是鼎鼎大名的Judea

Pearl,我十分喜欢概率图模型这个工具，它是一个很有力的多变量而且变量关系可视化的建模工具，主要包括两个大方向：无向图模型和有向图模型。无向图模型又称马氏网络，它的应用很多，有典型的基于马尔科夫随机场的图像处理，图像分割，立体匹配等，也有和机器学习结合求取模型参数的结构化学习方法。严格的说他们都是在求后验概率:p(y|x)，即给定数据判定每种标签y的概率，最后选取最大的后验概率最大的标签作为预测结果。这个过程也称概率推理(probabilistic inference）。而有向图的应用也很广，有向图又称贝叶斯网络(bayes networks),说到贝叶斯就足以可以预见这个模型的应用范围咯，比如医疗诊断，绝大多数的机器学习等。但是它也有一些争议的地方，说到这就回到贝叶斯派和频率派几百年的争议这个大话题上去了，因为贝叶斯派假设了一些先验概率，而频率派认为这个先验有点主观，频率派认为模型的参数是客观存在的，假设先验分布就有点武断，用贝叶斯模型预测的结果就有点“水分”，不适用于比较严格的领域，比如精密制造，法律行业等。好吧，如果不遵循贝叶斯观点，前面讲的所有机器学习模型都可以dismiss咯，我们就通过大量数据统计先验来弥补这点“缺陷”吧。无向图和有向图的例子如（图一）所示：

图一 (a)无向图（隐马尔科夫） (b)有向图 概率图模型吸取了图论和概率二者的长处，图论在许多计算领域中扮演着重要角色，比如组合优化，统计物理，经济等。图的每个节点都可看成一个变量，个状态（取值范围），节点之间的边表示变量之间的关系，它除N每个变量有． 了可以作为构建模型的语言外，图还可以评价模型的复杂度和可行性，一个算法的运行时间或者错误界限的数量级可以用图的结构性质来分析，这句话说的范围很广，其实工程领域的很多问题都可以用图来表示，最终转换成一个搜索试问还有什么问题不是搜索问题？目标就是快速的定位到目标，或者查找问题，树是图，旅行商问题是基于图，染色问题更是基于图，他们具有不同的图的结 构性质。对于树的时间复杂度我们是可以估算出来的，而概率图模型的一开始

经济问题中的概率统计模型及应用

经济问题中概率统计模型及应用 目录 摘要 (2) 英文摘要 (3) 1引言 (4) 2市场调查过程中统计模型的应用 (4) 2.1市场调查的定义 (4) 2.2样本容量的确定 (4) 2.3选取合理的抽样方法 (5) 3早期概率统计模型的经济学应用 (5) 3.1古典概型与早期博彩 (5) 3.2数学期望与街头博彩式营销 (6) 4保险业中的概率统计模型 (7) 4.1 随机变量与保险业 (7) 4.2中心极限定理与保险业 (8) 4.3保险业中的大数定理 (8) 4.3.1伯努利大数定理 (8) 4.3.2泊淞大数定理 (8) 4.3.3保险业中大数定理的应用实例 (9) 5概率统计模型在营销行业的应用 (9) 6概率统计模型与经济预测——回归分析 (11) 7概率统计模型与投资决策 (12) 7.1概率统计在投资决策中应用的理论基础 (12) 7.2概率统计在风险型决策中应用 (13) 7.3概率统计在风险型决策中应用实例 (13) 7.4概率统计模型在不确定型投资决策中的应用 (14) 8本文总结 (15) 参考文献 (16)

经济问题中的概率统计模型及应用 数学与统计学院统计学姓名（学号） 指导老师：姓名（职称） 摘要：在经济全球化和大数据时代到来的今天，数据和经济的联系无疑更加密切。为了从复杂的现实数据中得到具有针对性的有效信息，需要借用一定的数学方法，即概率统计模型。概率统计模型不仅被用于进行市场调查、经济预测、风险决策等经济过程中，同时也应用于保险业、营销、管理等各个经济领域。通过概率统计模型，可以将错综复杂的经济问题具体化、数量化，使经济现象得到精确化的表述。 关键词：概率统计模型；经济问题；市场调查；保险；营销；经济预测；风险决策

概率论与数理统计在数学建模中的应用__本科毕业设计论文

概率论与数理统计在数学建模中的应用 ——国 冰 。 第一节 概率模型 一、初等概率模型 初等概率模型主要介绍了可靠性模型、传染病流行估计、常染色体遗传模型等三类问题： 1、复合系统工作的可靠性问题的数学模型 设某种机器的工作系统由N 个部件组成，各部件之间是串联的，即只要有一个部件失灵，整个系统就不能正常工作．为了提高系统的可靠性，在每个部件上都装有主要元件的备用件及自动投入装置(即当所使用元件损坏时，备用元件可自动替代之而开始工作)明显地，备用件越多，整个系统正常工作的可靠性就越大. 但是，备用件过多势必导至整个系统的成本、重量和体积相应增大，工作精度也会降低. 因此，配置的最优化问题便被提出来了：在某些限制性条件之下，如何确定各部件的备用件数量，使整个系统的工作可靠性最大? 这是一个整体系统的可靠性问题.我们假设第i 个部件上装有i x 个备用件(1,2,,)i N =,此时该部件正常工作的概率为()i p x ，那么整个系统正常工作的可靠度便可用 1()n i i p p x ==∏ （9.1） 来表示. 又设第i 个部件上的每个备用件的费用为i C ，重量为i W ，并要求总费用不超过C ，总重量不超过W ，则问题的数学模型便写成为 1max ()n i i p p x ==∏ （9.2）

1 1 ..,1,2,N i i i N i i i i c x c s t w x c x N i N ==?≤???≤???∈=??∑∑ 问题的目标函数为非线性的，决策变量取整数，属于非线性整数规划问题。 2、传染病流行估计的数学模型 问题分析和模型假设 本世纪初，瘟疫还经常在世界的某些地方流行。被传染的人数与哪些因素有 关？如何预报传染病高潮的到来？为什么同一地区一种传染病每次流行时，被传染的人数大致不变？科学家们建立了数学模型来描述传染病的蔓延过程，以便对这些问题做出回答。 这里不是从医学角度探讨每一种瘟疫的传染机理，而是利用概率论的知识讨 论传染病的蔓延过程。 假定人群中有病人或更确切地说是带菌者，也有健康人，即可能感染者，任 何两人之间的接触是随机的，当健康人与病人接触时健康人是否被感染也是随机的. 问题在于一旦掌握了随机规律，那么如何去估计平均每天有多少健康人被感染，这种估计的准确性有多大? 给出以下假设 （1）设人群只分病人和健康人两类，病人数和健康人数分别记为i 和s ，总 数n 不变，即 i s n += （9.3） （2）人群中任何二人的接触是相互独立的，具有相同概率p ，每人每天平 均与m 人接触； （3） 当健康人与一病人接触时，健康人被感染的概率为λ。 模型建立求解 由假设（2）知道一个健康人每天接触的人数服从(1,)b n p -，且平均值是m ，则 (1)m n p =-

概率图模型理论及应用教学日历

教学日历 上课时间：第四大节（15:20~16:55） 上课地点：六教6A403 大节课次内容 （1）9月13日第一章引言 统计推理和学习的概念 （2）9月20日第二章图模型 图论相关知识 有向图模型（贝叶斯网络） （3）9月27日图模型上条件独立性（d-separation，Bayes ball）无向图模型（马尔可夫随机场） （4） 10月4日 国庆放假 （5）10月11日在图模型框架下介绍： 多元高斯模型、 主成分分析（PCA）、 混合分布（Mixtures）、 （6）10月18日因子分析（FA）、 隐马尔科夫模型（HMM） （7）10月25日第三章图模型上的推理（Inference） 图论知识深入：簇（Cliques）、可分解图（Decomposable graph），连接树（Junction tree），规范化（Moralization），三角化（Triangulation）等 （8） 11月1日 图论知识深入（续） 1

（9） 11月8日 Junction Tree算法 （10） 11月15日 Junction Tree算法（续） （11） 11月22日 HMM的前向-后向算法、Viterbi算法 （12） 11月29日 线性动态系统的Kalman滤波 （13）12月6日第四章图模型的参数学习（Parameter Learning） 完整数据下的最大似然（ML）参数估计 不完整数据（Incomplete Data）下的ML参数估计（EM算法）完整数据下的贝叶斯学习 不完整数据下的贝叶斯学习 （14）12月13日第五章图模型的结构学习（Structure Learning） 模型选取准则，包括最小描述长度（Minimum Description Length，MDL），贝叶斯信息准则（Bayesian Information Criterion，BIC）等 结构EM算法（Structural EM） 结构的贝叶斯学习 （15）12月20日第六章图模型的应用选讲 图模型在语音识别应用中的实例 图模型在图像处理应用中的实例 （16）12月27日图模型在计算机视觉应用中的实例 图模型在通信信道编码（Turbo-coding）应用中的实例 2

高中数学：概率模型的应用

高中数学：概率模型的应用 在求解概率问题时，当题意所表述的形式难于解决时，可将该问题转化成一个熟悉的“概率模型”，从而求解，常见的解法就是转化为摸球与放球问题，使问题得以解答。 袋中有N个白球、M个黑球，现有放回地从袋中摸球，求： （1）在n次摸球中恰好摸到k（k=0，1，…，n）个黑球的概率； （2）第k次才摸到黑球的概率； （3）第r次摸到的黑球是在第k次摸球时实现的概率。 解：由于袋中有N+M个球且是有放回地摸球，故每次摸球都有N+M种等可能结果（此时设想球是编了号，可区别的）。 （1）设在n次摸球中恰好模型k（k=0，1，…，n）个黑球为事件A，考虑前n次有放回摸球，共有 （N+M）n种可能，对于事件A有种不同情况，而每种情况（如前k次均摸到黑球，后n－k次摸到白球）都有种可能，又因种情况是两两互斥事件，故A

有种结果，由等可能事件概率公式得 。 （2）设第k次才摸到黑球为事件B，前k次摸球有（N+M）k种等可能结果，事件B的发生表明前k－1次均摸到白球有种可能，第k次才摸到黑球有M种可能，故事件B有M种可能，由等可能事件概率公式得P（B）=。 （3）设第r次摸到黑球是在第k次摸球时实现的为事件C，前k次摸球有种等可能结果。第k次摸到黑球，有M种结果，前k－1次摸球有r－1次摸到黑球，有种可能，故C事件共有M种结果。由等可能事件概率公式得P（C）=。 可化为摸球问题举例： 例1 100件产品（各不相同）中有35件次品，随机不放回地抽取5件，求： （1）“仅后两件是次品”的概率； （2）“有两件是次品”的概率。

分析：此问题，可将“产品”换成“球”，“次品”换成“黑球”，“件”换成“个”，“抽”换成“摸”，就变成无放回摸球问题。 解：（1）设仅后两件是次品为事件A，球各不相同，总的抽法有。则对于事件A来说，前三次抽得正品、后两次抽得次品有种可能，由等可能事件概率公式得P（A）=。 （2）设有两件是次品为事件B，则P（B） =。 例2 一副扑克牌（除了大小王）有4种花色，每种花色13张，共52张，从中有放回地任取4张，求有两张方块的概率。 分析：把“52张牌”看成“52个球”，“方块”看成“黑球”，相当于求从52个球中有放回地摸出4个球，其中有两个黑球的概率。 解：设有放回地摸出4个球，其中有两个黑球为事件A，则套用摸球问题第一问可得P（A） =。

Stanford概率图模型(Probabilistic Graphical Model)L2

Stanford概率图模型（Probabilistic Graphical Model）L2 Stanford概率图模型（Probabilistic Graphical Model）—第二讲Template Models and Structured CPDs概率图模型（Probabilistic Graphical Model）系列来自Stanford公开课Probabilistic Graphical Model中Daphne Koller 老师的讲解。（https://https://www.wendangku.net/doc/3a17064791.html,/pgm-2012-002/class/index）主要内容包括（转载请注明原始出处https://www.wendangku.net/doc/3a17064791.html,/yangliuy）1. 贝叶斯网络及马尔可夫网络的概率图模型表示及变形。2. Reasoning 及Inference 方法，包括exact inference(variable elimination, clique trees) 和approximate inference (belief propagation message passing, Markov chain Monte Carlo methods)。3. 概率图模型中参数及结构的learning方法。4. 使用概率图模型进行统计决策建模。第二讲. Template Models and Structured CPDs.1 Template Models模版图模型，是对图模型更加紧凑的描述方式。模版变量是图模型中多次重复出现的变量，例如多个学生的智商、多门课程的难度。而模版图模型描述了模版变量如何从模版中继承依赖关系，典型的TemplateModels有动态贝叶斯模型DBN、隐马尔科夫模型HMM及PlateModels。动态贝叶斯模型主要是在贝叶斯网络中引入了马尔科夫假设和时间不变性。这几个模型将在后面几讲中再深入介绍，下面看