文档库 最新最全的文档下载
当前位置:文档库 › R语言案例_用bignmf 进行非负矩阵分解

R语言案例_用bignmf 进行非负矩阵分解

NMF综述报告

人脸识别的非负矩阵分解(NMF)方法文献综述 摘要:人类对整体的感知是基于对部分的感知,NMF(非负矩阵分解,Non-negative matrix factorization)的思想正是源于此。通过对矩阵分解因子加入了非负性约束,使得对高维非负原始数据矩阵的分解结果不存在负值,且具有一定的稀疏性,因而得到了相对低维、纯加性、拥有一定稀疏特性的分解结果。与PCA(主成分分析,principal components analysis)等传统人脸识别方法相比,NMF的基图像就是人脸的各个局部特征,并且通过对经典算法的一系列优化,改进的NMF算法的识别率和鲁棒性较传统方法有着显著优势。此外,NMF在机器学习、语义理解等领域也有着重要应用。 关键词:非负矩阵分解(NMF)稀疏性改进的NMF 语义理解 一、引言 在实际中的许多数据都具有非负性,而现实中对数据的处理又要求数据的低秩性经典的数据处理方法一般不能够确保非负性的要求,如何找到一个非负的低秩矩阵来近似原数据矩阵成为一个关键问题。在这样的背景下,NMF方法应运而生。 NMF方法思想最早可以追溯到由Paatero和Tapper在1994年提出的正矩阵分解(Positive Matrix Factorization,PMF)[1];此后1999年,Lee和Seung提出了一个以广义KL散度为优化目标函数的基本NMF模型算法,并将其应用于人脸图像表示[2];2001年,Lee和Seung通过对基本NMF算法进行深入研究,又提出了两个经典的NMF算法,即基于欧氏距离测度的乘性迭代算法和基于广义KL散度的乘性迭代算法,并给出了收敛性证明[3],这两种算法称为NMF方法的基准算法,广泛应用于各个领域。 但是在实际应用中,由于经典的基准NMF算法存在收敛速度较慢,未利用统计特征,对光线、遮挡等敏感,以及无法进行增量学习等问题,各种改进的NMF算法被提出。其中包括Lin提出的基于投影梯度(Projected Gradient,PG)的NMF方法[3],该方法有着很高的分解精度;Berry提出的基于投影非负最小二乘(Projected Non-negative Least Square,PNLS)的NMF方法[5],通过这种方法得到的基矩阵的稀疏性、正交性叫基准NMF方法都更好;此外还有牛顿类方法[6]和基于有效集[7]的NMF方法等。 二、NMF的基准算法 1.NMF模型 给定一个非负矩阵(即),和一个正整数,求未知非负矩阵和,使得 用表示逼近误差矩阵。可以用下图表示该过程:

非负矩阵分解算法概述之Lee&Seung的世界

非负矩阵分解算法概述 (吴有光) NOTE:本文为科普文章,尽量做到通俗而不严格,比较适合理论小白补补NMF历史 第一部分Lee&Seung的世界 1 引言 现实生活中的数据,我们总是希望有个稀疏表达,这是从压缩或数据存储的角度希望达到的效果。从另一方面来讲,我们面对大量数据的时候,总是幻想能够发现其中的“规律”,那么在表示或处理的时候,直接操作这些提纲挈领的“规律”,会有效得多。这个事情,让很多的科学家都伤透脑筋,不过也因此有了饭碗。 1.1第一个例子 我们先来看一个简单的例子。在人文、管理或社会学里,实证研究方法是常用的方法。比如我们来考察大学生就业过程,对学生的选择工作类别的动机,我们常说“想吃劳保饭的同学铁了心要考公务员,喜欢轻松自由氛围的同学更趋向于外企,只想稳定的同学认为国企最好,富二代神马的最爱创业然后继承家产了”,这句话如果要严格来论证是不可能的,那么我们转而寻求“调查论证”,即通过设计问卷(问卷上设计了可能影响学生选择的因素,比如家庭情况、学业情况、性格取向、对大城市或家乡的热恋程度、以及人生观价值观等等各种我们可能会影响就业取向的因素)各种我们猜测会影响学生。 问卷上来后,我们通过统计得到如下的列表。 图1 第一个例子的统计表示例 表中的各个因素我们进行了量化,比如性格因素从完全内向到热情奔放分为5个等级(可以用一些问题来直接或间接获得这个等级)。那么剩下的问题就是回答开始的问题:

(1)是不是我们设计的每个因素都有效?(显然不是,之所以设计问卷就是要来解决这个问题的) (2)是什么因素影响了学生的最终选择?或者说,从统计上来看,每个因素占多大比重? 这时,用矩阵来表示可写为,其中就表示那个因素矩阵,表示最终取向,代 表我们要求的系数。我们把要求的用代替,写成矩阵形式为: (1) 更进一步,如果我们不仅调查学生的去向,还想同时调查很多事情,那么就会有 ,这样上面的式子改写为: (2) 此时问题转化为: Q1:已知,如何求解,使之满足上面的等式,其中具有初始值(就是我们设计的 一堆东西)。 如果我们让固定,这就是一个方程求解的过程。然而,当我们认为也可以缩减,即认为很少样本就足够表示我们真实取得的样本,那么问题进一步转化为:Q2:如何同时求解和,使之满足。 或者我们也可以只对因素矩阵进行分解,即直接对其进行消减: (3) 其中,为消减后因素矩阵,为在基底下的表示系数,这里要求列数要大大低于的列数,否则就没有实际意义。 上面这个过程,就类似Paatero&T apper于1994年提出的实矩阵分解(Positive Matrix Factorization, PMF)模型,此模型后来被Lee&Seung提出的非负矩阵分解(Nonnegative Matrix Factorization, NMF/NNMF)模型所取代。 1.2 第二个例子 第一个例子为了给非数学、非信号处理的同学一个印象,写的罗里吧嗦,那第二个例子我们就简单写。 给定一组信号,如何找到对其进行稀疏表示?即如何找到满足的和,因为,这里要求且。 这个问题对信号处理的同学来说,太熟悉了。因为我们毕生的精力都在干这件事情。 如果去掉的非负限制,是有很多现成且高效的方法的,比如主成分分析(Principle Component Analysis,PCA)、独立成分分析(Independent Component Analysis,ICA)、因子分析(Factor Analysis,FA)等。然而,施加了非负限制后,这些方法就不适用了。而为什么要施加非负限制,回想第一个例子就明白了,我们最终找的是“影响因子”,因子会有负的么? 于是,非负矩阵分解就出世了, 1.3 非负矩阵分解 非负矩阵分解(Non-negative Matrix Factorization,NMF)从1999年正式提出【1】至今,

基于约束非负矩阵分解的图像表示

对于图像的约束非负矩阵分解 摘要:非负矩阵分解(NMF)对于寻找非负数据的块基础和线性表示是一个常用的方法。它已经广泛的应用于各种应用,比如模式识别,信息检索,计算机视觉。但是,NMF本质上是一个非监督方法,不能利用标签信息。在本文中,我们提出一种新的半监督矩阵分解方法,叫约束非负矩阵分解(CNMF),将标签作为附加约束合并进来。特别地,本文显示出结合标签信息能非常简洁地提高矩阵分解的识别能力。我们利用两个函数公式和提供的相应优化问题的更新解决方法来研究所提出的CNMF方法。通过实际数据的评估,我们所提出的方法和最先进的方法相比更有效。 索引词:非负矩阵分解,半监督学习,降维,聚类

1.简介 许多数据分析中一个基础的问题就是寻找一个合适的表示数据[1],[2],[3],[4],[5],[6],[7],[8]。可以应用一个非常有效的方法表示数据之间的潜在结构。矩阵分解技术作为这类数据表示的基础工具已经得到越来越多的注意。运用不同的标准已经得到了大量不同的方法。最流行的技术包括主成分分析(PCA)[9],奇异值分解(SVD)[10],和向量量化[11]。矩阵分解的中心是找到两个或者更多的因子产生原始数据的一个好的逼近。在实际应用中,分解之后的矩阵维数通常远远小于原始数据的维数。这就引起了数据的压缩表示,促进了其他研究比如聚类和分类。 在矩阵分解方法中,非负矩阵分解(NMF)有一个限制即所有的矩阵因子都必须是非负的,即所有的因子必须大于等于零。这个非负性约束使NMF从感觉上只能对原始数据进行加操作不能减。因此,对于图像处理,人脸识别[2][12],文件聚类[13][14]是一个理想的降维方法,它们就是由部分组成整体的。 NMF是一个非监督学习方法。NMF不能应用于许多实际的问题当专家认为是可行的有限知识中。但是许多机器语言的研究发现未标签的数据当与一些少量的标签数据相结合时在研究精确度上会产生相当大的提高[15][16][17]。全标签训练集的处理过程可能会很昂贵,然而少量的标签数据的获得相对便宜。在这种情况下,半监督学习方法就有很大的实用价值。因此,用半监督学习方法研究NMF 很有意义。 最近,蔡登等人提出了一种图表正则化NMF(GNMF)方法来编码数据空间的几何信息。GNMF构建一个最近邻图表模拟多种结构。当标签信息可行时,它自然地应用到图表结构中。特别地,如果两个数据点使用同一个标签,大的权重会被分配到边缘连接它们。如果两个数据点使用不同的标签,相应的权重都是0。这就引起了半监督GNMF。这个方法的最大缺点是相同类别的数据点将会一起映射到一个新的表示空间,而且怎样有原则的选取权重并不清晰,这一观点没有理论保证。 本文中,我们提出一种新的矩阵分解方法,叫约束非负矩阵分解(CNMF),将标签信息作为附加的约束。我们算法的中心是相同类别的数据可以在一个新的表示空间中合并。这样,已经获得的部分表示就有和原始数据一致的标签,因此就有多的识别能力。我们方法的另一个优点是参数自由,避免了参数调试来获得更好的结果。这就使我们的算法更容易方便的应用于真实世界应用中。我们还讨论了怎样高效的解决相应的最优化问题。给出最优化收敛性证明。本文贡献如下:1.标准NMF是一个非监督学习算法不需要结合标签信息。本文中,我们将它扩展为半监督学习算法。此外,我们将标签信息作为约束;这样一来,有相同标签

基于矩阵分解的卡尔曼滤波技术分析及应用

基于矩阵分解的卡尔曼滤波技术分析及应用 【摘要】本文简要介绍了卡尔曼滤波研究的发展历程,重点对卡尔曼滤波及其在改善数值稳定性,提高计算效率等数值方面的研究与发展进行了综述,对Q-R 分解,U-D 分解,奇异值分解(SVD )等在卡尔曼滤波的应用进行了介绍。最后给出了一种基于Q-R 矩阵分解的自适应滤波方法,仿真验证了其有效性。 1 引言 1960年,美籍科学家卡尔曼(R. E. Kalman)在系统状态空间模型的基础上提出了著名的线性卡尔曼滤波器,它在线性的前提假设下是一个线性无偏、最小方差估计器,从而可以为线性滤波问题提供精确解析解。自该技术被提出以来,它已成为控制、信号处理与通信等领域最基本最重要的计算方法和工具之一,并已成功地应用到航空、航天、电力系统及社会经济等不同领域。随着微型计算机的普及应用,对卡尔曼滤波的数值稳定性、计算效率、实用性和有效性的要求越来越高.为此,人们在如何改善卡尔曼滤波的计算复杂性和数值稳定性方面作了大量的探索工作,各种基于平方根滤波与平滑,U-D 分解滤波与平滑,奇异值分解滤波与平滑,状态与偏差分离滤波以及并行与分散滤波等方法得到不断发展.本文给出了矩阵分解的一些基础知识,并着重从卡尔曼滤波数值计算方法入手,对现有的常规卡尔曼滤波、基于矩阵的因式分解滤波的数值计算方法进行了较系统的介绍和分析,并在第四章给出了一种基于Q-R 矩阵分解的自适应滤波算法。 2 常规卡尔曼滤波 2.1 协方差卡尔曼滤波 考虑如下线性离散系统 k k k k k w x A x Γ+=+1 (2.1.1) k k k k v x C z += (2.1.2) 式中n k R x ∈是状态向量,m k R z ∈是量测向量,p k R w ∈是系统噪声向量,m k R v ∈是量测噪声向量.假设系统噪声和量测噪声是互不相关的零均值高斯白噪声,方差阵分别为k Q ,k R ,则协方差卡尔曼滤波方程为: 111|??---=k k k k x A x (2.1.3) T k k k k T k k k k Q A P A P 1111111|-------ΓΓ+= (2.1.4)

非负矩阵分解算法概述之Lee

非负矩阵分解算法概述 (吴有光 NOTE :本文为科普文章,尽量做到通俗而不严格,比较适合理论小白补补 NMF 历史第一部分 Lee&Seung的世界 1 引言 现实生活中的数据,我们总是希望有个稀疏表达,这是从压缩或数据存储的角度希望达到的效果。从另一方面来讲, 我们面对大量数据的时候, 总是幻想能够发现其中的“规律” , 那么在表示或处理的时候,直接操作这些提纲挈领的“规律” ,会有效得多。这个事情,让很多的科学家都伤透脑筋,不过也因此有了饭碗。 1.1第一个例子 我们先来看一个简单的例子。在人文、管理或社会学里,实证研究方法是常用的方法。比如我们来考察大学生就业过程, 对学生的选择工作类别的动机, 我们常说“ 想吃劳保饭的同学铁了心要考公务员, 喜欢轻松自由氛围的同学更趋向于外企, 只想稳定的同学认为国企最好,富二代神马的最爱创业然后继承家产了” ,这句话如果要严格来论证是不可能的,那么我们转而寻求“调查论证” ,即通过设计问卷(问卷上设计了可能影响学生选择的因素, 比如家庭情况、学业情况、性格取向、对大城市或家乡的热恋程度、以及人生观价值观等等各种我们可能会影响就业取向的因素各种我们猜测会影响学生。 问卷上来后,我们通过统计得到如下的列表。 图 1 第一个例子的统计表示例 表中的各个因素我们进行了量化,比如性格因素从完全内向到热情奔放分为 5 个等级 (可以用一些问题来直接或间接获得这个等级。那么剩下的问题就是回答开始的问题:

(1是不是我们设计的每个因素都有效?(显然不是,之所以设计问卷就是要来解决这个问题的 (2是什么因素影响了学生的最终选择?或者说,从统计上来看,每个因素占多大比重? 这时, 用矩阵来表示可写为 , 其中就表示那个因素矩阵, 表示最终取向, 代表我们要求的系数。我们把要求的用代替,写成矩阵形式为: (1 更进一步,如果我们不仅调查学生的去向,还想同时调查很多事情,那么就会有 ,这样上面的式子改写为: (2 此时问题转化为: Q1:已知 ,如何求解

超分辨率算法综述

图像超分辨率算法综述 摘要:介绍了图像超分辨率算法的概念和来源,通过回顾插值、重建和学习这3个层面的超分辨率算法,对图像超分辨率的方法进行了分类对比,着重讨论了各算法在还原质量、通用能力等方面所存在的问题,并对未来超分辨率技术的发展作了一些展望。 关键词:图像超分辨率;插值;重建;学习; Abstract:This paper introduced the conception and origin of image super resolu- tion technology. By reviewing these three kinds of methods(interpolation,reconstruct, study), it contrasted and classified the methods of image super-resolution,and at last, some perspectives of super-resolution are given. Key words: image super-resolution;interpolation;reconstruct;study;

1 引言 1.1 超分辨率的概念 图像超分辨率率(super resolution,SR)是指由一幅低分辨率图像(low resolution,LR)或图像序列恢复出高分辨率图像(high resolution, HR)。HR意味着图像具有高像素密度,可以提供更多的细节,这些细节往往在应用中起到关键作用。要获得高分辨率图像,最直接的办法是采用高分辨率图像传感器,但由于传感器和光学器件制造工艺和成本的限制[1],在很多场合和大规模部署中很难实现。因此,利用现有的设备,通过超分辨率技术获取HR图像(参见图1)具有重要的现实意义。 图1 图像超分辨率示意图 图像超分辨率技术分为超分辨率复原和超分辨率重建,许多文献中没有严格地区分这两个概念,甚至有许多文献中把超分辨率图像重建和超分辨率图像复原的概念等同起来,严格意义上讲二者是有本质区别的,超分辨率图像重建和超分辨率图像复原有一个共同点,就是把在获取图像时丢失或降低的高频信息恢复出来。然而它们丢失高频信息的原因不同,超分辨率复原在光学中是恢复出超过衍射级截止频率以外的信息,而超分辨率重建方法是在工程应用中试图恢复由混叠产生的高频成分。几何处理、图像增强、图像复原都是从图像到图像的处理,即输入的原始数据是图像,处理后输出的也是图像,而重建处理则是从数据到图像的处理。也就是说输入的是某种数据,而处理结果得到的是图像。但两者的目的是一致的,都是由低分辨率图像经过处理得到高分辨率图像。另外有些文献中对超分辨率的概念下定义的范围比较窄,只是指基于同一场景的图像序列和视频序列的超分辨处理,实际上,多幅图像的超分辨率大多数都是以单幅图像的超分辨率为基础的。在图像获取过程中有很多因素会导致图像质量下降,如传感器的形

线性规划问题的算法综述

线性规划问题的算法综述 本文从网络收集而来,上传到平台为了帮到更多的人,如果您需要使用本文档,请点击下载按钮下载本文档(有偿下载),另外祝您生活愉快,工作顺利,万事如意! 线性规划概念是在1947年的军事行动计划有关实践中产生的,而相关问题1823年Forier和口1911年PQusi就已经提出过,发展至今已有将近100年的历史了。现在已成为生产制造、市场营销、银行贷款、股票行情、出租车费、统筹运输、电话资费、电脑上网等等热点现实问题决策的依据。线性规划就是在满足线性约束下,求线性函数的极值。 毋庸置疑,数学规划领域的重大突破总是始于线形规划。提到线性规划算法,人们最先想到的是单纯形法和内点法。单纯形法是实际应用中使用最普遍的一种线性规划算法,而研究者们已证明在最坏的情况下单纯形法的计算复杂度是指数级的,内点算法的计算复杂度是多项式时间的。把两种算法相提并论,要么是这两种算法都已经非常完备,要么都有需改进之处。显然不属于前者,即两者都有需要改进之处。几十年来,研究者通过不断努力,在两种算法的计算上都取得相当的进展。 1数学模型

线性规划问题通常表示成如下两种形式:标准型、规范型。 设jj(2…,n)是待确定的非负的决策变量;认2…,n)是与决策变量相对应的价格系数;K2…mj=l2…n)是技术系数;b(i12…,m)是右端项系数; 线性规划是运筹学最基本、运用最广泛的分支,是其他运筹学问题研究的基础。在20世纪50年代到60年代期间,运筹学领域出现许多新的分支:非线性规划(nonlinearprogranming、商业应用(crnxmereialpplieation、大尺度方法(laresealemeh-Qd)随机规划(stochasticPKgiamniig)、整数规划(ntegerprogramming)、互补转轴理论(amplmentaiyPivotheor)多项式时间算法(polynomialtjneagatm)等。20世纪70年代末,上述分支领域都得到了极大发展,但是却都不完善。而且数学规划领域中存在许多Nfkhard问题,如TP问题,整数规划问题等。这些问题的基本模型都可以写成线性规划形式,因此通过对线性规划算法的进一步研究,可以进一步启发及推动数学规划领域内其他分支的发展。 2边界点算法 由于单纯形法与基线算法都是在可行集的边界上

文献综述部分参考写法

非负矩阵分解文献综述 一、国内外研究现状 近年来,技术传感器技术和计算机硬件的发展导致数据量的增加,许多经典数据分析工具被迅速压倒.因为信息采集设备只有有限的带宽,收集到的数据并不经常准确.其次,在很多情况下,从复杂现象观察到的数据,其往往代表几个相互关联的变量共同作用的综合结果.当这些变量更少的精确定义时,在原始数据中包含的实际信息往往是重叠的、模糊的.为了处理这些海量数据,科学家产生了新的关注. 1999年,在刊物Nature上,Daniel Lee 和Sebastian Seung开始的一系列新的NMF的研究,数以百计的论文引用Lee 和Seung的论文,但一些较不为人知的事实是,在Lee 和Seung 的论文发表之前,Pentti Paatero开始了相关的工作. 虽然Lee和Seung引用Paatero的论文,Lee和Seung将Paatero的工作称为正矩阵分解,然而,Paatero的工作很少被后来的作者所引用.这是因为Paatero 将其工作称为正矩阵分解,这是误导Paatero创建NMF算法。实际上Paatero年前发表了他最初的分解算法[1]. 2005年,Lin为了加速Lee和Seung的NMF迭代算法的收敛速度,最近提出使用投影梯度有约束的优化方法[2],该方法与标准的(乘法更新规则)的方法相比,计算似乎有更好的收敛性.使用某些辅助约束,可以降低分解有约束的优化假设,降低投影梯度方法的局限性. 2007年,V.Blondel等对标准NMF算法进行了加权改进,提出了加权NMF方法[3]。通过加权,更好的表述了数据中的重要区域.其加权方法是:首先,定义数据中的重要区域,然后,在优化过程中,如果在该重要区域中重建错误,就给他分配更多的权重. 国内对NMF的研究相对开始的较晚.2001 年,原微软中国研究院的李子青博士、张宏江博士等人发现Lee和Seung提出的经典NMF算法在人脸图像未得到配准的情况下,不能学习得到人脸的部件.并提出了局部非负矩阵分解来解决这个问题[4].Chen 等人将LNMF算法应用于人脸检测并取得了较好的效果.现为中科院自动化所生物识别与安全技术研究中心主任的李子青带领他的团队,于2009 年,提出了基于吉布斯随机场的 NMF 算法[4],该算法的收敛速度较快,并且得到的分解结果具有较好的稀疏性和可解释性.清华大学信息科学与技术国家实验室的章毓晋教授、李乐博士对非负矩阵分解的研究做了大量的工作,对 NMF 算法的研究现状进行了综述,对已有的NMF算法进行了很好的分类,指出各个NMF算法的缺点,并提出了改进的算.针对NMF的先天缺陷,即数据描述能不强、推广性差,提出了非负矩阵集分解的概念和相应的算法[4]. 浙江大学计算机学院的蔡登教授等人针对流形数据提出了图正则非负矩阵分

一种受限非负矩阵分解方法_黄钢石

第34卷第2期2004年3月  东南大学学报(自然科学版) JOURNA L OF S OUTHE AST UNIVERSITY (Natural Science Edition )   V ol 134N o 12Mar.2004 一种受限非负矩阵分解方法 黄钢石1 张亚非1 陆建江1,2,3 徐宝文2,3 (1解放军理工大学通信工程学院,南京210007) (2东南大学计算机科学与工程系,南京210096) (3江苏省软件质量研究所,南京210096) 摘要:提出一种获取潜在语义的受限非负矩阵分解方法.通过在非负矩阵分解方法的目标函数上增加3个约束条件来定义受限非负矩阵分解方法的目标函数,给出求解受限非负矩阵分解方法目标函数的迭代规则,并证明迭代规则的收敛性.与非负矩阵分解方法相比,受限非负矩阵分解方法能获取尽可能正交的潜在语义.实验表明,受限非负矩阵分解方法在信息检索上的精度优于非负矩阵分解方法. 关键词:非负矩阵分解;受限非负矩阵分解;潜在语义;信息检索中图分类号:TP18 文献标识码:A 文章编号:1001-0505(2004)022******* Constrained factorization method for non 2negative m atrix Huang G angshi 1 Zhang Y afei 1 Lu Jianjiang 1,2,3 Xu Baowen 2,3 (1Institute of C ommunication Engineering ,P LA University of Science and T echnology ,Nanjing 210007,China ) (2Department of C om puter Science and Engineering ,S outheast University ,Nanjing 210096,China ) (3Jiangsu Institute of S oftware Quality ,Nanjing 210096,China ) Abstract :A novel method ,constrained non 2negative matrix factorization ,is presented to capture the latent semantic relations.The objective function of constrained non 2negative matrix factorization is defined by im posing three additional constraints ,in addition to the non 2negativity constraint in the standard non 2negative matrix factorization.The update rules to s olve the objective function with these constraints are presented ,and its convergence is proved.In contrast to the standard non 2negative matrix factorization ,the constrained non 2negative matrix factorization can capture the semantic relations as orthog onal as possible.The experiments indicate that the constrained non 2negative matrix factorization has better precision than the standard non 2negative matrix factorization in in formation retrieval. K ey w ords :non 2negative matrix factorization ;constrained non 2negative matrix factorization ;latent semantic relations ;information retrieval 收稿日期:2003206213. 基金项目:国家自然科学基金青年科学基金资助项目(60303024)、国家973规划资助项目(G 1999032701)、国家自然科学基金资助项目 (60073012). 作者简介:黄钢石(1969— ),男,博士生,工程师,huang -gangshi @https://www.wendangku.net/doc/1a9687291.html,;张亚非(联系人),男,博士,教授,博士生导师,y f zhang888@https://www.wendangku.net/doc/1a9687291.html,.非负矩阵分解(non 2negative matrix factorization ,NMF )是一种新的矩阵分解方法,它将一个元素非负的矩阵分解为左右2个非负矩阵乘积[1,2].由于分解后的矩阵中仅包含非负元素,因此原矩阵中列向量可解释为对左矩阵中所有列向量(称为基向量)的加权和,而权重系数为右矩阵中对应列向量中的元素.这种基于基向量组合的表示形式具有直观的语义解释,反映了人们思维中“局部构成整体”的概念.NMF 已成功应用于多个领域[3,4],作者也已尝试将NMF 应用于从用户会话中发现典型用户文件[5,6]. NMF 算法也可以用于获取文本集中的潜在语义.由于NMF 算法得到的解是局部最优解,获取的潜在 语义之间往往存在冗余[2],为使潜在语义尽可能正交,提出一种受限的非负矩阵分解方法C NMF

(完整版)视频目标检测与跟踪算法综述

视频目标检测与跟踪算法综述 1、引言 运动目标的检测与跟踪是机器视觉领域的核心课题之一,目前被广泛应用在 视频编码、智能交通、监控、图像检测等众多领域中。本文针对视频监控图像的运动目标检测与跟踪方法,分析了近些年来国内外的研究工作及最新进展。 2、视频监控图像的运动目标检测方法 运动目标检测的目的是把运动目标从背景图像中分割出来。运动目标的有效分割对于目标分类、跟踪和行为理解等后期处理非常重要。目前运动目标检测算法的难点主要体现在背景的复杂性和目标的复杂性两方面。背景的复杂性主要体现在背景中一些噪声对目标的干扰,目标的复杂性主要体现在目标的运动性、突变性以及所提取目标的非单一性等等。所有这些特点使得运动目标的检测成为一项相当困难的事情。目前常用的运动目标检测算法主要有光流法、帧差法、背景相减法,其中背景减除法是目前最常用的方法。 2.1 帧差法 帧差法主要是利用视频序列中连续两帧间的变化来检测静态场景下的运动目标,假设(,)k f x y 和(1)(,)k f x y +分别为图像序列中的第k 帧和第k+1帧中象素点(x ,y)的象素值,则这两帧图像的差值图像就如公式2-1 所示: 1(1)(,)(,)k k k Diff f x y f x y ++=- (2-1) 2-1式中差值不为0的图像区域代表了由运动目标的运动所经过的区域(背景象素值不变),又因为相邻视频帧间时间间隔很小,目标位置变化也很小,所以运动目标的运动所经过的区域也就代表了当前帧中运动目标所在的区域。利用此原理便可以提取出目标。下图给出了帧差法的基本流程:1、首先利用2-1 式得到第k 帧和第k+1帧的差值图像1k Diff +;2、对所得到的差值图像1k Diff +二值化(如式子2-2 示)得到Qk+1;3、为消除微小噪声的干扰,使得到的运动目标更准确,对1k Q +进行必要的滤波和去噪处理,后处理结果为1k M +。 111255,,(,)0,,(,)k k k if Diff x y T Q if Diff x y T +++>?=?≤? (T 为阈值) (2-2)

非负矩阵分解及其生物信息学应用

目录 摘要 (i) Abstract (iii) 第一章绪论 (1) 1.1课题研究的背景和意义 (1) 1.2国内外研究现状 (2) 1.3论文主要工作 (4) 1.3.1论文的主要内容 (4) 1.3.2论文的组织结构 (5) 第二章非负矩阵分解模型及相关变体 (7) 2.1非负矩阵分解 (7) 2.2非负矩阵分解的相关变体 (8) 2.3具有代表性的生物数据 (9) 2.4本章小结 (10) 第三章基于高斯赛德尔方法的非负矩阵分解及其生物学应用 (11) 3.1基因微阵列数据以及其聚类分析 (11) 3.1.1基因微阵列数据 (11) 3.1.2基因表达数据聚类分析 (11) 3.2基于高斯塞德尔方法的非负矩阵分解 (13) 3.2.1提出的动机 (13) 3.2.2GSNMF模型 (13) 3.2.3GSNMF优化算法高斯塞德尔非负方程组优化 (14) 3.3数值实验 (16) 3.3.1聚类评估标准 (17) 3.3.2实验数据 (17) 3.3.3聚类实验 (18) 3.4本章小结 (20) 第四章基于一致信息熵度量的图正则非负矩阵分解及其生物学应用 (21) 4.1图正则非负矩阵分解 (21) 4.2鲁棒的图正则非负矩阵分解变体 (22) 4.2.1最大化一致信息熵的图正则非负矩阵分解 (22) 4.2.2鲁棒流型非负矩阵分解 (22)

4.3基于一致信息熵度量的图正则非负矩阵分解 (22) 4.3.1一致信息熵度量 (22) 4.3.2CGNMF模型 (23) 4.3.3CGNMF更新规则 (23) 4.3.4CGNMF模型的图学习 (25) 4.3.5CGNMF模型收敛性证明 (27) 4.4数值实验 (28) 4.4.1经典人脸库上的识别实验 (28) 4.4.2人机结合的脑电波数据聚类分析实验 (32) 4.5本章小结 (34) 第五章基于一致信息熵度量的有监督非负矩阵分解 (35) 5.1模型判别罚项 (35) 5.1.1部分判别罚项 (35) 5.1.2完全判别罚项 (36) 5.2基于一致信息熵度量的有监督非负矩阵分解 (37) 5.3数值实验 (38) 5.3.1EEG数据的分类识别实验 (38) 5.3.2结果分析 (43) 5.4本章小结 (43) 第六章结束语 (45) 6.1工作总结 (45) 6.2不足和展望 (45) 致谢 (47) 参考文献 (49) 作者在学期间取得的学术成果 (53)

音频分类总结(算法综述)

总结音频分类的算法 刚开始对音频分割还有特征提取有些自己的想法,感觉应该能够分清楚,但是当开始查阅文献的时候,发现对他们两个的概念越来越模糊。很多时候他们是重叠的。后来我在一篇文献里找到这句话。觉得应该是这个道理: 音频数据的分类是一个模式识别的问题,它包括两个基本方面:特征选择和分类。 音频分割是在音频分类的基础上从音频流中提取出不同的音频类别,也就是说在时间轴上对音频流按类别进行划分。分类是分割的前提和基础。对音频流的准确分割是最终的目的。 于是我找了一下比较典型的分类算法 比较典型的音频分类算法包括最小距离方法、支持向量机、神经网络、决策树方法和隐马尔可夫模型方法等。 1.最小距离法。(典型的音频分类算法) 最小距离分类法的优点是概念直观,方法简单,有利于建立多维空间分类方法的几何概念。在音频分类中应用的最小距离分类法有k 近邻(k —Nearest Neighbor ,简称K —NN)方法和最近特征线方法(Nearest Feature ,简称NFL))等。 k 近邻方法的思想是根据未知样本X 最近邻的k 个样本点的类别来确定X 的类别。为此,需要计算X 与所有样本x 。的距离d(x ,x 。),并且从中选出最小的k 个样本作为近邻样本集合KNN ,计算其中所有属于类别Wj 的距离之和,并且按照以下判别规则进行分类:ε()arg min C x =(,)d x xi ∑,其中,C 为类别集合 {1,...,}C W Wn = 由于k 近邻方法利用了更多的样本信息确定它的类别,k 取大一些有利于减少噪声的影响。但是由于k 近邻方法中需要计算所有样本的距离,因此当样本数目非常大的时候,计算量就相当可观。取k=l 时,k 近邻方法就退化为最近邻方法。 最近特征线方法是从每一类的样本子空间中选取一些原型(Prototype)特征点,这些特征点的两两连线称为特征线(Feature Line),这些特征线的集合用来表示原先每一类的样本子空间。 设类C 的原型特征点集合:,其中Nc 为类C 的原型特征点数目,则对应的特征线的数目为 ,而类C 的特征线集合 Sc {||1,}c c i j c X X i j N i j ≤≤≠, i ≠jl 构成类C 的特征线空间,它是类C 的特征子空间。—般所选取的原型特征点的数目比较少,因此特征线的数目也比较少。

相关文档