文档库 最新最全的文档下载
当前位置:文档库 › 联合L_2_1_范数正则约束的特征选择方法_林书亮

联合L_2_1_范数正则约束的特征选择方法_林书亮

联合L_2_1_范数正则约束的特征选择方法_林书亮
联合L_2_1_范数正则约束的特征选择方法_林书亮

等式约束对病态问题的影响及约束正则化方法_谢建

第40卷第10期2015年10月武汉大学学报·信息科学版 Geomatics and Information Science of Wuhan University Vol.40No.10 Oct.2015 收稿日期:2013-12- 10项目来源:国家自然科学基金资助项目(41274010 )。第一作者:谢建,博士生,主要从事测量平差与测量数据处理研究。E-mail:xiej ian@csu.edu.cnDOI:10.13203/j.whugis20130764文章编号:1671-8860(2015)10-1344- 05等式约束对病态问题的影响及约束正则化方法 谢 建1 朱建军1 1 中南大学地球科学与信息物理学院,湖南长沙,410083 摘 要:有效利用参数间已知的等式约束信息能够提高最小二乘解的精度,消除秩亏,但是等式约束能否消除或减弱平差模型的病态性尚不明了, 由此提出了一种通过消除部分参数将等式约束病态问题转化为无约束问题的方法。然后分析了等式约束对病态问题的影响,用简单实例证明了加入约束后,系统可能呈现良态或病态,它的性态由原设计阵和等式约束共同决定,并提出了求解等式约束病态问题的诊断-正则化两步方法。最后用一个数值实例验证了该方法的可行性。关键词:等式约束;秩亏;病态;影响分析;正则化中图法分类号:P207.2 文献标志码:A 大地测量数据处理中, 常出现秩亏和病态等现象。解决秩亏问题的常用方法是增加参数间坐标基准的加权等式约束或参数的加权二次范数最小准则, 求出特定基准下的最小范数最小二乘解[ 1] 。解病态问题也是附加参数间的加权二次范数约束, 使观测残差和参数范数间达到平衡而获得稳定的正则化解[2] 。可见,上述不适定问题都 是通过增加约束信息来得到适定的解。这种信息有参数的一次式, 即参数间的线性等式约束,也有参数的二次式,即参数的二次范数。 对于秩亏数为d的无约束平差问题,是附加 d个线性无关的等式约束消除秩亏[1] 。若秩亏问 题本身有s个线性无关的约束, 那么只要添加d-s 个等式约束[3] 。病态问题的正则化准则是对所有的参数施加二次约束,通过压缩解的长度来 减弱最小二乘解的不稳定性。但已有文献对等式约束是否减弱病态性少有研究,侧重于研究含有线性等式约束的病态问题的算法。Sarkar在约束最小二乘解前面乘以一个压缩因子,以减小病 态约束问题的方差[4] ;Jürg en在约束最小二乘解的基础上,将最小二乘解用Sarkar解代替,解的形式和约束最小二乘解相同,但是计算非常复 杂[5] ;钟震利用椭圆约束的方法得到了约束病态问题的有偏估计[6] ;谢建等用正则化的思想得到 了附等式约束病态问题的正则化解,其形式与附 加椭圆约束的有偏估计相同[ 7] 。但是,上述方法是对所有的参数施加二次范数约束,都没有讨论等式约束本身能否消除或者减弱系统的病态性, 以及附加等式约束后模型的病态程度与哪些因素有关。本文首先将等式约束的病态问题通过消除部分参数转化为无约束问题, 分析无约束问题设计阵的病态性,然后给出了等式约束病态问题求解的方法。 1 等式约束对秩亏问题的影响 经典的测量平差函数模型和随机模型为 [8] : L=AX+Δ(1 )E(L)=AX,D(L)=σ20 P- 1(2)式中,L、Δ分别表示n维观测向量和误差向量; X为u维参数向量;A为n×u设计矩阵;σ2 0为单位权方差;P为观测权矩阵。根据设计矩阵A的性质,可以分为设计阵良态、秩亏和病态三种情况。下面对前两种情况的求解进行分析。1.1 设计阵A是良态矩阵的最小二乘解 观测方程(1 )相应的误差方程式为[8] :V=A^X-L (3 ) 当设计阵A是良态矩阵时, 若观测误差服从正态分布,在最小二乘准则φmin(V)=VTPV下,不需增加额外的信息,可以直接得到唯一且稳定的 最小二乘解[ 8] :^XLS=N-1 w(4 )式中,N=ATPA,w=ATPL, 分别表示法方程矩阵

正则化自适应平滑约束图像复原算法

F 福建电脑 UJIAN COMPUTER 福建电脑2018年第2期 1引言 图像复原是一种改善图像质量的处理技术,是图像处理研 究领域中的热点问题,在科学研究和工程领域中被广泛应用[1]。在获取图像过程中,由于光学系统的像差、光学成像的衍射、成像系统的非线性畸变、几率介质的非线性、成像过程的相对运 动[2]、大气的湍流效应、环境随机噪声等原因的影响,会使观测图像的真实图像之间不可避免的存在变差和失真。 图像复原都是假设图像退化的某些先验知识已知状态,改进观测图像的视觉效果达到接近原始图像的目的,这一类的图像复原称为经典图像复原。实际应用中往往系统的点扩展函数是未知的,图像盲复原可在先验知识未知时,通过模糊图像估计点扩展函数,而目前盲复原方法存在PSF 点扩展函数估值误差大,计算复杂性高从而限制的盲复原效果。 本文对已有模糊图像复原算法的深入研究.针对已有算法存在的不足,提出高斯函数描述退化模型,根据正则化图像复原基本模型,基于多重约束自适应的思想,构造边缘约束,加入方向信息测度,利用迭代求解相应的约束优化问题。此方法与传统复原算法比较,具有较好的客观评价指标,且有效保护图像细节,同时抑制噪声,能够产生边缘清晰细节丰富的复原图像。 2图像的退化模型与正规化复原 首先建立图像的退化模型,所以在进行图像复原之前必须了解、分析围像退化的机理,并用数学模型表现出来[6]。假设输出图像g(x,y)是由原始图像f (x,y )经过图像传输系统H,并混入加性高斯噪声n(x,y)产生的,那么图像的退化模型可以表示为以下形式如图1所示: 离散退化模型可以用矩阵形式表示,即 g=H*f (2-1) 其中,g,f 分别为g(x,y),f(x,y)排成字典顺序的向量,假设观测图像的尺寸为M ×N,则g ,f 的长度为MN.H 为图像退化矩阵,它是以H 作为卷积核生成的循环矩阵,为(MN )×(MN)维矩阵.其方法是将g(x,y)与f(x,y)中的元素按行堆砌成列向量,即 f=[f(0,0),f(0,1),…f(0,N-1),f(1,0),f(1,1),…f(1,N-1),…f(M-1,0),f (M-1,1),…f(M-1,N-1)]T g=[g(0,0),g(0,1),…g(0,N-1),g(1,0),g(1,1),…g(1,N-1),…g(M-1,0),g(M-1,1),…g(M-1,N-1)]T (2-2) (2-3) H i (i =0,1,2…M-1)为子矩阵,大小为N ×N ,即H 矩阵由M ×M 个大小为N ×N 的子矩阵组成.分块矩阵由拓展函数h(x ,y)的第j 行构成的,构成方法为 (2-4) 若加入噪声,则离散退化模型为 (2-5) 上式子中 x=0,1,2,3,…M-1;y=0,1,2,…N-1 改写为矩阵为 g=H*f+n (2-6) 退化模型表明,在给定的g(x,y),并知道退化系统的函数H 和噪声分布n(x,y)的情况下,就可以估算出原始图像f(x,y) 对于光学成像系统,可以用高斯函数描述: (2-7) 其中,是H 的支持域。为求解(2-6)可以用最小二乘法得到对原始图像f 的逼近,为克服图像复原的病态问题需使用有约束的最小二乘法,通过建立目标函数J (f )使得 (2-8) 最小二乘法中残差平方和函数‖g-Hf ‖2。其中a 为正规化参数,a ‖Qf ‖2的作用是克服解式(2-6)的病态问题,式(2-6)中‖Qf ‖依赖于我们使用的限制条件,取Q 为拉普拉斯-贝尔特拉米算子。 对于J (f )求f 的偏导数,使为零的是对原始图像f 的估计,偏导数为零时方程为 正则化自适应平滑约束图像复原算法 吴清平 (闽南理工学院信息管理学院福建石狮362700) 【摘要】针对已有算法存在的不足,提出根据正则化图像复原基本模型,基于多重约束自适应的思想,构造边缘约束,利用迭代求解相应的约束优化问题此方法与传统复原算法比较,具有更好的客观评价指标和更高的视觉效果,可有效保护细节,同时抑制噪声,能够产生边缘清晰细节丰富的复原图像。 【关键词】模糊;图像复原;正则化;方向信息测度图1图像退化模 型 基金项目:福建省中青年教师教育科研项目,模糊图像的复原算法研究(JAT160595) DOI:10.16707/https://www.wendangku.net/doc/be11922201.html,ki.fjpc.2018.02.002 4··

正则化方法

3.2正则化方法的概念 从数学角度来分析,CT 中的有限角度重建问题相当于求解一个欠定的代数方程组,属于不适定问题研究范畴,解决这类问题通常需要引入正则化方法]27,26[。 3.2.1不适定的概念 设算子A 映X x ∈为P p ∈,X 与P 分别为某类赋范空间,记 P Ax = (3.9) 在经典意义下求解(3.9),就存在下述问题: (1)(3.9)式的解是否存在; (2)(3.9)式的解如果存在,是否唯一; (3)(3.9)式的解是否稳定或者说算子A 是否连续:对于右端的P 在某种意义下作微小的变动时,相应的解童是不是也只作微小的变动。 只要这些问题中有一个是否定的,就称(3.9)的解是不适定的。 3.2.2正则化方法概念的引入 设算子A 映X x ∈为P p ∈,X 与P 分别为某类赋范空间,二者满足(3.9)式。设A 的逆算子1-A 不连续,并假定当右端精确值为r p 时,得到经典意义下的解为r x ,即满足 r r P Ax = (3.10) 现在的问题是,如果右端受到扰动后变为δp ,且二者满足关系 δδ≤-r p p (3.11) 其中,?为某范数。则由于1-A 的不连续性,我们显然不能定义r p 对应的解为: δδp A x 1-= (3.12)

因此,必须修改该逆算子的定义。 定义:设算子),(αp R 映p 成x ,且依赖一个参数α,并具有如下性质: (1)存在正数01>δ,使得对于任意0>α,以及r p 的)(1δδδ≤邻域中的p ,即满足 10,δδδ≤<≤-p p r (3.13) 的p ,算子R 有定义。 (2)若对任意的0>ε,都存在),0(1δδ∈及依赖于δ的参数)(δαα=,使得算子),(αp R 映r p 的δ邻域到r x 的ε领域内,即 εδαδδ≤-=r x x x p R ,))(,( (3.14) 则称),(αp R 为方程(3.14)中A 的正则逆算子;δx 称为方程(3.14)的正则解,当0→δ时,正则解可以逼近我们所要求的精确解;α称为正则化参数。这样的求解方法就称为正则化方法。

正则化简介

正则化(regularization) 正则化(regularization)在线性代数理论中,不适定问题通常是由一组线性代数方程定义的,而且这组方程组通常来源于有着很大的条件数的不适定反问题。大条件数意味着舍入误差或其它误差会严重地影响问题的结果。反问题有两种形式。最普遍的形式是已知系统和输出求输入,另一种系统未知的情况通常也被视为反问题。许多反问题很难被解决,但是其他反问题却很容易得到答案。显然,易于解决的问题不会比很难解决的问题更能引起人们的兴趣,我们直接解决它们就可以了。那些很难被解决的问题则被称为不适定的。一个不适定问题通常是病态的,并且不论是简单地还是复杂地改变问题本身的形式都不会显著地改善病 态问题。另一方面,病态问题不一定是不适定的,因为通过改变问题的形式往往可以改善病态问题。在严格的数学意义上,我们通常不可能对不适定问题进行求解并得到准确解答。然而,通过使用我们的先验知识,我们通常有希望能够得到一个接近准确解答的答案。 求解不适定问题的普遍方法是:用一族与原不适定问题相“邻近”的适定问题的解去逼近原问题的解,这种方法称为正则化方法。如何建立有效的正则化方法是反问题领域中不适定问题研究的重要内容。通常的正则化方法有基于变分原理的Tikhonov 正则化、各种迭代方法以及其它的一些改进方法,这些方法都是求解不适定问题的有效方法,在各 类反问题的研究中被广泛采用,并得到深入研究。 正则化:Normalization,代数几何中的一个概念。 通俗来说,就是给平面不可约代数曲线以某种形式的全纯参数表

示。 即对于PC^2中的不可约代数曲线C,寻找一个紧Riemann面C*和一个全纯映射σ:C*→PC^2,使得σ(C*)=C 严格的定义如下: 设C是不可约平面代数曲线,S是C的奇点的集合。如果存在紧Riemann面C*及全纯映射σ:C*→PC^2,使得 (1) σ(C*)=C (2) σ^(-1)(S)是有限点集 (3) σ:C*\σ^(-1)(S)→C\S是一对一的映射 则称(C*,σ)为C的正则化。不至于混淆的时候,也可以称C*为C 的正则化。 正则化的做法,实际上是在不可约平面代数曲线的奇点处,把具有不同切线的曲线分支分开,从而消除这种奇异性。[1] 正则化方法 Regularization Method 正则化算子 regularizing operator 物理学中,尤其是量子场论,正则化(regularization)是一项处理无限大、发散以及一些不合理表示式的方法,其方法透过引入一项辅助性的概念——正则化因子(regulator)。举例来说,若短距离物理效应出现发散,则设定一项空间中最小距离来解决这情形。正确的物理结果是让正则化因子消失(此例是) 的极限情形,不过正则化因子的用意就在于当它是有限值,理论结果也是有限值的。正则化是将数学中的发散级数的可和性方法(summability methods)用在物理学问题上。

图像处理中的正则化

图像处理中的正则化 二维的图像可以分解成不同的频率成分。其中,低频成分描述大范围的信息,而高频成分描述具体的细节。 在灰度图像中,亮度变化小的区域主要是低频成分,而亮度变化剧烈的区域 (比如物体的边缘)主要是高频成分。 前一章说明当噪声存在时过滤是必要的。这章需要仔细看看过滤。过滤也称为正则化,因为它可以解释成对解执行特定规律的条件。正规化的程度是由一个正则化参数决定的,这个参数应该仔细选择。我们本章主要关注两个正则化方法(TSVD 和Tikhonov)和三个计算正则化参数的方法(差异原则,广义交叉验证和L-曲线标准). 6.1 两个重要的方法 在前面的章节中SVD 分析激发了谱过滤方法的使用,因为这些方法使我们通过过滤因子能控制模糊图像的谱的内容。实现谱过滤方法必须通过选择计算出的解 ∑==N i i i T i i filt v b u X 1 σφ, (6.1) 中的过滤因子i φ。 为了获得一个有理想性质的解。这些方法受坐标系b u T i 和坐标系x v T i 的影响,其中坐标系b u T i 由向量()N i u i ,...,1=决定,坐标系x v T i 由向量()N i v i ,...,1=决定。操作b 的数据 上面提到的坐标系是谱坐标系,因为这些向量分别是A A T 和T A A 的特征向量。 我们看到了精确的求解方程组b Ax =,当数据被噪声污染时得不到一个好的解。相反,我们通过(5.3)中的过滤展式过滤光谱解,使得在i v 方向上解的元素按过滤因子i φ缩放,而且可以减小误差在b u T i 中的影响。在这一节中我们讨论两个最重要的谱过滤方法。 1.TSVD 方法. 对于这个方法,我们定义对于大奇异值过滤因子的大小为1,对于其他奇异值过滤因子为0。更确切地说, ? ? ?+==≡.,...,1 ,0, ,...,1 ,1N k i k i i φ (6.2) 参数k 称为截断参数决定了正则解中奇异值的数量。注意k 总满足N k ≤≤1。例如,这是一种用于 计算图5.6所示的解的方法。 2.Tikhonov 方法. 对于这种方法,我们定义过滤因子为 ,,...,1 ,2 22 N i i i i =+≡ασσφ (6.3) 其中0>α 称为正则化参数,这个参数的选择得到了最小化问题 { }22 222 min x Ax b x α+-, (6.4) 的解向量 αX 。

层析反演中的正则化方法研究

李辉,王华忠,张兵.层析反演中的正则化方法研究[J].石油物探,2015,54(5):569 - 581Li Hui,Wang Huazhong,Zhang Bing.The study of regularization in tomography[J].Geophysical Prospecting for Petroleum,2015,54(5):569 - 581收稿日期:2014-11-24;改回日期:2015-02- 26。作者简介:李辉(1985—) ,男,博士,现从事射线类偏移与反演的研究工作。基金项目:国家自然科学基金(41374117)、国家重点基础研究发展计划(973计划)项目(2011CB201002) 、国家科技重大专项项目(2011ZX05003-003,2011ZX05005-005-008HZ,2011ZX05006-002)和中国石化地球物理重点实验室开放基金项目(33550006-14- FW2099- 0026)共同资助。层析反演中的正则化方法研究 李 辉1,2,王华忠1,张 兵1, 3 (1.同济大学海洋与地球科学学院波现象与反演成像研究组,上海200092;2.青凤致远应用地球物理研究所,上海200093;3.中国石油化工股份有限公司石油物探技术研究院,江苏南京211103 )摘要:正则化可显著降低层析反演解的非唯一性,提高层析反演结果的质量。主要研究了模型参数正则化和数据正则化。地下介质参数之间的关联性如何加入模型正则化是讨论的问题之一;观测数据之间的关联性加入数据正则化的方法则是另一个主要议题。此外,讨论了Tikhonov正则化和预条件两种模型正则化实现策略,指出前者理论比较直观,后者计算效率更高,并证明了两者在理论上的等价性。模型正则化通过构造各向异性光滑算子加入地质构造特征,数据正则化则通过在层析矩阵中加入预先构造的数据预条件矩阵来实现。通过层析偏移速度分析给出了模型正则化和数据正则化的具体实现策略。理论分析和层析偏移速度分析的数值实验说明本文的模型正则化和数据正则化可显著提高层析反演的质量。 关键词:层析偏移速度分析;模型正则化;数据正则化;预条件;地质构造约束中图分类号:P631 文献标识码:A 文章编号:1000-1441(2015)05-0569-13  DOI:10.3969/j .issn.1000-1441.2015.05.010The study  of regularization in tomographyLi Hui 1,Wang Huazhong1,Zhang  Bing1,2 (1.Wave Phenomena and Inversion Imaging Group(WPI),Tongji University,Shanghai 200092,China;2.Qingfeng- zhiyuan Applied Geophysics Institute,Shanghai 200093,China;3.Sinopec Geophysical Research Institute,Nanjing211103,China) Abstract:Regularization in tomography is able to weaken the non-uniqueness of tomography to improve the inversion result-The discussion of regularization in this paper includes model-regularization and data-regularizationModel parameters are not i-solated,how to add the relationship of these parameters into tomography is one of the missions hereSimilarly,considering da-tum relationship in tomography is another problemThe so-called“straightforward regularization”and the“precondition regu-larization”are focused,and we achieve that the former is intuitionistic and the latter is more efficiencyAlso,we point out thatthe above two algorithms are equivalent to each other,and this will be shown in this paperThe geological structure character-istics of the medium can be integrated into the tomography using the model-regularization with anisotropic smooth matrix.The data-regularization is realized with another smooth operator which will be integrated into the tomographic matrix.Themodel-regularization and data-regularization are tested with tomographic migration velocity analysis(MVA)algorithm.Theresults of theory and numerical experiments with tomographic MVA show that the proposed model-regularization and the da-ta-regularization are both able to improve the quality of tomography  obviously.Key words:tomographic MVA,model-regularization,data-regularization,precondition,geological structure constraint 随着勘探地震技术的发展以及石油工业需求 的提高,叠前深度偏移逐渐成为工业应用中偏移技 9 65第54卷第5期2015年9月石 油 物 探 GEOPHYSICAL PROSPECTING FOR  PETROLEUMVol.54, No.5Sep.,2015

正则化和反问题

正则化和反问题 正则化(regularization)在线性代数理论中,不适定问题通常是由一组线性代数方程定义的,而且这组方程组通常来源于有着很大的条件数的不适定反问题。大条件数意味着舍入误差或其它误差会严重地影响问题的结果。反问题有两种形式。最普遍的形式是已知系统和输出求输入,另一种系统未知的情况通常也被视为反问题。许多反问题很难被解决,但是其他反问题却很容易得到答案。显然,易于解决的问题不会比很难解决的问题更能引起人们的兴趣,我们直接解决它们就可以了。那些很难被解决的问题则被称为不适定的。一个不适定问题通常是病态的,并且不论是简单地还是复杂地改变问题本身的形式都不会显著地改善病态问题。另一方面,病态问题不一定是不适定的,因为通过改变问题的形式往往可以改善病态问题。在严格的数学意义上,我们通常不可能对不适定问题进行求解并得到准确解答。然而,通过使用我们的先验知识,我们通常有希望能够得到一个接近准确解答的答案。 求解不适定问题的普遍方法是:用一族与原不适定问题相"邻近"的适定问题的解去逼近原问题的解,这种方法称为正则化方法。如何建立有效的正则化方法是反问题领域中不适定问题研究的重要内容。通常的正则化方法有基于变分原理的Tikhonov正则化、各种迭代方法以及其它的一些改进方法,这些方法都是求解不适定问题的有效方法,在各类反问题的研究中被广泛采用,并得到深入研究。 正则化:Normalization,代数几何中的一个概念。 通俗来说,就是给平面不可约代数曲线以某种形式的全纯参数表示。 即对于PC^2中的不可约代数曲线C,寻找一个紧Riemann面C*和一个全纯映射σ:C*→PC^2,使得σ(C*)=C 严格的定义如下: 设C是不可约平面代数曲线,S是C的奇点的集合。如果存在紧Riemann 面C*及全纯映射σ:C*→PC^2,使得

正则化参数的确定方法

1. 拟最优准则 Tikhonov 指出当数据误差水平δ和η未知时,可根据下面的拟最优准则: 0min opt dx d ααααα>????=?????? (1-1) 来确定正则参数。其基本思想是:让正则参数α以及正则解对该参数的变化率同时稳定在尽可能小的水平上。 2. 广义交叉验证 令 22(())/()[(())]/I A y m V tr I A m δααα-=- (2-1) 其中,* 1*()A (A A I)A h h h h A αα-=+,1(I A())(1())m kk k tr ααα=-=-∑,()kk αα为()A α的 对角元素。这样可以取* α满足 *()min ()V V αα= (2-2) 此法源于统计估计理论中选择最佳模型的PRESS 准则,但比它更稳健。 3. L_曲线法 L 曲线准则是指以log-log 尺度来描述与的曲线对比,进而根据该对比结果来确定正则 参数的方法。其名称由来是基于上述尺度作图时将出现一个明显的L 曲线。 运用L 曲线准则的关键是给出L 曲线偶角的数学定义,进而应用该准则选取参数α。Hanke 等[64]建议定义L 曲线的偶角为L 曲线在log-log 尺度下的最大曲率。令log b Ax αρ=- ,log x αθ=,则该曲率作为参数α的函数定义为 '''''' 3 '2'22()(()())c ρθρθαρθ-=+ (3-1) 其中“'”表示关于α的微分。 H.W.Engl 在文献[40]中指出:在相当多的情况下,L 曲线准则可通过极小化泛函 ()x b Ax ααφα=-来实现。即,选取*α使得 {} *0arg inf ()ααφα>= (3-2) 这一准则更便于在数值计算上加以实施。 但到目前为止,还没有相关文献获得过关于L 曲线准则的收敛性结果。另一方面,有文献己举反例指出了L 曲线准则的不收敛性。虽然如此,数值计算的结果表明,L 曲线准则与GCV 一样,具有很强的适应性。 4. 偏差原理: 定理4-1:(Morozov 偏差原理)[135]如果()φα是单值函数,则当0(,)U z A u ρδ>时存在这 样的()ααδ=,使得:

正则化参数λ

正则化参数λ或者α如何选择? 1Tikhonov (吉洪诺夫)正则化 投影方程Ax=b (1) 在多种正则化方法中,Tikhonov 正则化方法最为著名,该正则化方法所求解为线性方程组众多解中使残差范数和解的范数的加权组合为最小的解: (2) 式中22. 表示向量的 2 范数平方;λ 称为正则参数,主要用于控制残差范数22 Ax b 与解的范数22Lx 之间的相对大小; L 为正则算子,与系统矩阵的具体形式有关。 Tikhonov 正则化所求解的质量与正则参数λ 密切相关,因此λ 的选择至关重要。确定正则参数的方法主要有两种:广义交叉验证法和 L-曲线法。 (1)广义交叉验证法(GCV ,generalized cross-validation ) 广义交叉验证法由 Golub 等提出,基本原理是当式Ax=b 的测量值 b 中的任意一项i b 被移除时,所选择的正则参数应能预测到移除项所导致的变化。经一系列复杂推导后,最终选取正则参数λ 的方法是使以下 GCV 函数取得最小值。 (3) 式中T A 表示系统矩阵的转置; trace 表示矩阵的迹,即矩阵中主对角元素的和。 (2)L-曲线法(L-curve Method ) L-曲线法是在对数坐标图上绘制各种可能的正则参数所求得解的残差范数和解的范数,如图1所示,所形成的曲线一般是 L 形。 图1 L 曲线示意图 L 曲线以做图的方式显示了正则参数变化时残差范数与解的范数随之变化的情况。从图

中知道当正则参数λ 取值偏大时,对应较小的解范数和较大的残差范数;而当λ 取值偏小时,对应较大的解范数和较小的残差范数。在 L 曲线的拐角(曲率最大)处,解的范数与残差范数得到很好的平衡,此时的正则参数即为最优正则参数。 另外一种方法 Morozov 相容性原理 是一种应用非常广泛的选取策略,它是通过求解非线性的Morozov 偏差方程来得到正则化参数。 投影方程 Kx=y 考虑有误差的右端观测数据 y Y δ∈ 满足y y δδ-≤,Tikhonov 正则化方法是通过极小化Tikhonov 泛函。 来得到正则化解,其中,α为正则化参数。当0α>时,泛函()J x α 在空间X 上存在唯一的极小元,x αδ,且该极小元恰为方程 的唯一解,其中,*K :Y X → 为算子K 的伴随算子。 Morozov 相容性原理选取正则化参数()ααδ=是通过保证正则化解,x αδ满足方程 来实现的。

相关文档
相关文档 最新文档