关于图像超分辨率重构的现状研究
关于图像超分辨率重构的现状研究
摘要：图像超分辨率的重构技术是近20年来兴起的一门新的数字图像处理技术。随着计算机硬件技术和软件设计技术的不断发展,各种图像超分辨率重构算法被提出。综述超分辨率重构的相关研究,指出图像超分辨率重构技术近几年来的一些研究成果。
关键字：图像超分辨率；图像超分辨率重构；迭代法投影法
Abstract:Image super-resolution reconstruction technology is nearly 20 years the rise of a new digital image processing technology. With the continuous development of computer hardware and software design technology, all kinds of image super-resolution reconstruction algorithm was proposed. Of related studies on super-resolution reconstruction, and points out that the technology of image super-resolution reconstruction in recent years, some of the research.
Keywords:image super-resolution; image super-resolution reconstruction; iterative projection method
1引言
超分辨率重构算法始于20世纪80年代,其目的在于恢复一些已丢失的频率分量。在成像过程中,由于受成像系统的物理性质和天气条件的影响,图像中存在着光学和运动模糊、采样不足和附加噪声等退化现象,图像空间分辨率较低。而在实际应用中,需要高分辨率的图像,如在遥感检测、军事侦查、交通及安全监控、医学诊断和模式识别等方面。在现有的传感器不作改变的情况下,人们希望利用信号处理的方法,通过一系列低分辨率图像来重构高分辨率图像。这种从同一场景的低分辨率图像序列中,通过信息融合来提高空间分辨率的方法通常被称为超分辨率重构。
超分辨率图像需要获得同一场景的图像序列,并且序列中各帧图像间存在像素平移和旋转,使各帧图像能包含了不同的观察角度的同一场景互补信息。这样重构后的图像包含各帧图像提供的信息, 并且分辨率要高于各输入图像的分辨率。
2图像超分辨率重构的概述
超分辨率影像重构技术于60年代有Hamm和goodman最初以单张影像复原的概念和方法提出，随后许多人对其进行了研究，并相继提出了各种复原方法，虽然这些方法都做出了较好的仿真结果，但并没有在实际中得到广泛的应用。在90年代初，随着计算机技术、电子技术以及信号处理理论与技术特别是小波理论、自适应滤波理论以及一些优化理论的发展，人们在超分辨影像重构方法研究上取得了突破性的进展，其应用已经渗透到航天航空遥感，医学计算机成像的分析，目标识别、监视系统成像等诸多领域。
从目前的研究和应用成果来看，人们提出了很多图像超分辨率的算法。这些算法按照可以获得的低分辨率图像的数量可以分为两类：①序列图像的高分辨率估计：组合同一场景的多幅低分辨率图像以获得一副高分辨率图像的过程；②单幅图像的高分辨率估计：由一副低分辨率图像得到一副高分辨率图像的过程。另外序列图像超分辨算法也可以分为空间域方法和频域方法。早期的研究工作主要集中在频域进行，但随着更一般的退化模型的考虑，后期的研究工作几乎都集中在空间域进行。频域方法是在频域上消除频谱混叠,改善空间分辨率;空间域方法是在图像像素的尺度上,通过对图像像素点的变换、约束而改善图像质量的方法。
3 图像超分辨率研究的主要方法
3．1频域方法
频率域方法是图像超分辨率中的一类重要方法。目前比较流行的是能量连续降减法和消混叠重构方法。消混叠重构方法是通过解混叠而改善影像的空间分辨率实现超分辨率。中国科学院遥感应用研究所从分辨率低的欠采样图像会导致相应空间频率域频谱混叠的理论出发,给出了多次欠采样图像在频率域混叠的更一般的公式,并给出一种针对不同分辨率图像解频谱混叠的逐行迭代方法,该方法在有噪声的情况下也具有很好的收敛性,取得了很好的效果。
频率域成像模型针对的理想图像是连续的,对于成像过程的描述更加精确求解精度和抗噪声能力都要较空间域模型好,有助于问题更加精确的描述和求解,这是频率域方法研究的意义所在。图1为频率域重构过程。
图 1 频域重构高分辨率图像过程
3.2空间域方法
3.2.1迭代反投影法(Iterative Back Projection, IBP)
在图像处理领域“估计—模拟—比较—修正”模式的迭代方法应用十分广泛,Peleg等人用模拟采样方法,采用类似层析成像中的反投影的方法进行重构高空间分辨率图像,他们所用的迭代式为：
f( n)表示n 次迭代的结果; g 为p 帧低分辨率图像的采样点;h PSF图像模糊系统的
点扩散函数; h BP反投影滤波函数; c为(常数)归一化因子;*表示空间卷积。IBP法适用于线性和非线性成像模型,收敛速度较快,是一种特殊的POCS法。
迭代法反投影法是空域方法中具有性的方法之一，其原理主要是要求超分辨率图像与观数据匹配(通过观测模型)。然而,由于图像超分辨率是一个病态求逆问题。因此，IBP方法的解通常也是不唯一的，该算法的收敛性要求帧间变化是仿射变换。此外,IBP方法也很难引入先验知识。
3.2.2凸集投影法( POCS)
凸集投影方法的优点是可以方便地加入先验信息, 可以很好地保持高分辨率图像上的边缘和细节;缺点是解不唯一、解依赖于初始估计、收敛慢、运算量大和收敛稳定性不高等。为了提高凸集投影方法的收敛稳定性, 可以采用松弛投影算子, 但松弛投影算子不利于保持图像的边缘和细节。
3.2.3贝叶斯分析法
贝叶斯分析法包括最大后验概率估计法( MAP)和最大似然估计法( ML) , 最大后验概率估计方法的优点是在解中可以直接加入先验约束、能确保解的存在和唯一、降噪能力强和收敛稳定性高等。缺点是收敛慢和运算量大。另外, 最大后验概率估计方法的边缘保持能力不如凸集投影方法, 由这类方法获得的高分辨率图像上的细节容易被平滑掉。
3.3 运动估计方法
图像超分辨率重构需要知道不同图像所对应的像素之间的亚像素位移量,这是实现超分辨率的前提。在一些成像系统中,可以通过硬件控制的方法得到序列影像之间的位移量。例如SPOT5 卫星的HRG( High resolution geometric) 成像仪在焦平面内放置两个12000 个单元的线性阵列, 两个阵列在水平和垂直方向分别错开0. 5 像素并单独成像, 获取两幅相互错位的分辨率为5m 的图像, 然后通过超分辨率重构技术可以得到一幅分辨率为 2. 5m 的高分辨率图像( 实际
分辨率在2. 5~ 3m 之间) , 其像元排列如图2所示。
然而在很多实际应用过程中, 如视频图像的超分辨率重构, 图像之间位移量并不能事先知道,需要对其进行数值求解。求解两幅图像上各目标或像素之间位移矢量的过程称为运动估计。高精度的运动估计, 有助于更加充分地利用图像之间的互补信息, 从而提高后续超分
辨率重构的精度, 它是整个超分辨率重构过程中的关键步骤之一。在计算机视觉领域, 学者们已经发展了多种运动估计方法。其中, 在图像超分辨率重构中常用的方法有全局运动估计方法、块匹配运动估计方法、光流运动估计方法和最大后验估计方法。此外, 运动估计与超分辨率重构联合求解的方法也被广泛的采用。
图 2 HRG 像元排列
4 基于插值的超分辨率重构
一般的单帧插值技术通常仅能增大图像幅面，而没有增加或很少增加额外的高频信息，且放大图像的边缘不连续、有震铃效应或整体偏光滑。引入图像先验的改进插值系列算法较纯粹插值能恢复相对更多的高频信息，图像质量较易接受。以图像边缘指导或面向边缘的插值是一大类方法。Li等人的NEDI （Newdge-directed interpolation）算法据边缘方向的协方差来估计HR像点。边缘的内外像素分类处理，最后分辨率综合，较好地保持了边缘连续性。直接以LR图像为小波域的粗尺度而插值高频分量，小波反变换实现直接放大。能量扩散正则项约束的偏微分方程PDE（Partial differential equation）插值放大，以及小波与PDE 结合的插值重构均实现了边缘较为规整的图像SRR。Dai通过
Alpha-matting 模型获得局部图像块的最大后验概率MAP（Maximum a posterioriprobability）分解，用分解的前后向描述子实现本不连续的锐利边缘重构。稍后，Wang 等人提出了利用特定的空间滤波器重构不连续的边缘，采用级联分量法来加速描述子分解，实现了准实时的图像 SRR。Sun 等人采用局部结构的图像梯度框架先验正则化，实现了单帧图像 SRR。
5 图像超分辨率的发展前景
图像超分辨率在视频、遥感、医学和安全监控等领域具都有十分重要的应用, 另外其应用也逐步涉及到其它各个领域。在高清数字电视方面采用超分辨率技术会进一步减少成本, 提高画面的质量。超分辨率技术在采集军事与气象遥感图像应用可实现高于系统分辨率的图像观测。在医学成像系统中( 如CT、MRI 和超声波仪器等) , 可以用图像超分辨率技术来提高图像质量, 对病变目标进行仔细的检测。在银行、证券等部门的安全监控系统中, 当有异常情况发生后。可对监控录像进行超分辨率重建,提高图像要害部分的分辨率, 从而为事件的处理提供重要的线索。在未来超分辨技术广泛的应用前景必然会推动这一技术不断发展。
为了获得高质量的高分辨率的图像, 满足不同情况下的实际应用要求, 未来的发展主要集中在以下几个方面:
(1) 精确有效的运动估计算法。图像的运动变形、模糊和噪声等降质因素具有密切的关系, 在图像超分辨率增强中, 需要对图像序列进行亚像素精度的运动估计。由于运动估计只能利用低分辨率序列上的信息, 所以很难达到精确的运动估计。虽然目前已经有很多比较成熟的运动估计方法, 但在实际应用场合仍然无法获得令人满意的运动补偿效果, 同时这些方法的适用场合非常有限, 需要发展和寻求新的运动模型, 对运动进行精确估计。
( 2) 针对视频压缩格式和编解码技术, 在图像超分辨率算法中综合考虑成
像模型和压缩算法带来的图像污染效果, 以及运动补偿和编码传输机制, 提高压缩视频的超分辨率能力。
( 3) 完善现有算法, 不断发展新的算法。目前的很多图像超分辨率算法在一定程度上解决了实际应用中存在的问题, 但这些方法仍然存在着较大的缺陷和不足。所以在超分辨率算法方面, 还需要进一步提高超分辨率图像增强的能力, 减小计算量, 加快运算的收敛速度,适用于不同的图像要求。
( 4) 在应用范围上将不局限于单色和单张高分辨率图像的恢复, 还要扩展
到多通道和彩色图像、三维立体成像、动态多媒体序列、压缩图像、CCD 阵列成像和核磁共振成像的超分辨率恢复与增强。
( 5) 提高算法的效率, 目前已有的超分辨率算法很多, 不少算法的效果还是不错的, 但由于算法复杂度高, 运算量大, 因此实用性不强。
( 6) 盲重建。很多算法都假设模糊函数( PSF函数) 已知, 但是在实际中, 准确的估计PSF 函数有一定的困难, 通常都只能知道PSF 函数的部分信息,因此, 盲重建也是一个重要的研究方向。
6 结束语
随着图像超分辨率技术的进一步发展必将导致这一技术拓宽到一些新的应用领域, 图像超分辨率技术更广泛地应用会进一步加快该技术的发展。此外, 超分辨率技术的理论研究结果还可为未来我国新型传感器的硬件设计与实现提供理论指导与参考, 图像超分辨率技术会有更广阔的前景。
参考文献:
[1] 孙即祥,数字图象处理[M].科学出版社,2009(6).
[2] 袁小华,欧阳晓丽,夏德深.超分辨率图像恢复研究综述[J].地理与地理信息学,May. 2012,22(3).
[3] 苏秉华,金伟其.超分辨率影像复原及其进展[J].光学技术,2010,21(7):6-9.
[4] Mohiy M Hadhoud,Fathi E Abd EI -Samil, Said E EI -Khamy. NewTrends in High Resolution Image Processing[C].Fellow.IEEE.National institute of laser enhanced sciences.
[5] Wa-i San Chan, Edmund Y Lam,Michael K Ng.Investigation ofCmputational Compound- eye Imaging System with Super-resolutionReconstruction[C].IEEE.ICASSP.2006. [6] Irani M,Peleg S.Improving resolution by image registration[J].GVGIP:Graph. Models and Image Processing,2009.53(3):231~239.
[7] C Latry,B Rouge.Super resolution:Quincunx sampling and fu -sion processing[A]. presented at International Geoscience and Re-mote Sensing Symposium( IGARSS )[C] . T oulouse,France,2008.
[8] 路锦正，基于稀疏表示的图像超分辨率重构技术研究[J].信号与信息处理，2013,2（5）.
图像超分辨率重建
收稿日期：２００８唱０８唱２１；修回日期：２００８唱１０唱２８ 作者简介：王培东（１９５３唱），男，黑龙江哈尔滨人，教授，硕导，ＣＣＦ会员，主要研究方向为计算机控制、计算机网络、嵌入式应用技术；吴显伟（１９８２唱），男（回族），河南南阳人，硕士，主要研究方向为计算机控制技术（ｗｕ＿ｘｉａｎｗｅｉ＠１２６．ｃｏｍ）． 一种自适应的嵌入式协议栈缓冲区管理机制 王培东，吴显伟 （哈尔滨理工大学计算机科学与技术学院，哈尔滨１５００８０） 摘 要：为避免创建缓冲区过程中必须指定大小和多次释放而导致可能的内存泄露和代码崩溃的弊端，提出一种自适应的嵌入式协议栈的缓冲区管理机制ＡｕｔｏＢｕｆ。它是基于抽象缓冲区接口而设计的，具有自适应性，支持动态内存的自动分配与回收，同时实现了嵌入式ＴＣＰ／ＩＰ协议栈各层之间的零拷贝通信。在基于研究平台Ｓ３Ｃ４４Ｂ０Ｘ的Ｗｅｂｓｅｒｖｅｒ网络数据监控系统上的测试结果表明，该缓冲区的设计满足嵌入式系统网络通信的应用需求，是一种高效、可靠的缓冲区管理机制。 关键词：嵌入式协议栈；抽象缓冲区；零拷贝；内存分配 中图分类号：ＴＰ３１６ 文献标志码：Ａ 文章编号：１００１唱３６９５（２００９）０６唱２２５４唱０３ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１唱３６９５．２００９．０６．０７７ Ｄｅｓｉｇｎａｎｄｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆａｄａｐｔｉｖｅｂｕｆｆｅｒｆｏｒｅｍｂｅｄｄｅｄｐｒｏｔｏｃｏｌｓｔａｃｋ ＷＡＮＧＰｅｉ唱ｄｏｎｇ，ＷＵＸｉａｎ唱ｗｅｉ （ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，ＨａｒｂｉｎＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，Ｈａｒｂｉｎ１５００８０，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｏａｖｏｉｄｔｒａｄｉｔｉｏｎａｌｍｅｔｈｏｄｏｆｃｒｅａｔｉｎｇｂｕｆｆｅｒ，ｗｈｉｃｈｍｕｓｔｈａｖｅｔｈｅｓｉｚｅｏｆｂｕｆｆｅｒａｎｄｆｒｅｅｍｅｍｏｒｙｆｏｒｍａｎｙｔｉｍｅｓ，ｗｈｉｃｈｗｉｌｌｒｅｓｕｌｔｉｎｍｅｍｏｒｙｌｅａｋｓａｎｄｃｏｄｅｓｃｒａｓｈ．ＴｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａｆｌｅｘｉｂｌｅｂｕｆｆｅｒｍａｎａｇｅｍｅｎｔｍｅｃｈａｎｉｓｍＡｕｔｏＢｕｆｆｏｒｅｍｂｅｄｄｅｄｎｅｔｗｏｒｋｐｒｏｔｏｃｏｌｓｔａｃｋ．Ｉｔｗａｓａｄａｐｔｉｖｅａｎｄｓｃａｌａｂｌｅａｎｄｂａｓｅｄｏｎａｎａｂｓｔｒａｃｔｂｕｆｆｅｒｉｎｔｅｒｆａｃｅ，ｓｕｐｐｏｒｔｅｄｄｙｎａｍｉｃｍｅ唱ｍｏｒｙａｌｌｏｃａｔｉｏｎａｎｄｂａｃｋｕｐ．ＢｙｕｓｉｎｇｔｈｅＡｕｔｏＢｕｆｂｕｆｆｅｒｍａｎａｇｅｍｅｎｔｍｅｃｈａｎｉｓｍｗｉｔｈｄａｔａｚｅｒｏｃｏｐｙｔｅｃｈｎｏｌｏｇｙ，ｉｔｉｍｐｌｅｍｅｎｔｅｄｔｏｔｒａｎｓｆｅｒｄａｔａｔｈｒｏｕｇｈｔｈｅｅｍｂｅｄｄｅｄｎｅｔｗｏｒｋｐｒｏｔｏｃｏｌｓｔａｃｋ．ＴｈｅｍａｎａｇｅｍｅｎｔｍｅｃｈａｎｉｓｍｈａｄｂｅｅｎａｐｐｌｉｅｄｔｏｔｈｅＷｅｂｓｅｒｖｅｒｓｙｓｔｅｍｂａｓｅｏｎＳ３Ｃ４４ｂ０Ｘｐｌａｔｆｏｒｍｓｕｃｃｅｓｓｆｕｌｌｙ．Ｔｈｅｒｅｓｕｌｔｓｉｎｒｅａｌｎｅｔｗｏｒｋｃｏｎｄｉｔｉｏｎｓｈｏｗｔｈａｔｔｈｅｓｙｓｔｅｍｐｒｏｖｉｄｅｓａｇｏｏｄｐｅｒ唱ｆｏｒｍａｎｃｅａｎｄｍｅｅｔｓｔｈｅｎｅｃｅｓｓａｒｙｏｆｅｍｂｅｄｄｅｄｎｅｔｗｏｒｋｓｙｓｔｅｍ．Ｋｅｙｗｏｒｄｓ：ｅｍｂｅｄｄｅｄｓｔａｃｋ；ａｂｓｔｒａｃｔｂｕｆｆｅｒ；ｚｅｒｏ唱ｃｏｐｙ；ｍｅｍｏｒｙａｌｌｏｃａｔｉｏｎ 随着网络技术的快速发展，主机间的通信速率已经提高到了千兆数量级，同时多媒体应用还要求网络协议支持实时业务。嵌入式设备网络化已经深入到日常生活中，而将嵌入式设备接入到互联网需要网络协议栈的支持。通过分析Ｌｉｎｕｘ系统中ＴＣＰ／ＩＰ协议栈的实现过程，可以看出在协议栈中要有大量数据不断输入输出，而管理这些即时数据的关键是协议栈中的缓冲区管理机制，因此对嵌入式协议栈的缓冲区管理将直接影响到数据的传输速率和安全。通用以太网的缓冲区管理机制，例如４．４ＢＳＤｍｂｕｆ ［１］ 和现行Ｌｉｎｕｘ系统中的ｓｋ＿ｂｕｆ ［２］ 多是在大内存、 高处理速率的基础上设计的，非常庞大复杂。由于嵌入式设备的硬件资源有限，特别是可用物理内存的限制，通用的协议栈必然不适用于嵌入式设备，在应用时要对标准的ＴＣＰ／ＩＰ协议进行裁剪 ［３］ 和重新设计缓冲区管理机制。 １ 缓冲区管理机制的性能需求分析 缓冲区管理 ［４］ 是对内存提供一种统一的管理手段，通过该 手段能够对可用内存提供分配、回收、数据操作等行为。内存的分配操作是根据一定的内存分配策略从缓冲区中获得相应大小的内存空间；缓冲区的数据操作主要是向缓冲区写数据，从缓冲区读数据，在缓冲区中删除数据，对空闲的内存块进行合并等行为；内存的回收就是将已空闲的内存重新变为可用内存，以供存 储其他新的数据。 为了满足长度不一的即时数据的需求，缓冲区对内存的操作主要集中在不断地分配、回收、合并空闲的内存块等操作。因为网络中的数据包小到几个字节大到几千个字节，不同长度的数据对内存的需求必然不同。现存嵌入式设备中的内存多是以物理内存，即实模式形式存在的，没有虚拟内存的形式，对内存的操作实际是操作真实的物理内存，所以对内存操作要特别谨慎。在传统使用动态分配的缓冲区（通过调用ｍａｌｌｏｃ（）／ｆｒｅｅ（））在函数之间传递数据。尽管该方法提供了灵活性，但它也带来了一些性能影响。首先考虑对缓冲区的管理（分配和释放内存块）。如果分配和释放不能在相同的代码位置进行，那么必须确保在某个内存块不再需要时，释放一次（且仅释放一次）该内存块是很重要的，否则就会导致内存泄露。其次是必须确定缓冲区的大小才能分配该内存块。然而，确定数据大小并非那么容易，传统做法是采用最大的数据尺寸的保守估计。而采用保守估计预分配的内存大小总是远超过实际需要的大小，而且没有一定的范围标准，这样难免会导致资源的严重浪费。 随着数据在协议栈中的不断流动，内存块的多次释放和多次分配是难以避免的，而保守估计对于有限的资源来说又是一种浪费的策略。因此为了能有效地利用资源，设计一种可自控的、不用预判断大小的数据缓冲区接口就势在必行。 第２６卷第６期２００９年６月 计算机应用研究 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ Ｖｏｌ．２６Ｎｏ．６Ｊｕｎ．２００９
图像超分辨率重建处理算法研究概要
第4l卷第ll期 2011年11月 激光与红外 LASER &INFRARED V01.41,No.11 November,2011 文章编号:1001-5078(201111-1278-04 图像超分辨率重建处理算法研究 ?图像与信号处理? 万雪芬1,杨义2,崔剑3 (1.华北科技学院,河北三河065201;2.东华大学,上海201620;3.北京航空航天大学,北京100191 摘要:超分辨算法为实现图像和视频分辨率提高的一种方法。其广泛应用于数字电视、医学图像处理、军事与遥感等领域。超分辨率图像通过融合多帧相似的低分辨率图像达到提高图像细节的目的。本文对使用较为普遍的频域方法、非均匀差值算法、凸集投影算法、迭代反投 影算法、最大后验概率方法及基于学习的方法进行了分析,并简要讨论了超分辨算法未来的发展方向。 关键词:图像处理;超分辨率;低分辨率重建 中图分类号:TP751文献标识码:A DOI:10.3969/j.issn.1001-5078.2011.11.023 Research on super-resolution image reconstruction WAN Xue—fenl,YANG Yi2,CUI Jian3
(I.Nordl China Institute of Science and Technology,Sanhe 065201,China;2.Donghua University,Shanghai 201620,China; 3.Beihang University,Beijing 100191,China Abstract:Super-resolution image reconstruction is a technique to reconstruct high resolution image or video from a 8e- quence of low resolution images.It has been widely used in digital TV,medicinal processing,military and remote剐m8一 ing.The super resolution method is summarized in this paper.Some super resolution image reconstructions ale dis— cussed for super-resolution image reconstruction.The tendency and development prospect a弛also discussed. Key words:image processing;super resolution;low resolution image reconstruction l 引言 近年来,数字图像采集技术已被广泛应用于工控、安监、军事与消费等领域。但由于价格成本因素限制,很多情况下通过低端图像采集设备获得的图片质量与分辨率较低,往往不能满足实际的要求。利用一系列相似的低分辨的图像,经过超分辨率技术的处理,可以得到一幅分辨率较高、包含信息较多的图像。这个处理过程就是超分辨率重建。采用超分辨率技术可以在不更换原有设备的前提下,提高图像的分辨率、改善图像的质量。 超分辨率技术用途较为广泛。在数字电视领域,可以利用超分辨率重建技术将数字电视信号转化为与高清晰度电视接收机相匹配的信号,提高观众的体验。在医疗领域,提高医学图像的分辨率,可以帮助医生做出正确的诊断。在军事、气象领域,通过侦查卫星与气象卫星获得图片的分辨率通常难以达到人们期望的分辨率级别,使用超分辨率技术,通过对观测结果做后期处理,可以更好地识别目标,更好地服务于军事安全和日常生活。
【CN110148085A】人脸图像超分辨率重建方法及计算机可读取的存储介质【专利】
(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910323776.X (22)申请日 2019.04.22 (71)申请人 智慧眼科技股份有限公司 地址 100193 北京市海淀区昆明湖南路51 号中关村军民融合产业园C座207 (72)发明人 刘蒸蒸 刘伟华 (74)专利代理机构 长沙智嵘专利代理事务所 (普通合伙) 43211 代理人 刘宏 (51)Int.Cl. G06T 3/40(2006.01) (54)发明名称 人脸图像超分辨率重建方法及计算机可读 取的存储介质 (57)摘要 本发明公开了一种人脸图像超分辨率重建 方法。本发明的人脸图像超分辨率重建方法，独 创性地提取了两种人脸语义先验知识，将两种人 脸先验信息和人脸超分辨率重建网络的编码部 分拼接合并后作为人脸超分辨率重建网络的解 码部分的输入，确保了重构的人脸图像包含更多 的人脸先验信息，并且将人脸超分辨率重建网络 和多任务人脸语义先验知识提取网络共同作为 生成对抗网络的生成器，使得重建后的高分辨率 人脸图像更加真实逼真，执行速度也很快，对于 不同程度低分辨率的人脸图像都具有良好的鲁 棒性。本发明的人脸图像超分辨率重建方法，对 于由于采集设备和环境以及网络传输介质、图像 压缩等因素引起的低分辨率图像的超分辨率重 建具有良好的应用效果。权利要求书3页 说明书8页 附图5页CN 110148085 A 2019.08.20 C N 110148085 A
1.一种人脸图像超分辨率重建方法，用于对低分辨率人脸图像进行超分辨率重建处理，其特征在于， 包括以下步骤： 步骤S1：采用多任务人脸语义先验知识提取网络提取低分辨率人脸图像的两种人脸先验信息，两种人脸先验信息分别为face parsing maps和face landmark heatmaps； 步骤S2：构建人脸超分辨率重建网络，人脸超分辨率重建网络包括解码部分和编码部分； 步骤S3：将提取的两种人脸先验信息和人脸超分辨率重建网络的编码部分拼接合并后作为人脸超分辨率重建网络的解码部分的输入； 步骤S4：将人脸超分辨率重建网络的解码部分和编码部分、以及多任务人脸语义先验知识提取网络共同作为生成对抗网络的生成器G，并构建判别器D进行对抗训练，同时构建人脸超分辨率重建网络的整体损失函数； 步骤S5：输入低分辨率人脸图像并采用Adam最优化方法迭代更新人脸超分辨率重建网络的参数； 步骤S6：重复执行步骤S5直至整体损失函数收敛，并保存网络模型和参数。 2.如权利要求1所述的人脸图像超分辨率重建方法，其特征在于， 所述步骤S1中的多任务人脸语义先验知识提取网络通过以下步骤构建： 步骤S11：采用3个Residual模块和2个Hour -Glass模块并结合skip connection机制构建多任务人脸语义先验知识提取网络； 步骤S12：初始化多任务人脸语义先验知识提取网络的参数，并构建基于像素级别L2范数的损失函数，然后采用Adam最优化方法训练网络，保存训练好的模型。 3.如权利要求2所述的人脸图像超分辨率重建方法，其特征在于， 所述基于像素级别L2范数的损失函数为 其中，p truth 表示真实的人脸先验信息，p estimate 表示多任务人脸语义先验知识提取网络估计的人脸先验信息。 4.如权利要求2所述的人脸图像超分辨率重建方法，其特征在于， 所述步骤S11具体包括以下步骤： 步骤S111：先利用双线性插值算法对输入的低分辨率人脸图像进行重建，再将重建后得到的人脸图像输入至卷积核为7*7、步长为2的“CONV -BN -ReLU ”卷积结构，“CONV -BN -ReLU ”卷积结构输出人脸图像； 步骤S112：将“CONV -BN -ReLU ”卷积结构输出的人脸图像输入至3个Residual模块，Residual模块的卷积核为3*3、步长为1，Residual模块输出人脸图像； 步骤S113：将Residual模块输出的人脸图像输入至2个Hour -Glass模块，Hour -Glass模块输出人脸图像； 步骤S114：采用两个单独的1*1卷积核对Hour -Glass模块输出的人脸图像进行多任务人脸语义先验信息提取，分别输出表示face parsing maps的特征图和表示face landmark 权 利 要 求 书1/3页2CN 110148085 A
图像超分辨率重建技术的研究背景意义及应用
图像超分辨率重建技术的研究背景意义及应用图像超分辨率重建技术的研究背景意义及应用 1 研究背景及研究意义 2 图像超分辨率重建的应用 1 研究背景及研究意义 伴随着计算机技术、信息处理技术和视觉通信技术的高速发展，人类进入了一个全新的信息化时代。人们所能能够获取的知识量呈爆炸式的增长，因此迫切的要求信息处理技术不断的完善和发展，以便能够为人们提供更加方便、快捷和多样化的服务。数字图像及其相关处理技术是信息处理技术的重要内容之一，在很多领域得到了越来越广泛的应用。对于数字图像在一些情况下一般要求是高分辨图像，如:医学图像要求能够显示出那些人眼不能辨别出的细微病灶;卫星地面要求卫星图像至少能够辨别出人的脸相甚至是证件;有些检测识别控制装置需要足够高分辨率的图像才能保证测量和控制的精度。因此提高图像分辨率是图像获取领域里追求的一个目标。 1970年以来，CCD和CMOS图像传感器广泛的被用来获取数字图像，在很多的 应用场合，需要获取高分辨图像，提高图像分辨率最直接的方法是提高成像装置的分辨力，但是受传感器阵列排列密度的限制，提高传感器的空间分辨率越来越难，通常采用的方法是减少单位像素的尺寸(即增加单位面积内的像素数量)，对于数字摄机，比如CCD，就是减少其传感单元的尺寸从而提高传感器的阵列密度，使其能够分辨出更多场景细节。但是这样将导致数字摄像机的价格大幅度提高。技术工艺的制约也限制了图像分辨率的进一步提高。事实上随着像素尺寸的减少，每个像素接收到的光照强度也随之降低，传感器自身的噪声将严重影响图像的质量，造成拍摄的影像信噪比不高，因此，像素尺寸不可能无限制的降低，而是有下限的，当CCD传感器阵列密度增加到一定程度时，图像的分辨率不但不会提高反而会下降，
图像超分辨率重建--图像处理课程设计
目录 1 课程设计目的 (1) 2图像处理系统设计内容及要求 (2) 2.1设计内容 (2) 2.2设计要求 (2) 3 设计方案 (3) 4 功能模块的具体实现 (5) 4.1 空域插值放大的方法 (5) 4.1.1 最邻近插值算法 (5) 4.1.2 双线性插值算法 (6) 4.1.3 双三次插值算法 (7) 4.2 频域重建的方法 (8) 4.2.1 DCT变换的介绍 (8) 4.2.2 DCT放大图像放大算法原理 (8) 4.3 频域分块重建的方法 (10) 4.4 同态滤波器滤波处理 (11) 4.4.1 同态滤波器原理 (11) 4.4.2 同态滤波函数的确定 (12) 5 总结与体会 (14) 参考文献 (15) 附录 (16)
1课程设计目的 MATLAB7.0软件。MATLAB是由美国mathworks公司发布的主要面对科学计算、可视化以及交互式程序设计的高科技计算环境。它将数值分析、矩阵计算、科学数据可视化以及非线性动态系统的建模和仿真等诸多强大功能集成在一个易于使用的视窗环境中，为科学研究、工程设计以及必须进行有效数值计算的众多科学领域提供了一种全面的解决方案，并在很大程度上摆脱了传统非交互式程序设计语言的编辑模式，代表了当今国际科学计算软件的先进水平。通过用MATLAB 对图像进行处理，以实现以下目的。 1.培养严谨的科学态度，正确的设计思想，科学的设计方法和良好的工作作风。 2.培养独立思考的能力，独立检索资料、阅读文献、综合分析、计算机应用、数据及文字处理等能力。 3.培养综合运用基础理论、基本知识的能力。通过课程设计得到工程设计的初步锻炼。
图像超分辨率重建算法研究 文献综述
毕业设计（论文）题目：图像超分辨率重建算法研究 专业（方向）：电子信息工程 文献综述 1.引言 超分辨率概念最早出现在光学领域。在该领域中，超分辨率是指试图复原衍射极限以外数据的过程。Toraldo di Francia在1955年的雷达文献中关于光学成像第一次提出了超分辨率的概念。复原的概念最早是由J.L.Harris和J.w.Goodman分别于1964年和1965年提出一种称为Harris-Goodman频谱外推的方法。这些算法在某些假设条件下得到较好的仿真结果，但实际应用中效果并不理想。Tsai &Huang首先提出了基于序列或多帧图像的超分辨率重建问题。1982年D.C.C.Youla和H.Webb在总结前人的基础上，提出了凸集投影图像复原(Pocs)方法。1986年，S.E.Meinel提出了服从泊松分布的最大似然复原(泊松-ML)方法。1991年和1992年，B.R.Hunt和PJ.Sementilli在Bayes分析的基础上，提出了泊松最大后验概率复原(泊松-MAP)方法，并于1993年对超分辨率的定义和特性进行了分析，提出了图像超分辨率的能力取决于物体的空间限制、噪声和采样间隔。 伴随着计算机技术、信息处理技术和视觉通信技术的高速发展，人类进入了一个全新的信息化时代。人们所能够获取的知识量呈爆炸式的增长，因此迫切的要求信息处理技术不断的完善和发展，以便能够为人们提供更加方便、快捷和多样化的服务。数字图像及其相关处理技术是信息处理技术的重要内容之一，在很多领域得到了越来越广泛的应用。对于数字图像在一些情况下一般要求是高分辨图像，如：医学图像要求能够显示出那些人眼不能辨别出的细微病灶；卫星地面要求卫星图像至少能够辨别出人的脸相；有些检测识别控制装置需要足够高分辨率的图像才能保证测量和控制的精度。因此提高图像分辨率是图像获取领域里追求的一个目标。但是通过改善成像装置硬件的分辨力来提高图像的分辨能力是有限的也是不切实际的。因此，需要一种有效的方法来克服图像传感器的这些限制。 解决这一问题的一个实用而有效的方法就是图像的超分辨率重构技术，其不需要昂贵的图像获取设备，只需要通过计算机软件的处理就能获得更高分辨率的图像。因此，用该方法来提高图像分辨率所需要的代价很低。 2.超分辨率图像重构算法研究现状以及优缺点 目前,国内外对超分辨率的研究较突出的有:美国加州大学多维信号处理研究小组的PeymanMilanfar 等提出了大量的实用算法和集成各种算法的超分辨率图像恢复软件包；美国Dayton大学和Wright实验室对红外CCD相机进行了机载试验，利用20幅低分辨率的红外图像，取得了分辨率提高近5倍的实验结果。香港R. F. Chars等研究了超分辨率图像恢复的有效预处理共扼梯度迭代算法。以色列耶鲁撒冷大学M.Elad 等对存在任意运动的图像序列,以及动态的和彩色的多媒体等的超分辨率恢复进行了研究。以色列的