文档库 最新最全的文档下载
当前位置:文档库 › 图像超分辨率重构算法研究进展

图像超分辨率重构算法研究进展

图像超分辨率重构算法研究进展
图像超分辨率重构算法研究进展

图像超分辨率重构算法研究进展

摘要:超分辨率(super-resolution,sr)重构技术是指利用一帧或多帧拥有部分细节的低分辨率(low-resolution,lr)图像重构出一幅可以提供更多细节信息的高分辨率(high-resolution,hr)图像。本文通过频域、空域和学习这三个层面的超分辨率重构算法,对图像超分辨率的方法进行了分类对比,重点论述了各算法的优缺点及应用,并展望超分辨率图像重构技术的发展趋势。

关键词:图像超分辨率;频域;空域;学习

中图分类号:tp391

由于超分辨率重构技术是采用软件方法来提高图像的空间分辨率,而不需要更换原有的成像设备,使它成为一种有效而又经济的提高图像分辨率的方法。自开始提出到现在,已具有广泛的应用领域,如在计算机视觉、卫星图像中军事目标识别、视频监控系统、生物医学图像处理和视频压缩、民用安防等领域中具有重要的实际应用价值,近年来得到许多学者广泛的关注。

国外超分辨率图像重构研究较为活跃,国内对于超分辨率重建构的研究近年来也逐步引起重视,但主要是对国外超分辨率方法的改进及部分领域的应用,如汪雪林等[1]提出了基于小波域局部高斯模型的图像超分辨率算法;姚振杰等提出一种用于车牌识别的图像超分辨算法[2]等。

1 图像超分辨率重构算法分类

目前,单帧图像的超分辨率研究较少,而多帧图像比单帧图像所

图像超分辨率重建

收稿日期:2008唱08唱21;修回日期:2008唱10唱28 作者简介:王培东(1953唱),男,黑龙江哈尔滨人,教授,硕导,CCF会员,主要研究方向为计算机控制、计算机网络、嵌入式应用技术;吴显伟(1982唱),男(回族),河南南阳人,硕士,主要研究方向为计算机控制技术(wu_xianwei@126.com). 一种自适应的嵌入式协议栈缓冲区管理机制 王培东,吴显伟 (哈尔滨理工大学计算机科学与技术学院,哈尔滨150080) 摘 要:为避免创建缓冲区过程中必须指定大小和多次释放而导致可能的内存泄露和代码崩溃的弊端,提出一种自适应的嵌入式协议栈的缓冲区管理机制AutoBuf。它是基于抽象缓冲区接口而设计的,具有自适应性,支持动态内存的自动分配与回收,同时实现了嵌入式TCP/IP协议栈各层之间的零拷贝通信。在基于研究平台S3C44B0X的Webserver网络数据监控系统上的测试结果表明,该缓冲区的设计满足嵌入式系统网络通信的应用需求,是一种高效、可靠的缓冲区管理机制。 关键词:嵌入式协议栈;抽象缓冲区;零拷贝;内存分配 中图分类号:TP316 文献标志码:A 文章编号:1001唱3695(2009)06唱2254唱03doi:10.3969/j.issn.1001唱3695.2009.06.077 Designandimplementationofadaptivebufferforembeddedprotocolstack WANGPei唱dong,WUXian唱wei (CollegeofComputerScience&Technology,HarbinUniversityofScience&Technology,Harbin150080,China) Abstract:Toavoidtraditionalmethodofcreatingbuffer,whichmusthavethesizeofbufferandfreememoryformanytimes,whichwillresultinmemoryleaksandcodescrash.ThispaperproposedaflexiblebuffermanagementmechanismAutoBufforembeddednetworkprotocolstack.Itwasadaptiveandscalableandbasedonanabstractbufferinterface,supporteddynamicme唱moryallocationandbackup.ByusingtheAutoBufbuffermanagementmechanismwithdatazerocopytechnology,itimplementedtotransferdatathroughtheembeddednetworkprotocolstack.ThemanagementmechanismhadbeenappliedtotheWebserversystembaseonS3C44b0Xplatformsuccessfully.Theresultsinrealnetworkconditionshowthatthesystemprovidesagoodper唱formanceandmeetsthenecessaryofembeddednetworksystem.Keywords:embeddedstack;abstractbuffer;zero唱copy;memoryallocation 随着网络技术的快速发展,主机间的通信速率已经提高到了千兆数量级,同时多媒体应用还要求网络协议支持实时业务。嵌入式设备网络化已经深入到日常生活中,而将嵌入式设备接入到互联网需要网络协议栈的支持。通过分析Linux系统中TCP/IP协议栈的实现过程,可以看出在协议栈中要有大量数据不断输入输出,而管理这些即时数据的关键是协议栈中的缓冲区管理机制,因此对嵌入式协议栈的缓冲区管理将直接影响到数据的传输速率和安全。通用以太网的缓冲区管理机制,例如4.4BSDmbuf [1] 和现行Linux系统中的sk_buf [2] 多是在大内存、 高处理速率的基础上设计的,非常庞大复杂。由于嵌入式设备的硬件资源有限,特别是可用物理内存的限制,通用的协议栈必然不适用于嵌入式设备,在应用时要对标准的TCP/IP协议进行裁剪 [3] 和重新设计缓冲区管理机制。 1 缓冲区管理机制的性能需求分析 缓冲区管理 [4] 是对内存提供一种统一的管理手段,通过该 手段能够对可用内存提供分配、回收、数据操作等行为。内存的分配操作是根据一定的内存分配策略从缓冲区中获得相应大小的内存空间;缓冲区的数据操作主要是向缓冲区写数据,从缓冲区读数据,在缓冲区中删除数据,对空闲的内存块进行合并等行为;内存的回收就是将已空闲的内存重新变为可用内存,以供存 储其他新的数据。 为了满足长度不一的即时数据的需求,缓冲区对内存的操作主要集中在不断地分配、回收、合并空闲的内存块等操作。因为网络中的数据包小到几个字节大到几千个字节,不同长度的数据对内存的需求必然不同。现存嵌入式设备中的内存多是以物理内存,即实模式形式存在的,没有虚拟内存的形式,对内存的操作实际是操作真实的物理内存,所以对内存操作要特别谨慎。在传统使用动态分配的缓冲区(通过调用malloc()/free())在函数之间传递数据。尽管该方法提供了灵活性,但它也带来了一些性能影响。首先考虑对缓冲区的管理(分配和释放内存块)。如果分配和释放不能在相同的代码位置进行,那么必须确保在某个内存块不再需要时,释放一次(且仅释放一次)该内存块是很重要的,否则就会导致内存泄露。其次是必须确定缓冲区的大小才能分配该内存块。然而,确定数据大小并非那么容易,传统做法是采用最大的数据尺寸的保守估计。而采用保守估计预分配的内存大小总是远超过实际需要的大小,而且没有一定的范围标准,这样难免会导致资源的严重浪费。 随着数据在协议栈中的不断流动,内存块的多次释放和多次分配是难以避免的,而保守估计对于有限的资源来说又是一种浪费的策略。因此为了能有效地利用资源,设计一种可自控的、不用预判断大小的数据缓冲区接口就势在必行。 第26卷第6期2009年6月  计算机应用研究 ApplicationResearchofComputers Vol.26No.6Jun.2009

图像超分辨率重建处理算法研究概要

第4l卷第ll期 2011年11月 激光与红外 LASER &INFRARED V01.41,No.11 November,2011 文章编号:1001-5078(201111-1278-04 图像超分辨率重建处理算法研究 ?图像与信号处理? 万雪芬1,杨义2,崔剑3 (1.华北科技学院,河北三河065201;2.东华大学,上海201620;3.北京航空航天大学,北京100191 摘要:超分辨算法为实现图像和视频分辨率提高的一种方法。其广泛应用于数字电视、医学图像处理、军事与遥感等领域。超分辨率图像通过融合多帧相似的低分辨率图像达到提高图像细节的目的。本文对使用较为普遍的频域方法、非均匀差值算法、凸集投影算法、迭代反投 影算法、最大后验概率方法及基于学习的方法进行了分析,并简要讨论了超分辨算法未来的发展方向。 关键词:图像处理;超分辨率;低分辨率重建 中图分类号:TP751文献标识码:A DOI:10.3969/j.issn.1001-5078.2011.11.023 Research on super-resolution image reconstruction WAN Xue—fenl,YANG Yi2,CUI Jian3

(I.Nordl China Institute of Science and Technology,Sanhe 065201,China;2.Donghua University,Shanghai 201620,China; 3.Beihang University,Beijing 100191,China Abstract:Super-resolution image reconstruction is a technique to reconstruct high resolution image or video from a 8e- quence of low resolution images.It has been widely used in digital TV,medicinal processing,military and remote剐m8一 ing.The super resolution method is summarized in this paper.Some super resolution image reconstructions ale dis— cussed for super-resolution image reconstruction.The tendency and development prospect a弛also discussed. Key words:image processing;super resolution;low resolution image reconstruction l 引言 近年来,数字图像采集技术已被广泛应用于工控、安监、军事与消费等领域。但由于价格成本因素限制,很多情况下通过低端图像采集设备获得的图片质量与分辨率较低,往往不能满足实际的要求。利用一系列相似的低分辨的图像,经过超分辨率技术的处理,可以得到一幅分辨率较高、包含信息较多的图像。这个处理过程就是超分辨率重建。采用超分辨率技术可以在不更换原有设备的前提下,提高图像的分辨率、改善图像的质量。 超分辨率技术用途较为广泛。在数字电视领域,可以利用超分辨率重建技术将数字电视信号转化为与高清晰度电视接收机相匹配的信号,提高观众的体验。在医疗领域,提高医学图像的分辨率,可以帮助医生做出正确的诊断。在军事、气象领域,通过侦查卫星与气象卫星获得图片的分辨率通常难以达到人们期望的分辨率级别,使用超分辨率技术,通过对观测结果做后期处理,可以更好地识别目标,更好地服务于军事安全和日常生活。

【CN110148085A】人脸图像超分辨率重建方法及计算机可读取的存储介质【专利】

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910323776.X (22)申请日 2019.04.22 (71)申请人 智慧眼科技股份有限公司 地址 100193 北京市海淀区昆明湖南路51 号中关村军民融合产业园C座207 (72)发明人 刘蒸蒸 刘伟华  (74)专利代理机构 长沙智嵘专利代理事务所 (普通合伙) 43211 代理人 刘宏 (51)Int.Cl. G06T 3/40(2006.01) (54)发明名称 人脸图像超分辨率重建方法及计算机可读 取的存储介质 (57)摘要 本发明公开了一种人脸图像超分辨率重建 方法。本发明的人脸图像超分辨率重建方法,独 创性地提取了两种人脸语义先验知识,将两种人 脸先验信息和人脸超分辨率重建网络的编码部 分拼接合并后作为人脸超分辨率重建网络的解 码部分的输入,确保了重构的人脸图像包含更多 的人脸先验信息,并且将人脸超分辨率重建网络 和多任务人脸语义先验知识提取网络共同作为 生成对抗网络的生成器,使得重建后的高分辨率 人脸图像更加真实逼真,执行速度也很快,对于 不同程度低分辨率的人脸图像都具有良好的鲁 棒性。本发明的人脸图像超分辨率重建方法,对 于由于采集设备和环境以及网络传输介质、图像 压缩等因素引起的低分辨率图像的超分辨率重 建具有良好的应用效果。权利要求书3页 说明书8页 附图5页CN 110148085 A 2019.08.20 C N 110148085 A

1.一种人脸图像超分辨率重建方法,用于对低分辨率人脸图像进行超分辨率重建处理,其特征在于, 包括以下步骤: 步骤S1:采用多任务人脸语义先验知识提取网络提取低分辨率人脸图像的两种人脸先验信息,两种人脸先验信息分别为face parsing maps和face landmark heatmaps; 步骤S2:构建人脸超分辨率重建网络,人脸超分辨率重建网络包括解码部分和编码部分; 步骤S3:将提取的两种人脸先验信息和人脸超分辨率重建网络的编码部分拼接合并后作为人脸超分辨率重建网络的解码部分的输入; 步骤S4:将人脸超分辨率重建网络的解码部分和编码部分、以及多任务人脸语义先验知识提取网络共同作为生成对抗网络的生成器G,并构建判别器D进行对抗训练,同时构建人脸超分辨率重建网络的整体损失函数; 步骤S5:输入低分辨率人脸图像并采用Adam最优化方法迭代更新人脸超分辨率重建网络的参数; 步骤S6:重复执行步骤S5直至整体损失函数收敛,并保存网络模型和参数。 2.如权利要求1所述的人脸图像超分辨率重建方法,其特征在于, 所述步骤S1中的多任务人脸语义先验知识提取网络通过以下步骤构建: 步骤S11:采用3个Residual模块和2个Hour -Glass模块并结合skip connection机制构建多任务人脸语义先验知识提取网络; 步骤S12:初始化多任务人脸语义先验知识提取网络的参数,并构建基于像素级别L2范数的损失函数,然后采用Adam最优化方法训练网络,保存训练好的模型。 3.如权利要求2所述的人脸图像超分辨率重建方法,其特征在于, 所述基于像素级别L2范数的损失函数为 其中,p truth 表示真实的人脸先验信息,p estimate 表示多任务人脸语义先验知识提取网络估计的人脸先验信息。 4.如权利要求2所述的人脸图像超分辨率重建方法,其特征在于, 所述步骤S11具体包括以下步骤: 步骤S111:先利用双线性插值算法对输入的低分辨率人脸图像进行重建,再将重建后得到的人脸图像输入至卷积核为7*7、步长为2的“CONV -BN -ReLU ”卷积结构,“CONV -BN -ReLU ”卷积结构输出人脸图像; 步骤S112:将“CONV -BN -ReLU ”卷积结构输出的人脸图像输入至3个Residual模块,Residual模块的卷积核为3*3、步长为1,Residual模块输出人脸图像; 步骤S113:将Residual模块输出的人脸图像输入至2个Hour -Glass模块,Hour -Glass模块输出人脸图像; 步骤S114:采用两个单独的1*1卷积核对Hour -Glass模块输出的人脸图像进行多任务人脸语义先验信息提取,分别输出表示face parsing maps的特征图和表示face landmark 权 利 要 求 书1/3页2CN 110148085 A

图像超分辨率重建技术的研究背景意义及应用

图像超分辨率重建技术的研究背景意义及应用图像超分辨率重建技术的研究背景意义及应用 1 研究背景及研究意义 2 图像超分辨率重建的应用 1 研究背景及研究意义 伴随着计算机技术、信息处理技术和视觉通信技术的高速发展,人类进入了一个全新的信息化时代。人们所能能够获取的知识量呈爆炸式的增长,因此迫切的要求信息处理技术不断的完善和发展,以便能够为人们提供更加方便、快捷和多样化的服务。数字图像及其相关处理技术是信息处理技术的重要内容之一,在很多领域得到了越来越广泛的应用。对于数字图像在一些情况下一般要求是高分辨图像,如:医学图像要求能够显示出那些人眼不能辨别出的细微病灶;卫星地面要求卫星图像至少能够辨别出人的脸相甚至是证件;有些检测识别控制装置需要足够高分辨率的图像才能保证测量和控制的精度。因此提高图像分辨率是图像获取领域里追求的一个目标。 1970年以来,CCD和CMOS图像传感器广泛的被用来获取数字图像,在很多的 应用场合,需要获取高分辨图像,提高图像分辨率最直接的方法是提高成像装置的分辨力,但是受传感器阵列排列密度的限制,提高传感器的空间分辨率越来越难,通常采用的方法是减少单位像素的尺寸(即增加单位面积内的像素数量),对于数字摄机,比如CCD,就是减少其传感单元的尺寸从而提高传感器的阵列密度,使其能够分辨出更多场景细节。但是这样将导致数字摄像机的价格大幅度提高。技术工艺的制约也限制了图像分辨率的进一步提高。事实上随着像素尺寸的减少,每个像素接收到的光照强度也随之降低,传感器自身的噪声将严重影响图像的质量,造成拍摄的影像信噪比不高,因此,像素尺寸不可能无限制的降低,而是有下限的,当CCD传感器阵列密度增加到一定程度时,图像的分辨率不但不会提高反而会下降,

图像超分辨率重建--图像处理课程设计

目录 1 课程设计目的 (1) 2图像处理系统设计内容及要求 (2) 2.1设计内容 (2) 2.2设计要求 (2) 3 设计方案 (3) 4 功能模块的具体实现 (5) 4.1 空域插值放大的方法 (5) 4.1.1 最邻近插值算法 (5) 4.1.2 双线性插值算法 (6) 4.1.3 双三次插值算法 (7) 4.2 频域重建的方法 (8) 4.2.1 DCT变换的介绍 (8) 4.2.2 DCT放大图像放大算法原理 (8) 4.3 频域分块重建的方法 (10) 4.4 同态滤波器滤波处理 (11) 4.4.1 同态滤波器原理 (11) 4.4.2 同态滤波函数的确定 (12) 5 总结与体会 (14) 参考文献 (15) 附录 (16)

1课程设计目的 MATLAB7.0软件。MATLAB是由美国mathworks公司发布的主要面对科学计算、可视化以及交互式程序设计的高科技计算环境。它将数值分析、矩阵计算、科学数据可视化以及非线性动态系统的建模和仿真等诸多强大功能集成在一个易于使用的视窗环境中,为科学研究、工程设计以及必须进行有效数值计算的众多科学领域提供了一种全面的解决方案,并在很大程度上摆脱了传统非交互式程序设计语言的编辑模式,代表了当今国际科学计算软件的先进水平。通过用MATLAB 对图像进行处理,以实现以下目的。 1.培养严谨的科学态度,正确的设计思想,科学的设计方法和良好的工作作风。 2.培养独立思考的能力,独立检索资料、阅读文献、综合分析、计算机应用、数据及文字处理等能力。 3.培养综合运用基础理论、基本知识的能力。通过课程设计得到工程设计的初步锻炼。

图像超分辨率重建算法研究 文献综述

毕业设计(论文)题目:图像超分辨率重建算法研究 专业(方向):电子信息工程 文献综述 1.引言 超分辨率概念最早出现在光学领域。在该领域中,超分辨率是指试图复原衍射极限以外数据的过程。Toraldo di Francia在1955年的雷达文献中关于光学成像第一次提出了超分辨率的概念。复原的概念最早是由J.L.Harris和J.w.Goodman分别于1964年和1965年提出一种称为Harris-Goodman频谱外推的方法。这些算法在某些假设条件下得到较好的仿真结果,但实际应用中效果并不理想。Tsai &Huang首先提出了基于序列或多帧图像的超分辨率重建问题。1982年D.C.C.Youla和H.Webb在总结前人的基础上,提出了凸集投影图像复原(Pocs)方法。1986年,S.E.Meinel提出了服从泊松分布的最大似然复原(泊松-ML)方法。1991年和1992年,B.R.Hunt和PJ.Sementilli在Bayes分析的基础上,提出了泊松最大后验概率复原(泊松-MAP)方法,并于1993年对超分辨率的定义和特性进行了分析,提出了图像超分辨率的能力取决于物体的空间限制、噪声和采样间隔。 伴随着计算机技术、信息处理技术和视觉通信技术的高速发展,人类进入了一个全新的信息化时代。人们所能够获取的知识量呈爆炸式的增长,因此迫切的要求信息处理技术不断的完善和发展,以便能够为人们提供更加方便、快捷和多样化的服务。数字图像及其相关处理技术是信息处理技术的重要内容之一,在很多领域得到了越来越广泛的应用。对于数字图像在一些情况下一般要求是高分辨图像,如:医学图像要求能够显示出那些人眼不能辨别出的细微病灶;卫星地面要求卫星图像至少能够辨别出人的脸相;有些检测识别控制装置需要足够高分辨率的图像才能保证测量和控制的精度。因此提高图像分辨率是图像获取领域里追求的一个目标。但是通过改善成像装置硬件的分辨力来提高图像的分辨能力是有限的也是不切实际的。因此,需要一种有效的方法来克服图像传感器的这些限制。 解决这一问题的一个实用而有效的方法就是图像的超分辨率重构技术,其不需要昂贵的图像获取设备,只需要通过计算机软件的处理就能获得更高分辨率的图像。因此,用该方法来提高图像分辨率所需要的代价很低。 2.超分辨率图像重构算法研究现状以及优缺点 目前,国内外对超分辨率的研究较突出的有:美国加州大学多维信号处理研究小组的PeymanMilanfar 等提出了大量的实用算法和集成各种算法的超分辨率图像恢复软件包;美国Dayton大学和Wright实验室对红外CCD相机进行了机载试验,利用20幅低分辨率的红外图像,取得了分辨率提高近5倍的实验结果。香港R. F. Chars等研究了超分辨率图像恢复的有效预处理共扼梯度迭代算法。以色列耶鲁撒冷大学M.Elad 等对存在任意运动的图像序列,以及动态的和彩色的多媒体等的超分辨率恢复进行了研究。以色列的

相关文档