图像的超分辨率处理方法研究现状
超分辨率图像处理技术是利用多帧关于同一场景的有相互位移的低分辨率降质图像来重建高分辨率高质量图像的技术。介绍了超分辨率图像处理技术的概念和起源;综述了超分辨率图像恢复研究现状。重点对单帧和多帧超分辨率图像处理的主要方法进行了评述,并总结对比了频域和空域方法的优缺点。最后对超分辨率图像处理技术的技术难点和前沿问题研究前景进行介绍和展望。
0引言
图像超分辨率处理技术是指利用多帧关于同一场景的有相互位移的低分辨率降质图像(LR,lowresolution)来重建高分辨率高质量图像(HR,highresolution)的技术[1]。图像超分辨率处理技术可突破图像采集设备的分辨率限制,充分利用多帧图像之间的互补信息,实现像素级的图像信息融合。在计算机视觉、卫星遥感、天文学、生物医学成像、民用安防等多个领域都有广泛的应用。图像超分辨率处理常被认为是广义的图像复原(Restoration)或图像重建(Reconstruction)。实际上它与两者有一定联系但是又不完全相同。图像复原是指去除或减轻获取数字图像过程中发生的图像质量下降(退化)[2],目标是恢复光学系统截止频率以内的成分,而图像超分辨率处理的目标是得到系统截止频率以外的成分。图像重建可用于现有成像系统不能提供满意图像分辨率的情况,如提高遥感图像、CT、核磁共振、超声波图像和各种监控图像等的分辨率[3]。在超分辨率处理中,多帧低分辨率降质图像可以认为是高分辨率理想图像经成像系统在观测平面上的一个投影,因此图像超分辨率处理也可以认为是由多帧低分辨率降质图像来重建高分辨率理想图像。
1超分辨率图像处理技术研究概况
J.L.Harris[4]和J.W.Goodman[5]提出的基于单帧图像的Harris-Goodman频谱外推法是最早的超分辨率图像处理的方法。随后,Tsai与Huang提出了基于序列或多帧图像的超分辨率重建问题,并给出了基于频域逼近的重建图像方法。此后,极大后验概率估计法、反向投影迭代法、凸集投影法和自适应滤波方法等许多有使用价值的方法被提出并发展。
目前,国内外对超分辨率的研究较突出的有:美国加州大学多维信号处理研究小组的PeymanMilanfar等提出了大量的实用算法和集成各种算法的超分辨率图像恢复软件包[6];美国Dayton大学和Wright实验室对红外CCD相机进行了机载试验,利用20幅低分辨率的红外图像,取得了分辨率提高近5倍的实验结果。香港R. F. Chars等研究了超分辨率图像恢复的有效预处理共扼梯度迭代算法[7]。以色列耶鲁撒冷大学M.Elad等[8]对存在任意运动的图像序列,以及动态的和彩色的多媒体等的超分辨率恢复进行了研究。以色列的EROS-A卫星利用“过采样”技术使影像的分辨率提高一倍以上。印度S.Chaudhuri等研究了迭代的超分辨率图像恢复方法[9]。韩国Pohang理工大学在各向异性扩散用于超分辨率[10]方面进行了研究。国内近几年在频谱外推、混叠效应的消除、无损检测、成像探测元的阵列改进以及一些超分辨率方法的改进方面做过类似研究,但研究水平无论从深度和广度上都较国外存在一定的差距[11]。
2超分辨率图像处理方法
图像超分辨率处理技术通常可以分为两大类:单帧图像重建(静态图像插值)方法和多帧图像处理(序列图像重建)方法。单帧图像处理也称为图像放大,是指利用一帧探测器采集到的低分辨率图像的信息,通过重建算法提高图像分辨率的方法。为了增加利用图像的信息,人们逐渐将研究热点转向多帧图像处理。多帧图像处理充分利用了不同帧图像之间的互补信息,其超分辨率复原能力好于利用单帧图像处理。其主要方法大致可以分为两类:频域法和空域法。早期的超分辨率图像处理方法研究都集中在频域,后来转向空域超分辨率图像处理复原方法的研究。频域法不能利用图像的先验知识,而空域方法则能够充分利用图像先验知识。频域方法的基本流程如图1(a)所示。其中图像配准和运动模型估计的精度越高,图像重建的效果就越好。当考虑到普遍的运动类型以及退化模型时,频率域方法仅能进行整体运动估计,
很难将采样空间中变化的运动模型局部等价到其Fourior变换域上。因而产生了空域处理方法,具体流程如图1(b)所示。显然,空间域方法进行超分辨率重建时,将复杂的运动模型与相应的插值或迭代及滤波重采样放在一起处理,这样更符合图像退化的复杂过程。超分辨率图像处理方法很多,下面对一些目前正在研究和经常使用的方法进行重点研究。
2.1单帧超分辨率图像处理
单帧超分辨率技术利用空间有界和频带限制之间的不相容性来重建特定图像中衍射极限以外的频谱。Wang等[12]提出了有向滤波器,保护有向多项式表示的有向图像特征。Ayazifar[13]提出了边缘保持的插值技术,该技术不仅能沿线性边缘插值,也能沿弯曲的轮廓插值。Schultz等[14]将插值图像看作是非连续性保持的Huber-Markov随机场,并计算它的最大后验概率(MAP)估算,以获得高分辨率图像。Thurnhofer等[15]提出了图像插值的自适应算法,并进行了视觉边缘增强。由于实际成像和图像探测过程中误差因素的存在,使基于单帧图像的超分辨率处理方法难以应用于工程实际。
2.2频域方法
频域法是最早出现的超分辨率图像处理方法,是指通过在频率域消除频谱混叠而改善图像的空间分辨率的方法。频域方法的理论基础为傅里叶变换的平移特性,主要包括:解混叠重建法、递归最小二乘法、递归整体最小二乘法等方法。
由频域解混叠进行超分辨率重建最早由Tsai和Huang于1984年提出[16],图像序列被模型化为同一幅场景图经整体平移后欠采样的结果,欠采样过程在频域表现为频谱的混叠。该法的不足之处是其模型中没有考虑光学系统点扩散函数(PSF),也没有考虑运动模糊和观测噪声。Tekalp等人于1992年提出一种改进的方法[17],采用的模型中包括了线性平移不变的点扩散函数(LSI PSF, LinearShift Invariant PSF)和观测噪声。Kim等人[18]提出了用递归最小二乘法(RLS,Recursive Least Squares)、加权递归最小二乘法(WRLS,Weighted Recursive Least
Squares)求解频谱混叠系统线性方程组,使得超分辨率重建过程可以包含观测噪声、空间模糊等因素。
由于噪声和误差的影响可能导致递归最小二乘法不收敛,为此Bole提出了递归整体最小二乘法(RTLS,RecursiveTotal Least Squares)[19]。该方法所采用的模型有效地考虑了观测图像的LSI模糊因子,但未考虑运动模糊。
2.3空域方法
空域方法就是指在图像像素的尺度上,通过对图像像素点的变换、约束进而改善图像质量的方法。空域方法主要包括非均匀采样内插法、代数滤波反向投影法、基于概率论的方法、凸集投影迭代法、混合法、自适应滤波法、Tikhonov-Arsenin正则化法等。
2.3.1非均匀采样内插法
该技术将运动估计、非均匀插值、去模糊3个过程依次执行,先用估计的相对运动信息,然后用插值方法得到HR图像后,最后用传统的图像恢复方法去除模糊和噪声。该技术的优点是计算复杂度低,易于实用化。不足之处在于观测模型只适用于所有的LR图像的模糊和噪声特征都相同的情况。此外,由于恢复时忽略了插值过程引入的误差,无法保证整个复原算法的最优。
该技术比较突出的研究如下:Keren等人提出了一种包括整体平移和旋转的超分辨率重建模型[20],其特点是在超分辨率重建阶段分为内插、模拟修正两步。这一方法的缺点是其内插过程过于简单,对消除观测值之间的频谱混叠没有任何效果。Aizawa等提出了另一种基于内插的方法[21],他们分析了通过立体相机获取超分辨率图像的方法。该种方法没有考虑光学模糊和运动模糊,该种模型同样也不能够利用任何先验信息。
2.3.2反向投影法
在对高分辨率图像的迭代计算中,将高分辨率图像估计结果退化为低分辨率图像,计算该退化图像与真实退化图像的残差,由残差和图像模糊构造后向投影来修正下一次的迭代。迭代后向投影方法的优点是简单直观,缺点是解不唯一,也难以进行正则处理。Friden等[22]提出了代数层析滤波后向投影方法、迭代反向投影方法( IBP, Iterative BackProjection)等方法,进一步提高了迭代反向投影算法的性能并将其推广应用到彩色视频序列的超分辨率重建上。
2.3.3统计复原方法
常用的统计复原方法包括极大后验概率估算(Maximum a Posteriori,MAP )和最大似然估算。最大后验概率的含义就是在已知低分辨率视频序列的前提下,使出现高分辨率图像的后验概率达到最大。最大似然估算方法可被认为是最大后验概率估算方法在等概率先验模型下的特例。SchultzHardie等人[23]分别提出了相关算法。
目前,MAP超分辨率图像重建算法己经得到广泛的应用,这主要是因为该算法的框架模型是直接考虑先验知识的,以MAP作为先验知识的模型可以提供十分方便、直观和符合实际的成像模型;并且在MAP这样的框架内可以实现运动估计和超分辨率重建的同时求解。
2.3.4基于集合的凸集投影方法(Projection OntoConvex Set,POCS)在这种算法中,约束集定义为超分辨率解空间中可行解的限制条件,每一个限制条件则定义为向量空间中的凸集合(Convex Set)。这些限制条件一般为超分辨率解提供较理想的性质,比如正定性、能量有界性、观测数据一致性以及光滑性等。求解过程就是从多个约束集合的交集中求解高分辨率图像,该方法易于实现,可处理复杂的退化模型。Youla和Webb在1982年最先将凸集投影的理论应用于图像恢复。文献[24]提出了包含系统矩阵的运动模型,该法原理简单、观察模型灵活,能强有力地利用先验知识,近几年来在图像超分辨率重建领域受到广泛重视。但同时具有解的不唯一性、对初始值的依赖性、需要可观的计算代价和较多的迭代次数等缺点。
2.3.5混合ML/MAP/POCS法
Elad等把MAP,ML和POCS三种方法合并成统一的算法族[25]。混合MAP/POCS方法
相当于在最大后验概率方法的迭代优化过程中加入了一些先验约束,混合方法的特点是所有的先验知识都可以有效地结合使用,与POCS方法相比,该法能保证有一个最优解,图像复原性能优于MAP和POCS。
2.3.6滤波方法
通过滤波可直接消除退化因素获得高分辨率图像。该方法的不足是最优滤波方法不能包含先验,自适应滤波方法不能包含非线性先验。自适应滤波、Wiener滤波和Kalman滤波等几类方法可以应用在高清晰度电视标准和合成视频变焦这些运算速度要求较高的场合。Elad 等人[26-27]首先提出一种基于自适应滤波理论的最小二乘估算器。Alam等人[28]提出把Wiener滤波方法引入到图像序列的超分辨率重建中。
2.3.7Tikhonov-Arsenin正则化法
针对超分辨率处理的病态问题,Hong等人[29]提出Tikhonov-Arsenin正则化方法,采用正则化方法对空域可行解进行平滑约束,所用的正则化约束方程就是在概率论方法中提到的Gaussian Markov随机场先验约束,这种先验约束往往是一种过光滑约束。这种方法能处理复杂的图像退化模型及图像模糊、图像运动等盲估计问题,是超分辨率图像恢复中最有研究前景的方法,不过存在计算量大的缺点。
2.4小波方法
基于小波变换的超分辨率重建方法将高频成分采用逐渐精细的时域或空域步长取样,从而可以聚焦到图像的任何细节。Ford等人[30]首先考虑了在多分辨率设置中使用小波基来重建非均匀采样的一维信号。Nguyen等人[31]将这一工作扩展到二维。但这一领域需要更多地关注数值计算问题和从原始的多帧数据中对模糊参数进行估算的问题,它对于超分辨率的研究和应用来说仍然是一个非常活跃的领域。
2.5基于边缘和感兴趣区域的方法
由于在遥感等图像序列形成中光照条件的变化会对频率和空域方法的效果产生影响,所以基于图像边缘的超分辨率图像恢复考虑了图像序列中光照条件的变化,用图像序列中某幅图像作为参考图像,从其他图像中提取边缘细节并对所提取细节去模糊,再融合到参考图像中,从而既增加了高分辨率恢复图像中的细节,避免了像素融合中光照变化的影响,同时也减少了图像恢复的计算量。这种方法的不足之处是在低分辨率图像序列中,边缘提取和分割的结果的准确性会影响图像处理效果。
2.6基于学习和模式识别的方法
对作为训练数据的低分辨率图像和高分辨率图像进行学习和识别,得到二者间的对应模式,随后可进行各种不同的处理:(1)将模式作为先验;(2)根据模式建立Markov网络,以便从图像序列中估计场景的速度、表面形状和高频细节等;(3)将样本投影到学习得到的模式(称作核)上,通过二者间的卷积得到高分辨率图像[32]的方法称为基于学习和模式识别的超分辨率图像恢复。
基于学习和模式识别的超分辨率图像恢复方法,不仅可融入机器学习与模式识别的现有算法,还能通过选择学习模式有针对性地对目标类别进行恢复,使计算量减少,也使恢复结果更适合需要。该类方法的不足在于需要大量学习样本,这在帧数有限的低分辨率序列中难于满足。
2.7其他方法
除以上方法以外,人们还提出了基于Delaunay三角网格的超分辨率图像处理方法[33-34]、基于Kohonen神经网络的超分辨率图像处理[35]、无运动的超分辨率重建方法等,这些方法各有其优缺点,适合于特定的应用场合,但由于采用的模型和相应的算法都比较复杂,不适合应用于超分辨率成像之中,因此本文未作进一步的讨论。
3频域和空域图像处理方法对比
随着研究的深入,产生了越来越多的超分辨处理方法,不同方法的区别在于:采用何种方法获取LR,假定何种图像配准和运动估计模型,采用何种算法重建。频域和空域这两类超分辨率图像处理方法目前应用最为广泛,两者的对比如表1所示。频域方法理论简单,运算复杂度低,容易实现并行处理,具有直观的去变形超分辨率机制,但是频域法不能有效地应用于多数场合,只能局限于全局平移运动和线性空间不变退化模型,所以无法成为研究的主流。空域方法所采用的观测模型涉及全局和局部运动、空间可变模糊点扩散函数、非理想亚采样等,而且具有很强的包含空域先验约束的能力。但是算法相对复杂,计算量大,可以获得更优的图像质量,随着计算机技术的发展,可以预见空域方法将获得更大的发展。在各种空域方法中, Bayes估计(MAP)方法和POCS方法是最有前途的两种。此外,彩色图像和压缩域视频的SR 复原方法也引起人们越来越多的关注。在实际应用中,基于人脸识别和压缩的超分辨率处理技术在最近几年内成为较新的研究课题。
4研究难点与展望
在超分辨率图像处理方法的研究中,运动估计、退化模型、重建算法等三方面是难点所在。超分辨率重建成功的关键是鲁棒的、具有子像素精度的运动估算技术。运动估算的可信度检验,对于非参数运动模型采用约束运动估算方法;全局和局部运动模型与迭代运动估算;识别和分割相结合是当前运动估算的主要研究方向。准确的退化模型(模糊与噪声模型)非常有利于改进超分辨率重建算法,目前退化模型主要有以下几个研究方向:考虑有损压缩过程中的退化因素的退化模型研究;考虑磁性存储介质在记录与回读过程中的退化效应;考虑传感器几何形状、空间时间积分特性、噪声和读出效应等因素的更接近于实际系统特性的退化模型研究。重建算法是超分辨率图像处理的关键所在,目前的研究集中在以下几个方向:同时进行运动估算与复原过程;同时进行多帧超分辨率重建;更优的超分辨率重建算法。此外,考虑配准误差的超分辨率图像处理、盲超分辨率图像重建、彩色超分辨率算法,都是目前的研究热点和前沿问题。
参考文献:
[1]Tsai R Y,Huang T S. Multiframe Image Restorationand Registration. Advances in Computer Vision andImage Processing[M]. JAI Press Inc,1984: 317-339.
[2]Castleman K R.数字图像处理[M].朱志刚译.北京:电子工业出版社,1998.
[3]Baker S,Kanade T. Super-resolution: reconstructionor recognition [C]//Proc. of the 2001 IEEE-EURASIP.SIP Workshop on Nonlinear Signal and ImageProcessing, 2001.
[4]Harris J L. Diffraction and resolving power [J]. J.Opt. Society of America A, 1964,54(7): 931-936.
[5]Goodman J W. Introduction to Fourier optics [M].New York: McGraw-Hill, 1968.
[6]Electrical Engineering Department Baskin School ofEngineering, University of California. Super-resolution software pocket[DB/OL] http:/https://www.wendangku.net/doc/6510821958.html,/-milanfar/SR-Software.htm.
[7]Ng M K,Chan R, Chan T, et al. Cosine transformpreconditioners for high resolution imagereconstruction[J]. Linear Algebra Appl., 2000, 316(1/3): 89-104.
[8]Elad M, Feuer A. Super-resolution restoration ofcontinuous image sequences using the LMS algorithm[C]//The 18-th IEEE Conference in Israel, 1995.
[9]Rajagopalan A N,Chaudhuri S. Recursive computationof maximum likelihood function for blur identificationfrom multiple observations[J]. IEEE Trans. ImageProcessing, 1998,7:1075-1079.
[10]Kim H W, Jang J H, Hong K S. Edge-enhancingsuper-resolution using anisotropic diffusion [ C]//Proc. IEEE Intl. Conf. Image Process, 2001:130-133.
[11]戴光智,陈铁群,薛家祥,等. MAG焊熔池图像的超分辨率分析[J].焊接学报,2008,29(4):53-56.
[12]Wang Y, Mitra S K. Motion/pattern adaptiveinterpolation of interlaced video sequences[C]//Proc.of IEEE International Conference on AcousticsSpeech,Signal Processing, 1991,4:2829-2832.
[13]Ayazifar B. PEL-adaptive model-based interpolationof spatially subsampled images [ C]//1992 IEEEInternational Conference on Acoustics, Speech andSignal Processing, 1992, 3:181-184.
[14]Schultz R R,Stevenson R L.A Bayesian approach toimage expansion for improved definition [J]. IEEETrans. on Image Processing, 1994,3:233-242.
[15]Thurnhofer S, Mitra S K. Edge-enhanced imagezooming[J]:Optical Engineering, 1996,35(7):1862-1870.
[16]Tsai R Y,Huang T S. Multiframe Image Restorationand Registration. Advances in Computer Vision andImage Processing[M]. JAI Press,1984: 317-339.
[17]Tekalp A M, Ozkan M K, Sezan M I. High-resolution image reconstruction from lower-resolutionimage sequences and space-varying; image restoration
[ C ]//1992 IEEE International Conference onAcoustics, Speech, and Signal Processing, 1992,3:169-172.
[18]Kim S P, Su W, Recursive high-resolutionreconstruction of blurred multiframe images[J].IEEETrans. on Image Processing,1993, 2(4): 534-539.
[19]Bole N K, Kim H C. Recursive implementation oftotal least squares algorithm for image reconstructionfrom noisy, undersampled multiframes[C]//Proc. ofthe IEEE Conference on Acoustics, Speech and SignalProcessing, 1993, 5(4):269-272.
[20]Keren D, Peleg S, Brada R. Image sequenceenhancement using sub-pixel displacements [ C]//Computer Society Conference on Computer Vision andPattern Recognition, 1988: 742-746.
[21]Aizawa K,Komatsu T, Saito T. Acquisition of veryhigh resolution images using stereo cameras [ J].Proc. SPIE, 1991, 1605: 318-328.
[22]Frieden B R, Aumann H G, Image reconstructionfrom multiple 1-D scans using filtered localizedprojection[J]. Appl. Opt., 1987, 26 (17): 3615-3621.
[23]Hardie R C, Barnard K J, Armstrong E E. JointMAP registration and high-resolution imageestimation using a sequence of undersampled images[J]. IEEE Trans. on Image Processing, 1997, 6:1621-1633.
[24]Capel D,Zisserman A.Super-resolution enhancementof text image sequences [ C]//Proc. InternationalConference on Pattern Recognition, 2000,1:600-605.
[25]Elad M, Feuer A, Restoration of a singlesuperresolution image from several blurred, noisy,and undersampled measured images[J].IEEE Trans.on Image Processing, 1997, 6(12): 1646-1658.
[26]Elad M,Feuer A. Superresolution restoration of animage sequence:adaptive filtering
approach[J].IEEETrans. on Image Processing,1999,8:387-395.
[27]Elad M, Feuer A. Super-resolution restoration ofcontinuous image sequence using the LMS algorithm[C ]//Proc. 18th IEEE Conf. of Electric andElectronics Engineers in Israel,1995,5:1-5.
[28]Alam M S,Bognar J G, Hardie R C, et al.Infraredimage registration and high-resolution reconstructionusing multiple translationally shifted aliased videoframes[J]. IEEE Trans. on Instrum.Meas.,2000,49:915-923.
[29]Hong M C, Kang M Cz, Katsaggelos A K, Aniterative weighted regularized algorithm for improvingthe resolution of video sequences[C]//Proc. of theIEEE International Conference on Image Processing,1997,B(10):474-477.
[30]Ford C,Etter D M. Wavelet basis reconstruction ofnonuniformlv sampled data [ J]. IEEE Trans. onCircuits,System II:Analog,Digital Signal Processing,1998,45(8):1165-1168.
[31]Nguyen N,Milanfar P. Wave1et-based interpolation-restoration method for superresolution ( waveletsuperresolution)[J].Circuits Systems Signal Process,2000,19(4):321-338.
[32]Candocia F M, Principe J C. Super-resolution ofimages based on local correlations[J]. IEEE Trans.on Neural Networks, 1999, 10(2): 372-380.
[33]Lertrattanapanich S, Bose N K, High resolutionimage formation from low resolution frames usingdelaunay triangulation[J]. IEEE Trans. on ImageProcessing, 2002, 11(12): 1427-1441.
[34]Lertrattanapanich S, Bose N K. HR image frommulti-frames by delaunay triangulation:
a synopsis[ C ]//Proc. International Conference on ImageProcessing, 2002,2: 869-872.
[35]陶洪久,徐洪波.基于Kohonen神经网络的图像超分辨率处理算法[J].武汉理工大学学报(交通科学与工程版),2002,26(4):50-53.
作者简介:姚屏(1978-),女,讲师,博士生,主要研究领域为智能化制造与检测技术,已发表论文20余篇
本文转自中国测控网: https://www.wendangku.net/doc/6510821958.html,/lunwen/201208/02/31246.html
超分辨率图像重建方法综述_苏衡
第39卷第8期自动化学报Vol.39,No.8 2013年8月ACTA AUTOMATICA SINICA August,2013 超分辨率图像重建方法综述 苏衡1,2周杰1张志浩1 摘要由于广泛的实用价值与理论价值,超分辨率图像重建(Super-resolution image reconstruction,SRIR或SR)技术成为计算机视觉与图像处理领域的一个研究热点,引起了研究者的广泛关注.本文将超分辨率图像重建问题按照不同的输入输出情况进行系统分类,将超分辨率问题分为基于重建的超分辨率、视频超分辨率、单帧图像超分辨率三大类.对于其中每一大类问题,分别全面综述了该问题的发展历史、常用算法的分类及当前的最新研究成果等各种相关问题,并对不同算法的特点进行了比较分析.本文随后讨论了各不同类别超分辨率算法的互相融合和图像视频质量评价的方法,最后给出了对这一领域未来发展的思考与展望. 关键词超分辨率图像重建,计算机视觉,图像处理,方法综述 引用格式苏衡,周杰,张志浩.超分辨率图像重建方法综述.自动化学报,2013,39(8):1202?1213 DOI10.3724/SP.J.1004.2013.01202 Survey of Super-resolution Image Reconstruction Methods SU Heng1,2ZHOU Jie1ZHANG Zhi-Hao1 Abstract Because of its extensive practical and theoretical values,the super-resolution image reconstruction(SRIR or SR)technique has become a hot topic in the areas of computer vision and image processing,attracting many researchers attentions.This paper categorizes the SR problems according to their input and output conditions into three main cat-egories:reconstruction-based SR,video SR and single image SR.For each category,the development history,common algorithm classes and state-of-the-art research achievements are reviewed comprehensively.We also analyze the charac-teristics of di?erent algorithms.Afterwards,we discuss the combination of di?erent super-resolution categories and the evaluation of image and video qualities.Thoughts and foresights of this?eld are given at the end of this paper. Key words Super-resolution image reconstruction,computer vision,image processing,survey Citation Su Heng,Zhou Jie,Zhang Zhi-Hao.Survey of super-resolution image reconstruction methods.Acta Auto-matica Sinica,2013,39(8):1202?1213 超分辨率图像重建(Super resolution image re-construction,SRIR或SR)是指用信号处理和图像处理的方法,通过软件算法的方式将已有的低分辨率(Low-resolution,LR)图像转换成高分辨率(High-resolution,HR)图像的技术.它在视频监控(Video surveillance)、图像打印(Image printing)、刑侦分析(Criminal investigation analysis)、医学图像处理(Medical image processing)、卫星成像(Satellite imaging)等领域有较广泛的应用. 收稿日期2011-08-31录用日期2013-01-29 Manuscript received August31,2011;accepted January29, 2013 国家自然科学基金重大国际(地区)合作研究项目(61020106004),国家自然科学基金(61005023,61021063),国家杰出青年科学基金项目(61225008),教育部博士点基金(20120002110033)资助 Supported by Key International(Regional)Joint Research Pro-gram of National Natural Science Foundation of China(6102010 6004),National Natural Science Foundation of China(61005023, 61021063),National Science Fund for Distinguished Young Scholars(61225008),and Ph.D.Programs Foundation of Min-istry of Education of China(20120002110033) 1.清华大学自动化系北京100084 2.北京葫芦软件技术开发有限公司北京100084 1.Department of Automation,Tsinghua University,Beijing 100084 2.Beijing Hulu Inc.,Beijing100084 超分辨率问题的解决涉及到许多图像处理(Im-age processing)、计算机视觉(Computer vision)、优化理论(Optimization problem)等领域中的基本问题[1],例如图像配准(Image registration)、图像分割(Image segmentation)、图像压缩(Image com-pression)、图像特征提取(Image feature extrac-tion)、图像质量评价(Image quality estimation)、机器学习(Machine learning)、最优化算法(Opti-mization algorithm)等,超分辨率是这些基本问题的一个具体应用领域,同时也对它们的研究进展起到了推动的作用.因此超分辨率问题本身的研究具有重要的理论意义.目前超分辨率问题已经成为相关研究领域的热点之一. 在上世纪80～90年代,就有人开始研究超分辨率图像重建的方法,1984年Tsai的论文[2]是最早提出这个问题的文献之一.在这之后有很多相关的研究对超分辨率的问题进行更加深入的讨论.有关超分辨率问题的研究成果,在计算机视觉、图像处理与信号处理领域的顶级会议和期刊都有大量收录. 1998年,Borman等[3]发表了一篇超分辨率图像重建的综述文章.2001年,Kluwer出版了一本详细介
数字图像处理的发展现状及研究内容概述
数字图像处理的发展现状及研究内容概述人类传递信息的主要媒介是语音和图像。据统计，在人类接受的信息中，听觉信息占20%，视觉信息占60%，所以作为传递信息的重要媒体和手段——图像信息是十分重要的，俗话说“百闻不如一见”、“一目了然”，都反映了图像在传递信息中独到之处。 目前，图像处理技术发展迅速，其应用领域也愈来愈广，有些技术已相当成熟并产生了惊人的效益，当前图像处理面临的主要任务是研究心的处理方法，构造新的处理系统，开拓更广泛的应用领域。 数字图像处理（Digital Image Processing）又称为计算机数字图像处理，它是指将数字图像信号转换成数字信号并利用计算机对其进行处理的过程。数字图像处理最早出现于20世纪50年代，当时的电子计算机已经发展到一定水平，人们开始利用计算机来处理图形和数字图像信息。数字图像处理作为一门学科大约形成于20世纪60年代初期。早期的数字图像处理的目的是改善数字图像的质量，它以人为对象，以改善人的视觉效果为目的。数字图像处理中，输入的是质量低的数字图像，输出的是改善质量后的数字图像，常用的数字图像处理方法有数字图像增强、复原、编码、压缩等。 1:数字图像处理的现状及发展 数字图像处理技术在许多应用领域受到广泛重视并取得了重大的开拓性成就，属于这些领域的有航空航天、生物医学工程、工业检测、机器人视觉、公安司法、军事制导、文化艺术等，使数字图像处理成为一门引人注目、前景远大的新型学科。随着数字图像处理技术
的深入发展，从70年代中期开始，随着计算机技术和人工智能、思维科学研究的迅速发展，数字图像处理向更高、更深层次发展。 人们已开始研究如何用计算机系统解释数字图像，实现类似人类视觉系统理解外部世界，这被称为数字图像理解或计算机视觉。很多国家，特别是发达国家投入更多的人力、物力到这项研究，取得了不少重要的研究成果。其中代表性的成果是70年代末MIT的Marr提出的视觉计算理论，这个理论成为计算机视觉领域其后十多年的主导思想。数字图像理解虽然在理论方法研究上已取得不小的进展，但它本身是一个比较难的研究领域，存在不少困难，人类本身对自己的视觉过程还了解甚少，因此计算机视觉是一个有待人们进一步探索的新领域。如今数字图像处理技术已给人类带来了巨大的经济和社会效益。不久的将来它不仅在理论上会有更深入的发展，在应用上意识科学研究、社会生产乃至人类生活中不可缺少的强有力的工具。 数字图像处理进一步研究的问题，不外乎如下几个方面： （1）在进一步提高精度的同时着重解决处理速度问题。如在航天遥感、气象云图处理方面，巨大的数据量和处理速度任然是主要矛盾之一。 （2）加强软件研究、开发新的处理方法，特别要注意移植和借鉴其他学科的技术和研究成果，创造新的处理方法。 （3）加强边缘学科的研究工作，促进数字图像处理技术的发展。如：人的视觉特性、心理学特性等的研究，如果有所突破，讲对团向处理技术的发展起到极大的促进作用。
超分辨率算法综述
超分辨率复原技术的发展 The Development of Super2Re solution Re storation from Image Sequence s 1、引言 在图像处理技术中,有一项重要的研究内容称为图像融合。通常的成像系统由于受到成像条件和成像方式的限制,只能从场景中获取部分信息,如何有效地弥 补观测图像上的有限信息量是一个需要解决的问题。图像融合技术的含义就是把相关性和互补性很强的多幅图像上的有用信息综合在一起,产生一幅(或多幅) 携带更多信息的图像,以便能够弥补原始观测图像承载信息的局限性。 （图象融合就是根据需要把相关性和互补性很强的多幅图象上的有用信息综合在一起,以供观察或进一步处理,以弥补原始单源观测图象承载信息的局限性,它是一门综合了传感器、图象处理、信号处理、计算机和人工智能等技术的现代高新技术,于20 世纪70 年代后期形成并发展起来的。由于图象融合具有突出的探测优越性,在国际上已经受到高度重视并取得了相当进展,在医学、遥感、计算机视觉、气象预报、军事等方面都取得了明显效益。从图象融合的目标来看,主要可将其归结为增强光谱信息的融合和增强几何信息的融合。增强光谱信息的融合是综合提取多种通道输入图象的信息,形成统一的图象或数据产品供后续处理或指导决策,目前在遥感、医学领域都得到了比较广泛的应用。增强几何信息的融合就是从一序列低分辨率图象重建出更高分辨率的图象(或图象序列) ,以提 高图象的空间分辨率。对图象空间分辨率进行增强的技术也叫超分辨率 (super2resolution) 技术,或亚像元分析技术。本文主要关注超分辨率(SR) 重建技术,对SR 技术中涉及到的相关问题进行描述。） （我们知道,在获取图像的过程中有许多因素会导致图像质量的下降即退化,如 光学系统的像差、大气扰动、运动、离焦和系统噪音,它们会造成图像的模糊和变形。图像复原的目的就是对退化图像进行处理,使其复原成没有退化前的理想图像。按照傅里叶光学的观点,光学成像系统是一个低通滤波器,由于受到光学衍射的影响,其传递函数在由衍射极限分辨率所决定的某个截止频率以上值均为零。显然,普通的图像复原技术如去卷积技术等只能将物体的频率复原到衍射极
图像处理技术的研究现状和发展趋势
图像处理技术的研究现状和发展趋势 庄振帅 数字图像处理又称为计算机图像处理，它是指将图像信号转换成数字信号并利用计算机对其进行处理的过程。数字图像处理最早出现于20世纪50年代，当时的电子计算机已经发展到一定水平，人们开始利用计算机来处理图形和图像信息。数字图像处理作为一门学科大约形成于20世纪60年代初期。早期的图像处理的目的是改善图像的质量，它以人为对象，以改善人的视觉效果为目的。图像处理中，输入的是质量低的图像，输出的是改善质量后的图像，常用的图像处理方法有图像增强、复原、编码、压缩等。首次获得实际成功应用的是美国喷气推进实验室（JPL）。他们对航天探测器徘徊者7号在1964年发回的几千张月球照片使用了图像处理技术，如几何校正、灰度变换、去除噪声等方法进行处理，并考虑了太阳位置和月球环境的影响，由计算机成功地绘制出月球表面地图，获得了巨大的成功。随后又对探测飞船发回的近十万张照片进行更为复杂的图像处理，以致获得了月球的地形图、彩色图及全景镶嵌图，获得了非凡的成果，为人类登月创举奠定了坚实的基础，也推动了数字图像处理这门学科的诞生。在以后的宇航空间技术，如对火星、土星等星球的探测研究中，数字图像处理都发挥了巨大的作用。数字图像处理取得的另一个巨大成就是在医学上获得的成果。1972年英国EMI公司工程师Housfield发明了用于头颅诊断的X射线计算机断层摄影装置，也就是我们通常所说的CT（Computer Tomograph）。CT的基本方法是根据人的头部截面的投影，经计算机处理来重建截面图像，称为图像重建。1975年EMI公司又成功研制出全身用的CT装置，获得了人体各个部位鲜明清晰的断层图像。1979年，这项无损伤诊断技术获得了诺贝尔奖，说明它对人类作出了划时代的贡献。与此同时，图像处理技术在许多应用领域受到广泛重视并取得了重大的开拓性成就，属于这些领域的有航空航天、生物医学过程、工业检测、机器人视觉、公安司法、军事制导、文化艺术等，使图像处理成为一门引人注目、前景远大的新型学科。随着图像处理技术的深入发展，从70年代中期开
图像超分辨率重建
收稿日期：２００８唱０８唱２１；修回日期：２００８唱１０唱２８ 作者简介：王培东（１９５３唱），男，黑龙江哈尔滨人，教授，硕导，ＣＣＦ会员，主要研究方向为计算机控制、计算机网络、嵌入式应用技术；吴显伟（１９８２唱），男（回族），河南南阳人，硕士，主要研究方向为计算机控制技术（ｗｕ＿ｘｉａｎｗｅｉ＠１２６．ｃｏｍ）． 一种自适应的嵌入式协议栈缓冲区管理机制 王培东，吴显伟 （哈尔滨理工大学计算机科学与技术学院，哈尔滨１５００８０） 摘 要：为避免创建缓冲区过程中必须指定大小和多次释放而导致可能的内存泄露和代码崩溃的弊端，提出一种自适应的嵌入式协议栈的缓冲区管理机制ＡｕｔｏＢｕｆ。它是基于抽象缓冲区接口而设计的，具有自适应性，支持动态内存的自动分配与回收，同时实现了嵌入式ＴＣＰ／ＩＰ协议栈各层之间的零拷贝通信。在基于研究平台Ｓ３Ｃ４４Ｂ０Ｘ的Ｗｅｂｓｅｒｖｅｒ网络数据监控系统上的测试结果表明，该缓冲区的设计满足嵌入式系统网络通信的应用需求，是一种高效、可靠的缓冲区管理机制。 关键词：嵌入式协议栈；抽象缓冲区；零拷贝；内存分配 中图分类号：ＴＰ３１６ 文献标志码：Ａ 文章编号：１００１唱３６９５（２００９）０６唱２２５４唱０３ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１唱３６９５．２００９．０６．０７７ Ｄｅｓｉｇｎａｎｄｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆａｄａｐｔｉｖｅｂｕｆｆｅｒｆｏｒｅｍｂｅｄｄｅｄｐｒｏｔｏｃｏｌｓｔａｃｋ ＷＡＮＧＰｅｉ唱ｄｏｎｇ，ＷＵＸｉａｎ唱ｗｅｉ （ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，ＨａｒｂｉｎＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，Ｈａｒｂｉｎ１５００８０，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｏａｖｏｉｄｔｒａｄｉｔｉｏｎａｌｍｅｔｈｏｄｏｆｃｒｅａｔｉｎｇｂｕｆｆｅｒ，ｗｈｉｃｈｍｕｓｔｈａｖｅｔｈｅｓｉｚｅｏｆｂｕｆｆｅｒａｎｄｆｒｅｅｍｅｍｏｒｙｆｏｒｍａｎｙｔｉｍｅｓ，ｗｈｉｃｈｗｉｌｌｒｅｓｕｌｔｉｎｍｅｍｏｒｙｌｅａｋｓａｎｄｃｏｄｅｓｃｒａｓｈ．ＴｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａｆｌｅｘｉｂｌｅｂｕｆｆｅｒｍａｎａｇｅｍｅｎｔｍｅｃｈａｎｉｓｍＡｕｔｏＢｕｆｆｏｒｅｍｂｅｄｄｅｄｎｅｔｗｏｒｋｐｒｏｔｏｃｏｌｓｔａｃｋ．Ｉｔｗａｓａｄａｐｔｉｖｅａｎｄｓｃａｌａｂｌｅａｎｄｂａｓｅｄｏｎａｎａｂｓｔｒａｃｔｂｕｆｆｅｒｉｎｔｅｒｆａｃｅ，ｓｕｐｐｏｒｔｅｄｄｙｎａｍｉｃｍｅ唱ｍｏｒｙａｌｌｏｃａｔｉｏｎａｎｄｂａｃｋｕｐ．ＢｙｕｓｉｎｇｔｈｅＡｕｔｏＢｕｆｂｕｆｆｅｒｍａｎａｇｅｍｅｎｔｍｅｃｈａｎｉｓｍｗｉｔｈｄａｔａｚｅｒｏｃｏｐｙｔｅｃｈｎｏｌｏｇｙ，ｉｔｉｍｐｌｅｍｅｎｔｅｄｔｏｔｒａｎｓｆｅｒｄａｔａｔｈｒｏｕｇｈｔｈｅｅｍｂｅｄｄｅｄｎｅｔｗｏｒｋｐｒｏｔｏｃｏｌｓｔａｃｋ．ＴｈｅｍａｎａｇｅｍｅｎｔｍｅｃｈａｎｉｓｍｈａｄｂｅｅｎａｐｐｌｉｅｄｔｏｔｈｅＷｅｂｓｅｒｖｅｒｓｙｓｔｅｍｂａｓｅｏｎＳ３Ｃ４４ｂ０Ｘｐｌａｔｆｏｒｍｓｕｃｃｅｓｓｆｕｌｌｙ．Ｔｈｅｒｅｓｕｌｔｓｉｎｒｅａｌｎｅｔｗｏｒｋｃｏｎｄｉｔｉｏｎｓｈｏｗｔｈａｔｔｈｅｓｙｓｔｅｍｐｒｏｖｉｄｅｓａｇｏｏｄｐｅｒ唱ｆｏｒｍａｎｃｅａｎｄｍｅｅｔｓｔｈｅｎｅｃｅｓｓａｒｙｏｆｅｍｂｅｄｄｅｄｎｅｔｗｏｒｋｓｙｓｔｅｍ．Ｋｅｙｗｏｒｄｓ：ｅｍｂｅｄｄｅｄｓｔａｃｋ；ａｂｓｔｒａｃｔｂｕｆｆｅｒ；ｚｅｒｏ唱ｃｏｐｙ；ｍｅｍｏｒｙａｌｌｏｃａｔｉｏｎ 随着网络技术的快速发展，主机间的通信速率已经提高到了千兆数量级，同时多媒体应用还要求网络协议支持实时业务。嵌入式设备网络化已经深入到日常生活中，而将嵌入式设备接入到互联网需要网络协议栈的支持。通过分析Ｌｉｎｕｘ系统中ＴＣＰ／ＩＰ协议栈的实现过程，可以看出在协议栈中要有大量数据不断输入输出，而管理这些即时数据的关键是协议栈中的缓冲区管理机制，因此对嵌入式协议栈的缓冲区管理将直接影响到数据的传输速率和安全。通用以太网的缓冲区管理机制，例如４．４ＢＳＤｍｂｕｆ ［１］ 和现行Ｌｉｎｕｘ系统中的ｓｋ＿ｂｕｆ ［２］ 多是在大内存、 高处理速率的基础上设计的，非常庞大复杂。由于嵌入式设备的硬件资源有限，特别是可用物理内存的限制，通用的协议栈必然不适用于嵌入式设备，在应用时要对标准的ＴＣＰ／ＩＰ协议进行裁剪 ［３］ 和重新设计缓冲区管理机制。 １ 缓冲区管理机制的性能需求分析 缓冲区管理 ［４］ 是对内存提供一种统一的管理手段，通过该 手段能够对可用内存提供分配、回收、数据操作等行为。内存的分配操作是根据一定的内存分配策略从缓冲区中获得相应大小的内存空间；缓冲区的数据操作主要是向缓冲区写数据，从缓冲区读数据，在缓冲区中删除数据，对空闲的内存块进行合并等行为；内存的回收就是将已空闲的内存重新变为可用内存，以供存 储其他新的数据。 为了满足长度不一的即时数据的需求，缓冲区对内存的操作主要集中在不断地分配、回收、合并空闲的内存块等操作。因为网络中的数据包小到几个字节大到几千个字节，不同长度的数据对内存的需求必然不同。现存嵌入式设备中的内存多是以物理内存，即实模式形式存在的，没有虚拟内存的形式，对内存的操作实际是操作真实的物理内存，所以对内存操作要特别谨慎。在传统使用动态分配的缓冲区（通过调用ｍａｌｌｏｃ（）／ｆｒｅｅ（））在函数之间传递数据。尽管该方法提供了灵活性，但它也带来了一些性能影响。首先考虑对缓冲区的管理（分配和释放内存块）。如果分配和释放不能在相同的代码位置进行，那么必须确保在某个内存块不再需要时，释放一次（且仅释放一次）该内存块是很重要的，否则就会导致内存泄露。其次是必须确定缓冲区的大小才能分配该内存块。然而，确定数据大小并非那么容易，传统做法是采用最大的数据尺寸的保守估计。而采用保守估计预分配的内存大小总是远超过实际需要的大小，而且没有一定的范围标准，这样难免会导致资源的严重浪费。 随着数据在协议栈中的不断流动，内存块的多次释放和多次分配是难以避免的，而保守估计对于有限的资源来说又是一种浪费的策略。因此为了能有效地利用资源，设计一种可自控的、不用预判断大小的数据缓冲区接口就势在必行。 第２６卷第６期２００９年６月 计算机应用研究 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ Ｖｏｌ．２６Ｎｏ．６Ｊｕｎ．２００９
关于图像超分辨率重构的现状研究
关于图像超分辨率重构的现状研究 摘要：图像超分辨率的重构技术是近20年来兴起的一门新的数字图像处理技术。随着计算机硬件技术和软件设计技术的不断发展,各种图像超分辨率重构算法被提出。综述超分辨率重构的相关研究,指出图像超分辨率重构技术近几年来的一些研究成果。 关键字：图像超分辨率；图像超分辨率重构；迭代法投影法 Abstract:Image super-resolution reconstruction technology is nearly 20 years the rise of a new digital image processing technology. With the continuous development of computer hardware and software design technology, all kinds of image super-resolution reconstruction algorithm was proposed. Of related studies on super-resolution reconstruction, and points out that the technology of image super-resolution reconstruction in recent years, some of the research. Keywords:image super-resolution; image super-resolution reconstruction; iterative projection method 1引言 超分辨率重构算法始于20世纪80年代,其目的在于恢复一些已丢失的频率分量。在成像过程中,由于受成像系统的物理性质和天气条件的影响,图像中存在着光学和运动模糊、采样不足和附加噪声等退化现象,图像空间分辨率较低。而在实际应用中,需要高分辨率的图像,如在遥感检测、军事侦查、交通及安全监控、医学诊断和模式识别等方面。在现有的传感器不作改变的情况下,人们希望利用信号处理的方法,通过一系列低分辨率图像来重构高分辨率图像。这种从同一场景的低分辨率图像序列中,通过信息融合来提高空间分辨率的方法通常被称为超分辨率重构。
超分辨率算法综述
图像超分辨率算法综述 摘要：介绍了图像超分辨率算法的概念和来源，通过回顾插值、重建和学习这3个层面的超分辨率算法，对图像超分辨率的方法进行了分类对比，着重讨论了各算法在还原质量、通用能力等方面所存在的问题，并对未来超分辨率技术的发展作了一些展望。 关键词：图像超分辨率；插值；重建；学习； Abstract:This paper introduced the conception and origin of image super resolu- tion technology. By reviewing these three kinds of methods(interpolation,reconstruct, study), it contrasted and classified the methods of image super-resolution,and at last, some perspectives of super-resolution are given. Key words: image super-resolution;interpolation;reconstruct;study;
1 引言 1.1 超分辨率的概念 图像超分辨率率(super resolution,SR)是指由一幅低分辨率图像(low resolution,LR)或图像序列恢复出高分辨率图像(high resolution， HR)。HR意味着图像具有高像素密度，可以提供更多的细节，这些细节往往在应用中起到关键作用。要获得高分辨率图像，最直接的办法是采用高分辨率图像传感器，但由于传感器和光学器件制造工艺和成本的限制[1]，在很多场合和大规模部署中很难实现。因此，利用现有的设备，通过超分辨率技术获取HR图像(参见图1)具有重要的现实意义。 图1 图像超分辨率示意图 图像超分辨率技术分为超分辨率复原和超分辨率重建，许多文献中没有严格地区分这两个概念，甚至有许多文献中把超分辨率图像重建和超分辨率图像复原的概念等同起来，严格意义上讲二者是有本质区别的，超分辨率图像重建和超分辨率图像复原有一个共同点，就是把在获取图像时丢失或降低的高频信息恢复出来。然而它们丢失高频信息的原因不同，超分辨率复原在光学中是恢复出超过衍射级截止频率以外的信息，而超分辨率重建方法是在工程应用中试图恢复由混叠产生的高频成分。几何处理、图像增强、图像复原都是从图像到图像的处理，即输入的原始数据是图像，处理后输出的也是图像，而重建处理则是从数据到图像的处理。也就是说输入的是某种数据，而处理结果得到的是图像。但两者的目的是一致的，都是由低分辨率图像经过处理得到高分辨率图像。另外有些文献中对超分辨率的概念下定义的范围比较窄，只是指基于同一场景的图像序列和视频序列的超分辨处理，实际上，多幅图像的超分辨率大多数都是以单幅图像的超分辨率为基础的。在图像获取过程中有很多因素会导致图像质量下降，如传感器的形
数字图像处理技术的研究现状及其发展方向
目录 绪论 (1) 1数字图像处理技术 (1) 1.1数字图像处理的主要特点 (1) 1.2数字图像处理的优点 (2) 1.3数字图像处理过程 (3) 2数字图像处理的研究现状 (4) 2.1数字图像的采集与数字化 (4) 2.2图像压缩编码 (5) 2.3图像增强与恢复 (8) 2.4图像分割 (9) 2.5图像分析 (10) 3数字图像处理技术的发展方向 (13) 参考文献 (14)
绪论 图像处理技术基本可以分成两大类：模拟图像处理和数字图像处理。数字图像处理是指将图像信号转换成数字信号并利用计算机进行处理的过程。其优点是处理精度高，处理内容丰富，可进行复杂的非线性处理，有灵活的变通能力，一般来说只要改变软件就可以改变处理内容。困难主要在处理速度上，特别是进行复杂的处理。数字图像处理技术主要包括如下内容：几何处理、算术处理、图像增强、图像复原、图像重建、图像编码、图像识别、图像理解。数字图像处理技术的发展涉及信息科学、计算机科学、数学、物理学以及生物学等学科，因此数理及相关的边缘学科对图像处理科学的发展有越来越大的影响。 数字图像处理的早期应用是对宇宙飞船发回的图像所进行的各种处理。到了70年代，图像处理技术的应用迅速从宇航领域扩展到生物医学、信息科学、资源环境科学、天文学、物理学、工业、农业、国防、教育、艺术等各个领域与行业，对经济、军事、文化及人们的日常生活产生重大的影响。 数字图像处理技术发展速度快、应用范围广的主要原因有两个。最初由于数字图像处理的数据量非常庞大，而计算机运行处理速度相对较慢，这就限制了数字图像处理的发展。现在计算机的计算能力迅速提高，运行速度大大提高，价格迅速下降，图像处理设备从中、小型计算机迅速过渡到个人计算机，为图像处理在各个领域的应用准备了条件。第二个原因是由于视觉是人类感知外部世界最重要的手段。据统计，在人类获取的信息中，视觉信息占60％，而图像正是人类获取信息的主要途径，因此，和视觉紧密相关的数字图像处理技术的潜在应用范围自然十分广阔。近年来，数字图像处理技术日趋成熟，它广泛应用于空间探测、遥感、生物医学、人工智能以及工业检测等许多领域，并促使这些学科产生了新的发展。 1数字图像处理技术 1.1数字图像处理的主要特点 (1)目前数字图像处理的信息大多是二维信息，处理信息量很大，因此对计
图像处理文献综述
文献综述 1.1理论背景 数字图像中的边缘检测是图像分割、目标区域的识别、区域形状提取等图像分析领域的重要基础，图像处理和分析的第一步往往就是边缘检测。 物体的边缘是以图像的局部特征不连续的形式出现的，也就是指图像局部亮度变化最显著的部分，例如灰度值的突变、颜色的突变、纹理结构的突变等，同时物体的边缘也是不同区域的分界处。图像边缘有方向和幅度两个特性，通常沿边缘的走向灰度变化平缓，垂直于边缘走向的像素灰度变化剧烈。根据灰度变化的特点，图像边缘可分为阶跃型、房顶型和凸缘型。 1.2、图像边缘检测技术研究的目的和意义 数字图像边缘检测是伴随着计算机发展起来的一门新兴学科，随着计算机硬件、软件的高度发展，数字图像边缘检测也在生活中的各个领域得到了广泛的应用。边缘检测技术是图像边缘检测和计算机视觉等领域最基本的技术，如何快速、精确的提取图像边缘信息一直是国内外研究的热点，然而边缘检测也是图像处理中的一个难题。 首先要研究图像边缘检测，就要先研究图像去噪和图像锐化。前者是为了得到飞更真实的图像，排除外界的干扰，后者则是为我们的边缘检测提供图像特征更加明显的图片，即加大图像特征。两者虽然在图像边缘检测中都有重要地位，但本次研究主要是针对图像边缘检测的研究，我们最终所要达到的目的是为了处理速度更快，图像特征识别更准确。早期的经典算法有边缘算子法、曲面拟合法、模版匹配法、门限化法等。 早在1959年Julez就曾提及边缘检测技术，Roberts则于1965年开始了最早期的系统研究，从此有关边缘检测的理论方法不断涌现并推陈出新。边缘检测最开始都是使用一些经验性的方法，如利用梯度等微分算子或特征模板对图像进行卷积运算，然而由于这些方法普遍存在一些明显的缺陷，导致其检测结果并不
基于matlab的图像预处理技术研究文献综述
毕业设计文献综述 题目：基于matlab的图像预处理技术研究 专业：电子信息工程 1前言部分 众所周知，MATLAB在数值计算、数据处理、自动控制、图像、信号处理、神经网络、优化计算、模糊逻辑、小波分析等众多领域有着广泛的用途，特别是MATLAB的图像处理和分析工具箱支持索引图像、RGB 图像、灰度图像、二进制图像，并能操作*.bmp、*.jpg、*.tif等多种图像格式文件如。果能灵活地运用MATLAB提供的图像处理分析函数及工具箱，会大大简化具体的编程工作，充分体现在图像处理和分析中的优越性。 图像就是用各种观测系统观测客观世界获得的且可以直接或间接作用与人眼而产生视觉的实体。视觉是人类从大自然中获取信息的最主要的手段。拒统计，在人类获取的信息中，视觉信息约占60%，听觉信息约占20%，其他方式加起来才约占20%。由此可见，视觉信息对人类非常重要。同时，图像又是人类获取视觉信息的主要途径，是人类能体验的最重要、最丰富、信息量最大的信息源。通常，客观事物在空间上都是三维的(3D)的，但是从客观景物获得的图像却是属于二维(2D)平面的。 图像存在方式多种多样，可以是可视的或者非可视的，抽象的或者实际的，适于计算机处理的和不适于计算机处理的。 图像处理它是指将图像信号转换成数字信号并利用计算机对其进行处理的过程。图像处理最早出现于20世纪50年代，当时的电子计算机已经发展到一定水平，人们开始利用计算机来处理图形和图像信息。图像处理作为一门学科大约形成于20世纪60年代初期。早期的图像处理的目的是改善图像的质量，它以人为对象，以改善人的视觉效果为目的。图像处理中，输入的是质量低的图像，输出的是改善质量后的图像，常用的图像处理方法有图像增强、复原、编码、压缩等。首次获得实际成功应用的是美国喷气推进实验室（JPL）。他们对航天探测器徘徊者7号在 1964 年发回的几千张月球照片使用了图像处理技术，如几何校正、灰度变换、去除噪声等方法进行处理，并考虑了太阳位置和月球环境的影响，由计算机成功地绘制出月球表面地图，获得了巨大的成功。随后又对探测飞船发回的近十万张照片进行更为复杂的图像处理，以致获得了月球的地形图、彩色图及全景镶嵌图，获得了非凡的成果，为人类登月创举奠定了坚实的基础，也推动
人脸图像超分辨率的自适应流形学习方法
第20卷第7期2008年7月 计算机辅助设计与图形学学报 JO U RN A L O F COM PU T ER -AID ED D ESIG N &COM P U T ER G RA PH ICS Vo l 120,N o 17 July,2008 收稿日期:2007-11-06;修回日期:2008-03-111基金项目:国家科技支撑计划重点项目(2006BAK07B04).张雪松,男,1977年生,博士研究生,工程师,主要研究方向为数字图像复原与超分辨率、模式识别、红外图像实时处理.江 静,女,1979年生,硕士,讲师,主要研究方向为数字图像处理.彭思龙,男,1971年生,博士,研究员,博士生导师,主要研究方向为小波分析、图像处理、视频增强、模式识别. 人脸图像超分辨率的自适应流形学习方法 张雪松1) 江 静2) 彭思龙 1) 1)(中国科学院自动化研究所国家专用集成电路设计工程技术研究中心 北京 100190)2) (华北科技学院机械与电气工程系 北京 101601)(xuesong.zhang@https://www.wendangku.net/doc/6510821958.html,) 摘要 样本规模与使用方法是基于学习的超分辨率中的一个重要问题.面向人脸图像超分辨率重建,提出一种基 于局部保持投影(L P P)的自适应流形学习方法.由于能够揭示隐含在高维图像空间中的非线性结构,L PP 是一种可以在局部人脸流形上分析其内在特征的、有效的流形学习方法.通过在L P P 特征子空间中动态搜索出与输入图像块最相似的像素块集合作为学习样本,实现了自适应样本选择,并且利用动态样本集合通过基于像素块的特征变换方法有效地恢复出低分辨率人脸图像中缺失的高频成分.实验结果证实:通过在局部人脸流形上自适应地选择学习样本,文中方法可以仅使用相对少量的样本来获得很好的超分辨率重建结果.关键词 人脸图像;超分辨率;局部保持投影;流形学习;非监督学习中图法分类号 T P391.4 Adaptive Manifold Learning Method for Face Hallucination Zhang Xuesong 1) Jiang Jing 2) Peng Silong 1) 1)(National AS I C Desig n Eng inee ring Center ,Institute of A utomation,Chinese A cad emy of S cie nces ,B eij ing 100190)2) (Dep artment of M ec hanic s and E lectricity En gineering ,N or th Ch ina I nstitu te of S cie nce and Te chnolog y ,B eij ing 101601) Abstract T he size of training set as well as the usage thereof is an important issue of learning -based super -resolution.T his w or k presents an adaptive learning metho d for face hallucination using Locality Preserving Pr ojectio n (LPP).LPP is an efficient manifold learning m ethod that can be used to analy ze the lo cal intrinsic features on the manifold of local facial areas by virtue of its ability to reveal no n -linear structures hidden in the hig h -dim ensional image space.We fulfilled the adaptive sam ple selection by searching out patches online in the LPP sub -space,w hich makes the resultant training set tailor ed to the testing patch,and then effectively r estored the lo st hig h -frequency com ponents of the low -resolution face image by patched -based eig en transform ation using the dy namic training set.The ex perim ental r esults fully dem onstrate that the proposed m ethod can achieve goo d super -reso lution reconstruction perfo rmance by utilizing a relative small am ount o f samples. Key words face im ag e;super -r esolutio n;lo cality preserv ing projections;m anifold learning;unsuperv ised learning 超分辨率是指根据多张低分辨率图像重建出高分辨率图像的过程,在不同的应用中,输入的低分辨率图像可以是某个静态场景的图像序列 [1-3] (序列中 的图像间存在相对运动)或者是一段动态场景的视频[4-5].这些超分辨率方法通常是基于/重建约束0的:即认为低分辨率图像是待求高分辨率图像在不
图像的超分辨率处理方法研究现状
超分辨率图像处理技术是利用多帧关于同一场景的有相互位移的低分辨率降质图像来重建高分辨率高质量图像的技术。介绍了超分辨率图像处理技术的概念和起源;综述了超分辨率图像恢复研究现状。重点对单帧和多帧超分辨率图像处理的主要方法进行了评述,并总结对比了频域和空域方法的优缺点。最后对超分辨率图像处理技术的技术难点和前沿问题研究前景进行介绍和展望。 0引言 图像超分辨率处理技术是指利用多帧关于同一场景的有相互位移的低分辨率降质图像(LR,lowresolution)来重建高分辨率高质量图像(HR,highresolution)的技术[1]。图像超分辨率处理技术可突破图像采集设备的分辨率限制,充分利用多帧图像之间的互补信息,实现像素级的图像信息融合。在计算机视觉、卫星遥感、天文学、生物医学成像、民用安防等多个领域都有广泛的应用。图像超分辨率处理常被认为是广义的图像复原(Restoration)或图像重建(Reconstruction)。实际上它与两者有一定联系但是又不完全相同。图像复原是指去除或减轻获取数字图像过程中发生的图像质量下降(退化)[2],目标是恢复光学系统截止频率以内的成分,而图像超分辨率处理的目标是得到系统截止频率以外的成分。图像重建可用于现有成像系统不能提供满意图像分辨率的情况,如提高遥感图像、CT、核磁共振、超声波图像和各种监控图像等的分辨率[3]。在超分辨率处理中,多帧低分辨率降质图像可以认为是高分辨率理想图像经成像系统在观测平面上的一个投影,因此图像超分辨率处理也可以认为是由多帧低分辨率降质图像来重建高分辨率理想图像。 1超分辨率图像处理技术研究概况 J.L.Harris[4]和J.W.Goodman[5]提出的基于单帧图像的Harris-Goodman频谱外推法是最早的超分辨率图像处理的方法。随后,Tsai与Huang提出了基于序列或多帧图像的超分辨率重建问题,并给出了基于频域逼近的重建图像方法。此后,极大后验概率估计法、反向投影迭代法、凸集投影法和自适应滤波方法等许多有使用价值的方法被提出并发展。 目前,国内外对超分辨率的研究较突出的有:美国加州大学多维信号处理研究小组的PeymanMilanfar等提出了大量的实用算法和集成各种算法的超分辨率图像恢复软件包[6];美国Dayton大学和Wright实验室对红外CCD相机进行了机载试验,利用20幅低分辨率的红外图像,取得了分辨率提高近5倍的实验结果。香港R. F. Chars等研究了超分辨率图像恢复的有效预处理共扼梯度迭代算法[7]。以色列耶鲁撒冷大学M.Elad等[8]对存在任意运动的图像序列,以及动态的和彩色的多媒体等的超分辨率恢复进行了研究。以色列的EROS-A卫星利用“过采样”技术使影像的分辨率提高一倍以上。印度S.Chaudhuri等研究了迭代的超分辨率图像恢复方法[9]。韩国Pohang理工大学在各向异性扩散用于超分辨率[10]方面进行了研究。国内近几年在频谱外推、混叠效应的消除、无损检测、成像探测元的阵列改进以及一些超分辨率方法的改进方面做过类似研究,但研究水平无论从深度和广度上都较国外存在一定的差距[11]。 2超分辨率图像处理方法 图像超分辨率处理技术通常可以分为两大类:单帧图像重建(静态图像插值)方法和多帧图像处理(序列图像重建)方法。单帧图像处理也称为图像放大,是指利用一帧探测器采集到的低分辨率图像的信息,通过重建算法提高图像分辨率的方法。为了增加利用图像的信息,人们逐渐将研究热点转向多帧图像处理。多帧图像处理充分利用了不同帧图像之间的互补信息,其超分辨率复原能力好于利用单帧图像处理。其主要方法大致可以分为两类:频域法和空域法。早期的超分辨率图像处理方法研究都集中在频域,后来转向空域超分辨率图像处理复原方法的研究。频域法不能利用图像的先验知识,而空域方法则能够充分利用图像先验知识。频域方法的基本流程如图1(a)所示。其中图像配准和运动模型估计的精度越高,图像重建的效果就越好。当考虑到普遍的运动类型以及退化模型时,频率域方法仅能进行整体运动估计,
图像增强研究现状
在借鉴国外相对成熟理论体系与技术应用体系的条件下,国内的增强技术与应用也有了很大的发展。总体来说,图像增强技术的发展大致经历了初创期、发展期、普及期与应用期4个阶段。初创期开始于20世纪60年代,当时的图像采用像素型光栅进行扫描显示,大多采用中、大型机对其进行处理。在这一时期由于图像存储成本高,处理设备造价高,因而其应用面很窄。20世纪70年代进入了发展期,开始大量采用中、大型机进行处理,图像处理也逐渐改用光栅扫描显示方式,特别就是出现了CT与卫星遥感图像,对图像增强处理提出了一个更高的要求。到了20世纪80年代,图像增强技术进入普及期,此时的计算机已经能够承担起图形图像处理的任务。20世纪90年代进入了应用期,人们运用数字图像增强技术处理与分析遥感图像,以有效地进行资源与矿藏的勘探、调查、农业与城市的土地规划、作物估产、气象预报、灾害及军事目标的监视等。在生物医学工程方面,运用图像增强技术对X射线图像、超声图像与生物切片显微图像等进行处理,提高图像的清晰度与分辨率。在工业与工程方面,主要应用于无损探伤、质量检测与过程自动控制等方面。在公共安全方面,人像、指纹及其她痕迹的处理与识别,以及交通监控、事故分析等都在不同程度上使用了图像增强技术。图像增强就是图像处理的重要组成部分,传统的图像增强方法对于改善图像质量发挥了极其重要的作用。随着对图像技术研究的不断深入与发展,新的图像增强方法不断出现。例如一些学者将模糊映射理论引入到图像增强算法中,提出了包括模糊松弛、模糊熵、模糊类等增强算法来解决增强算法中映射函数选择问题,并且随着交互式图像增强技术的应用,可以主观控制图像增强效果。同时利用直方图均衡技术的图像增强也有许多新的进展:例如提出了多层直方图结合亮度保持的均衡算法、动态分层直方图均衡算法。这些算法通过分割图像,然后在子层图像内做均衡处理,较好地解决了直方图均衡过程中的对比度过拉伸问题,并且可以控制子层灰度映射范围,增强效果较好。 20世纪20年代图片第一次通过海底电缆从伦敦传往纽约。当时人们通过字符模拟得到中间色调的方法来还原图像。早期的图像增强技术往往涉及硬件参数的设置,如打印过程的选择与亮度等级的分布等问题。在1921年年底提出了一种基于光学还原的新技术。在这一时期由于引入了一种用编码图像纸带去调制光束达到调节底片感光程度的方法,使灰度等级从5个灰度级增加到15个灰度等级,这种方法明显改善了图像复原的效果。到20世纪60年代早期第一台可以执行数字图像处理任务的大型计算机制造出来了,这标志着利用计算机技术处理数字图像时代的到来。1964年,研究人员在美国喷气推进实验室(JPL)里使用计算机以及其它硬件设备,采用几何校正、灰度变换、去噪声、傅里叶变换以及二维线性滤波等增强方法对航天探测器“徘徊者7号”发回的几千张月球照片进行处理,同时她们也考虑太阳位置与月球环境的影响,最终成功地绘制出了月球表面地图。随后她们又对1965年“徘徊者8号”发回地球的几万张照片进行了较为复杂的数字图像处理,使图像质量进一步提高。这些成绩不仅引起世界许多有关方面的注意而且JPL本身也更加重视对数字图像处理地研究与设备的改进,并专门成立了图像处理实验室IPL。在IPL里成功的对后来探测飞船发回的几十万张照片进行了更为复杂的图像处理,最终获得了月球的地形图、彩色图以及全景镶嵌图。从此数字图像增强技术走进了航空航天领域。 20世纪60年代末与20世纪70年代初有学者开始将图像增强技术用于医学图像、地球遥感监测与天文学等领域。X射线就是最早用于成像的电磁辐射源之一,在1895年X射线由伦琴发现。20世纪70年代Godfrey N、Hounsfield先生与Allan M、Cormack教授共同发明计算机轴向断层技术:一个检测器围绕病人,并用X射线源绕着物体旋转。X射线穿过身体并由位于对面环中的相应检测器收集起来。其原理就是用感知的数据去重建切片图像。当物体沿垂直于检测器的方向运动时就产生一系列的切片,这些切片组成了物体内部的再现图像。到了20世纪80年代以后,各种硬件的发展使得人们不仅能够处理二维图像,而且开始处理三维图像。许多能获得三维图像的设备与分析处理三维图像的系统已经研制成功了,图像处理技术