超分辨率技术的发展
超分辨率复原技术的发展
The Development of Super2Re solution Re storation from Image
Sequence s
1、引言
在图像处理技术中,有一项重要的研究内容称为图像融合。通常的成像系统由于受到成像条件和成像方式的限制,只能从场景中获取部分信息,如何有效地弥补观测图像上的有限信息量是一个需要解决的问题。图像融合技术的含义就是把相关性和互补性很强的多幅图像上的有用信息综合在一起,产生一幅(或多幅) 携带更多信息的图像,以便能够弥补原始观测图像承载信息的局限性。
（图象融合就是根据需要把相关性和互补性很强的多幅图象上的有用信息综合在一起,以供观察或进一步处理,以弥补原始单源观测图象承载信息的局限性,它是一门综合了传感器、图象处理、信号处理、计算机和人工智能等技术的现代高新技术,于20 世纪70 年代后期形成并发展起来的。由于图象融合具有突出的探测优越性,在国际上已经受到高度重视并取得了相当进展,在医学、遥感、计算机视觉、气象预报、军事等方面都取得了明显效益。从图象融合的目标来看,主要可将其归结为增强光谱信息的融合和增强几何信息的融合。增强光谱信息的融合是综合提取多种通道输入图象的信息,形成统一的图象或数据产品供后续处理或指导决策,目前在遥感、医学领域都得到了比较广泛的应用。增强几何信息的融合就是从一序列低分辨率图象重建出更高分辨率的图象(或图象序列) ,以提高图象的空间分辨率。对图象空间分辨率进行增强的技术也叫超分辨率(super2resolution) 技术,或亚像元分析技术。本文主要关注超分辨率(SR) 重建技术,对SR 技术中涉及到的相关问题进行描述。）
（我们知道,在获取图像的过程中有许多因素会导致图像质量的下降即退化,如光学系统的像差、大气扰动、运动、离焦和系统噪音,它们会造成图像的模糊和变形。图像复原的目的就是对退化图像进行处理,使其复原成没有退化前的理想图像。按照傅里叶光学的观点,光学成像系统是一个低通滤波器,由于受到光学衍射的影响,其传递函数在由衍射极限分辨率所决定的某个截止频率以上值均为零。显然,普通的图像
复原技术如去卷积技术等只能将物体的频率复原到衍射极限相应的截止频率处,而不能超越它,这样截止频率之外的能量和信息被无可奈何的丢失了。超分辨率图像复原就是试图复原截止频率之外的信息,以使图像获得更多的细节和信息。超分辨率复原技术在遥感、视频、医学和公安等领域具有十分重要的应用价值和广阔的应用前景。例如在遥感应用中,通过利用超分辨率复原技术,在不改变卫星图像探测系统的前提下,可实现高于系统分辨率的图像观测。正因为如此,超分辨率图像复原在近年来已成为国际上图像复原领域最为活跃的研究课题,）
（图像分辨率是图像质量的重要指标,分辨率越高,细节越精细,图像提供的信息越丰富。在遥感监测、军事侦察、交通及安全监控、医学诊断和模式识别等应用中,都需要高分辨率图像。由于受成像系统物理条件和天气条件的影响,在成像过程中常常存在光学和运动模糊、下采样和噪声等退化过程,使实际得到的图像质量较差、分辨率低。这可通过减小像素尺寸、改变探测元排列方式和超分辨率图像恢复等方式提高图像分辨率。由于目前成像系统几乎都达到了不导致曝光退化的最小像素尺寸[1 ] ,因此对减小像素尺寸的方法技术和经济成本要求较高。将成像系统探测元的正方形排列方式改成梅花形、超模式或六边形排列,虽然可将图像空间分辨率分别提高2倍、2 倍或2 3 倍[2 ] ,但在应用上通过探测元排列方式提高分辨率不容易实现。相比较通过融合图像序列中信息提高图像分辨率的超分辨率图像恢复方法既经济又容易实现。）
(在数字图像的采集与处理过程中,有许多因素会导致图像分辨率的下降,主要表现为模糊、噪声和变形。造成模糊的因素有很多,如传感器的形状和尺寸、光学仪器的性能(如点扩散函数: PSF)引起的光学模糊以及采集对象的运动带来的运动模糊。另外,在成像、传输、存储过程中,会引入不同类型的噪声(如高斯、椒盐噪声等) ,且其引入方式也不同(加性或乘性噪声) ,这都会直接影响到图像的分辨率。此外,数字化采集过程也会影响图像的分辨率,欠采样效应会造成图像的频谱交叠,使获取的图像因变形而发生降质,尤其是经过压缩的图像,会产生量化噪声和编码效应等。图1所示为图像的降质过程。提高图像分辨率最直接的办法就是提高采集设备传感器的密度,然而高密度的图像传感器(如CCD)的价格相对昂贵,在一般应用中难以承受;另一方面,成像系统受其固有传感器排列密度的限制,目前已接近极限[ 1 ]。提高图
像分辨率的另一方法是提高芯片尺寸,但这将导致电容的增加和电荷转移速度的下降。一种有效提高图像分辨率的途径是采用基于信号处理的方法对图像的分辨率进行提高,即超分辨率SR( super2resolution)重建,它利用多帧图像序列进行处理,提取图像序列中附加的空域和时域信息,生成一幅高分辨率HR ( high2resolution)图像。若利用一个滑动窗口对多帧低分辨率LR ( low2resolution)图像序列进行处理,则可以生成HR图像序列。SR重建技术的优点是不涉及硬件,成本低,现有的图像系统还可以使用,是一种比较经济的方案。由于SR重建技术可以克服图像系统内在分辨率的限制,改进图像处理中大多数图像的性能,因而这一技术在视频、成像、遥感、医学、监控和军事等领域具有十分重要的应用,具体有如下几个方面:)
(图像超分辨率技术的应用很广泛。就目前来看，图像超分辨率技术已经应用到遥感技术应用领域中的资源调查、土地划界、植被监测、农作物和灾害监测等环节，应用在社会公共安全领域中的银行、机场、交通路口等公共场合的安全监控和刑事犯罪侦破等环节以及医学领域中的检测识别和定位精度等等。该项技术还可以很好应用于工业自动化控制领域，机器人视觉领域，天文观察、多光谱成像、超声成像等领域，具有很重要的理论研究意义和实用研究价值。)
1、超分辨率复原技术的含义
许多成像系统,如红外成像仪和CCD 照相机等,在采集宽快速视场图像的过程中,受其固有的传感器阵列排列密度的限制,图像的分辨率不可能很高;同时欠采样效应又会造成图像的频谱交叠,使获取的图像因变形效应而发生降质(理论依据是奈奎斯特采样定理) 。虽然成像系统的光学元件能够有效地限制传感器阵列上图像的频带宽度,使获取的图像有可能避免变形效应的发生,但这要求光学元件与传感器阵列进行有效组合,这在实际应用场合中是很难做到的。如果采用增加传感器阵列密度的办法来提高图像分辨率和消除变形效应,则费用可能很昂贵或者很难实现。解决这一问题的一个有效办法就是超分辨率复原技术。这种方法的目的就是由一些低分辨率变形图像(或视频序列) 来估计一幅较高分辨率的非变形图像,同时还能够消除加性噪声以及由有限检测器尺寸和光学元件产生的模糊。大多数超分辨率复原方法是从经典的单帧图像复原技术发展而来的。单帧图像复原技术经过几十年的研究,逐步
形成了一套统一的理论框架。虽然单帧图像复原技术的研究还远未成熟,但这类方法的固有局限性严重阻碍了图像复原效果的大幅度提高。在传统的单帧图像复原问题中,因为只有一幅输入图像上的信息可以利用,图像复原和分辨率增强效果受到极大的限制,而在超分辨率复原方法中,可以利用图像序列中的附加空域时域信息,这样就能够重建超过任何一幅低分辨率图像带宽的超分辨率图像。
（超分辨率重建的核心思想就是用时间带宽(获取同一场景的多帧图象序列) 换取空间分辨率,实现时间分辨率向空间分辨率的转换。由于超分辨率重建利用多帧图象序列进行处理,能提取序列图象中的附加空域时域信息,使得重建视觉效果超过任何一帧低分辨率图象的超分辨率图象成为可能。但超分辨率并不能创造奇迹,它也不是万能的,单帧或序列图象中子像素信息的提取是以其本身存在场景的额外信息为前题的,因此只有在多帧图象中存在非冗余信息的情况下,才能进行图象超分辨率重建。）
3 超分辨率复原技术的类型
超分辨率复原技术主要分成两类方法:频域方法和空域方法。频域方法实际上是在频域内解决图像内插问题,其观察模型是基于傅里叶变换的移位特性[1 ] 。频域方法有以下优点:理论简单;运算复杂度低;很容易实现并行处理;具有直观的去变形超分辨率机制。但这类方法还存在以下缺点:只能局限于全局平移运动和线性空间不变降质模型;包含空域先验知识的能力有限。所以目前这类方法不再成为研究的主流。
（3. 1 频率域方法频率域方法是图象超分辨率重建中的一类主要方法,目前采用的主要是消混叠重建方法(Re2construction via Alias Removal) 。消混叠重建方法是通过解混叠而改善影像的空间分辨率,进行超分辨率重建,最早的研究工作是由Tsai 和Huang 在1984 年进行的。在原始场景信号带宽有限的假设条件下,利用离散Fourier 变换和连续Fourier 变换之间的平移、混叠性质,给出了一个由一系列欠采样观测影像数据重建HR 影像的公式,使得多帧观察图象经混频的离散傅立叶变换系数与未知场景的连续傅立叶变换系数以方程组的形式联系起来,方程组的解就是原始场景的频率域系数,再利用求解的频率域系数进行傅立叶逆变换就可实现原始场景的精确重建,该方法要求图象间位移参数的估计达到子像素精度,而且每一帧观察图象都必须只对方程组中的一个不相关的方程作出贡献。Tsai&Huang 的方
法具有计算简单的优点,但不足之处在于模型没有考虑光学系统的点扩散函数PSF、运动模糊和观测噪声的影响。由于模型建立在整体平移的基础上,缺少灵活性,从而限制了在大多数实际情况下频率域方法的适用性。Tekalp ,Ozkan 和Sezan 针对Tsai&Huang 方法的限制, 于1992 年提出一种改进的方法, 对Tsai&Huang 的方法进行了扩展,该方法的模型中包括了线性平移不变的点扩散函数LSI PSF (Linear Shift Invariant) 和观测噪声。Tekalp 在《数字视频处理》中用整整一个章节介绍了超分辨率技术,对频率域方法进行了说明,并对能包含场景移动、光学和系统点扩散函数影响的各种观察模型进行了讨论,Tsai&Huang 方法及Tekalp 等人对Tsai&Huang 方法的扩展都在该书中得到了体现,但从试验结果来看并没有取得有意义的新成果。Kaltenbacher 和Hardie 于1996 年在Tsai&Huang 算法的基础上提出了另一种估计帧间整体平移参数的解算方法,该方法最主要的贡献在于计算整体平移时与Tsai&Huang 方法相比有重大的进步,对提高计算效率方面有很大的帮助。Lucas 等提出了一种基于数据驱动的稳健计算方法,该方法具有较少的计算复杂度,便于用硬件进行实现。后来还出现了用递归最小二乘方法以及基于多通道采样定理的方法,但总的说来,这些方法都只是对Tsai&Huang 方法的改进, 都存在着与Tsai&Huang 方法中整体平移假设这一相似的缺点,通过混叠解混叠方法进行超分辨率重建的理论目前仍然没有取得重大突破。）
在空域类方法中,其线性空域观测模型涉及全局和局部运动、光学模糊、帧内运动模糊、空间可变点扩散函数、非理想采样、压缩赝像以及其他一些内容。空域方法具有很强的包含空域先验约束的能力,例如马尔科夫随机场和凸集等先验约束,这样在超分辨率复原过程中可以产生带宽外推。空域方法主要包括非均匀空域样本内插法[2 ] 、迭代反投影方法[3 ] 、集合理论复原方法(凸集投影POCS ) [4 ] 、统计复原方法(最大后验概率估计器MAP 和最大似然估计器ML) [5 ] 、混合MAPPPOCS 方法[6 ] 以及自适应滤波方法[8 ] 等。
迭代反投影方法( IBP) 是首先用输出图像的一个初始估计作为当前结果,并把这个当前结果投影到低分辨率观测图像上以获得低分辨率模拟图像,低分辨率模拟图像与实际观测图像的差值称为模拟误差,根据模拟误差不断更新当前估计。迭代反投影方法通过观测方程使超分辨率复原与观测数据匹配,但这种方法的超分辨率重建
结果不惟一,而且把先验约束引入到这种方法中也不是一件容易的事情。
凸集投影方法( POCS) 是一类解决超分辨率图像复原问题的流行算法。超分辨率图像解空间与一组凸形约束集合相交叉,而这组凸形约束集合代表了期望的超分辨率图像的一些特性,如正定、能量有界、数据可靠、平滑等,这样通过这些约束集合就可以得到简化的解空间。POCS 是指一种迭代过程,在给定超分辨率图像空间中任意一个点的前提下,可以定位一个能满足所有凸形约束集合条件的收敛解。
在统计复原方法中,超分辨率复原问题可以解释为一个统计估计问题。最大后验概率(MAP ) 的含义就是在已知低分辨率视频序列的前提下,使出现高分辨率图像的后验概率达到最大。根据贝叶斯原理,高分辨率图像的后验概率等价于以下两项之积: ①已知理想高分辨率图像的前提下,低分辨率视频序列出现的条件概率; ②理想高分辨率图像的先验概率。条件概率项通常采用高斯模型,先验概率项在不同的算法中采用不同的模型。最大后验概率估计方法的收敛稳定性取决于先验概率项。先验概率模型应该具有下面 3 个特点: ①是一个局部平滑函数; ②具有边缘保持能力;
③是一个凸函数。最大似然复原方法可以认为是最大后验概率复原方法在等概率先验模型下的特例。
混合MAPPPOCS 方法就是在最大后验概率方法的迭代优化过程中加入了一些先验约束。已有的理论证实,只有采用梯度下降最优化方法才能保证这种混合MAPPPOCS 方法收敛到全局最优解。
在空域方法中,研究较多的是凸集投影方法和最大后验概率估计方法。凸集投影方法的优点是可以方便地加入先验信息,可以很好地保持高分辨率图像上的边缘和细节;缺点是解不惟一、解依赖于初始估计、收敛慢、运算量大和收敛稳定性不高等。为了提高凸集投影算法的收敛稳定性,可以采用松弛投影算子,但松弛投影算子不利于保持图像的边缘和细节。最大后验概率估计方法的优点是在解中可以直接加入先验约束、能确保解的存在和惟一、降噪能力强和收敛稳定性高等;缺点是收敛慢和运算量大。另外,最大后验概率估计算法的边缘保持能力不如凸集投影算法,由这类方法获得的高分辨率图像上的细节容易被平滑掉。
3. 2 空间域方法
空间域方法是图象超分辨率重建应用中另一类主要的方法,它将复杂的运动模
型与相应的插值、迭代及滤波重采样放在一起进行处理,作为影像重建的全部内容,其线性空间域观测模型涉及到全局和局部运动、光学模糊、帧内运动模糊、空间可变点扩散函数、非理想采样及其他一些内容。空间域影像超分辨率重建方法主要包括非均匀间隔样本内插( Interpolation of Non2Uniformly Spaced Sam2ples) 、代数滤波后向投影(Algebraic Filtered Backpro2jection) 、概率论方法(Probabilitic Methods) 以及集合论方法(Set Theoretic Methods) 、混合MAP/ POCS 方法以及自适应滤波方法等。
3. 2. 1 非均匀间隔样本内插
LR 的观测影像序列经过配准后,形成一幅由非均匀间隔采样格网点上的样本值形成的复合影像,这些非均匀间隔样本点经过内插和重采样可形成超分辨率的采样格网。Keren、Peleg 和Brada 提出了一种包括整体平移和旋转的超分辨率重建模型,但该方法的内插过程过于简单,对消除观测值之间的频谱混叠没有任何效果。Aizawa 、Komatsu和Saito 提出了另一种基于内插的方法,对通过立体相机获取超分辨率影像的方法进行了讨论。Masayuki 用内插滤波方法对遥感影像进行了模拟试验,证明了超分辨率的可行性,但效果并不很理想。近年来,有的学者对基于小波的图象超分辨率技术进行了初步的研究和试验,将多帧低分辨率数据变换到不同尺度的小波空间,然后在不同尺度的小波空间再对图象进行重建,得到高分辨率的重建图象,取得了比较满意的试验结果。但总的说来,这一类方法基本没有考虑光学模糊和运动模糊的影响,不能够利用任何先验信息,因而图象重建效果受到一定的影响。
3. 2. 2 代数滤波后向投影方法
代数层析滤波后向投影方法是Friden 和Aum2man 在1987 年提出的,当时的研究并不是由影像序列重建超分辨率影像,而是一个与超分辨率重建相关的、由线性成像阵列对一固定景物进行多次一维扫描的重建问题。Friden 和Aumman 研究的问题和超分辨率重建仅仅在成像系统的PSF 方面不同,Friden 和Aumman 重建公式中假定线阵列传感器的分辨率高于光学系统的有限分辨率,成像几何能够提供给定景物区域的重叠扫描,但没有考虑观测值噪声,对高频噪声非常敏感,该方法的主要贡献在于将层析成像领域中的重建技术应用于影像超分辨率重建领域。
3. 2. 3 基于概率论的方法
在统计复原方法中,超分辨率复原问题可以解释为一个统计估计问题。因为超分辨率重建问题是一个病态(ill2posed) 问题,欲使病态问题转化为可解的良(well2posed) 问题,必须施加一定的先验附加条件和限制。在最近几年,本质上就包含着以先验概率密度函数为先验限制条件的Bayesian方法,由于其较好的重建结果已经赢得了越
来越多人的重视, 成为处理病态问题最有前景的(mostpromising) 方法之一。Bayesian 方法实际上就是极大后验概率估计MAP(maximum a posteriori probabil2 ity estimate) 方法,它的含义就是在已知低分辨率视频序列的前提下,使出现高分辨率图象的后验概率达到最大。Schultz 和Stevenson 最早在1992 年将极大后验概率估计方法应用于以Huber2Markov 随机场作为先验知识的影像内插,以改善影像的清晰度。1995年他们又将早期的研究结果推广到了影像超分辨率重建的研究,提出了一种基于运动补偿亚采样矩阵的观测值模型。1997、1998 年Schultz , Stevenson 和Meng 认识到了精确运动估计信息对超分辨率重建的重要性,对子像素级精度
(sub2pixel accuracy)运动估计(motion estimation) 方法,特别是对具有8个参数的块运动估计投影模型以及基于光流(opti2cal flow) 的运动估计方法进行了深入的研究,提出检测和排除不精确运动估计向量的方法,使得超分辨率影像重建的效果得到了极大改善。注意到运动估计本身就是一个病态问题,Schultz 和Stevenson 还提出了正则化运动估计方法,这种方法将Bayesian 运动估计量用于块运动估计,获
得了十分满意的超分辨率重建效果。Hardie ,Barnard 和Bognar 也提出了一种本质上与Schultz 和Stevenson 相同的MAP 方法,不同的是他们考虑了整体和非整体运
动模型。后来Hardie 对这一工作进行了推广,考虑了一种运动估计和超分辨率重建同时解算的问题,并给出了极大后验估计的公式。尽管这一公式的收敛速度比较慢,但因为其运动估计参数不再是像其它大多数超分辨率重建算法那样直接用LR 观测
数据估计,得到了较好的重建效果。Wesley 提出了一种基于平稳随机场退火的优
化内插方法,取得了分辨率提高2 倍的结果。
3. 2. 4 基于集合论的方法
解决超分辨率重建问题的另一著名方法就是
基于集合理论的凸集投影POCS (projection ontoconvex set ) 方法。在这种理论中,限制集定义为超分辨率解空间中可行解的限制条件(如正定性、能量有界性、观
测一致性以及光滑性等) ,而每一个限制条件则定义为向量空间中的凸集合( convex sets) ,通过对这些限制集合进行求交,形成超分辨率重建问题的解空间。Yoyla 和Webb 在1982 年最先将凸集投影的理论应用影像复原。此后1987年Friden 、Aumman 研究了利用局部滤波投影的方法进行线阵列扫描影像、面阵列扫描影像的复原。Stark 和Oskoui 在1987 年首次将POCS 应用于超分辨率影像重建。Tekalp ,Patti 和Sezan 在1992年和1994 年分别指出了上述缺陷,提出了包含系统矩阵的运动模型,该模型考虑了空间变化的点扩散函数SVPSF(Space Variying Point Spread Function)的影响,模型化了由LR 采样引起的退化以及由于传感器和景物之间的相对运动产生的模糊。
但总的说来,超分辨率图象复原技术受 3 个关键因素的影响:首先,最根本的就是子像素位移信息的可靠性,不可靠的运动估计造成的影响比缺少运动信息更大;其次,观察模型必须能精确地对成像系统及其退化进行描述;第三,影像重建算法必须尽可能地包含先验信息。基于这样的认识和对解空间进行约束的讨论,未来的研究工作将主要在运动估计、退化模型、重建算法等3 个最重要的方面展开。运动估计虽然目前已经出现了许多种运动估计方法,但在实际应用中仍然无法获得令人满意的运动估计效果,同时这些运动估计方法的适用场合非常有限,从而有必要对现有的运动估计算法进行研究,在回顾与分析现有算法的基础上对其进行扩展。在进行运动估计的过程中,运动模型及其估计方法应根据场景/ 相机运动的先验知识来进行选择,并且运动估计还应当考虑到多种互不相关的运动方式。值得注意的是,由于运动估计是根据退化图象进行的,而且运动估计的效果与超分辨率重建的结果息息相关,因而在运动估计过程中还应该重点强调算法的稳健性和结果的可靠性。同时将运
动估计和超分辨率重建这两个步骤纳为一体进行考虑应该是一种很有前景的方法,这有可能同时提高运动估计和重建算法的效果。此外,还应该对重建的超分辨率序列图象增加运动估计约束。退化模型图象超分辨率复原通常采用的简单、确定的降质模型进行近似时,近似模型与实际成像过程差距很大。在成像系统中,观察模型精确地对图象退化进行说明(即是对重建的高分辨率图象和观察图象之间的关系进
行精确的描述) 有利于对图象解空间进行约束,因而进行这方面的研究是十分有意义的。此外,还应该对CCD 影像传感器的几何属性、空间- 时域积分属性、噪声和读出噪声属性等方面给予关注,发展和寻求新的退化成像模型,更好地对传感器观察过程进行建模,使其更加精确和全面,实现对点扩散函数和噪声的精确估计,提高图象超分辨率重建的效果。重建算法尽管目前已经提出了很多超分辨率复原算法,但这些方法仍然存在着较大的缺陷和不足。基于概率论的超分辨率重建理论与算法和基于集合论的超分辨率重建理论与算法是两种很有前景的研究方法,而混合MAP/ POCS 方法能将数学的严格性、解的唯一性与先验约束描述的方便性两者有机地结合在一起,也是一种大有可为的方法。同时复原多帧超分辨率图象在相关文献中尚没有报道,对该方法的研究将进一步提高对解空间进行约束的机会,提高算法的稳健性和精确性。基于小波变换的插值与超分辨率重建也是一种很有希望的方法。总之,完善现有算法,不断发展新的算法,以提高超分辨率图象复原的能力,减小计算量,加快运算的收敛速度,适用于不同的图象要求是摆在我们面前的一个重要的任务。总之,超分辨率技术的进一步深入研究必将导制这一技术拓宽到一些新的应用领域,此外,超分辨率技术的理论研究结果还可为未来我国新型传感器的硬件设计与实现提供理论指导与参考,具有十分重要的意义。
(3. 1 成像模型
SR重建依赖于准确的、符合实际成像系统条件和压缩特性的降质模型,通常采用简单、确定的退化模型进行近似,这与实际成像过程差距很大,而压缩视频模型的有效性和普遍适应性还有待进一步的提高。在成像系统中,观察模型精确地对图像退化进行说明有利于对图像解空间进行约束,应对CCD传感器的几何属性、空/时域积分属性、噪声属性等方面给予关注,发展和寻求新的退化成像模型,更好地对传感器观察过程进行建模,实现对点扩散函数和噪声的精确估计。此外, HR图像和偏移的先验模型也是未来研究的重点,Weiss等[ 22 ]提出把帧分割成对象然后再单独重建每一对象,这对压缩的视频极其适合,因为MPEG- 4 的比特流中提供了边界信息。3. 2 运动估计
精确的运动估计对SR 重建起决定性的作用,这需要对视频序列进行亚像素精度
的运动估计。由于运动估计只能利用低分辨率序列上的信息,很难达到比较精确的估计,所以选择合适的运动估计器是实现SR重建的关键。在运动估计过程中应该重点强调算法的稳健性和结果的可靠性。为了更精确计算运动矢量,Segall等[ 23 ]通过对编码器内的帧间偏移差值(DFD)进行建模。此外,还应增加对运动估计的约束。由于图像的运动变形、模糊与噪声等降质因素之间具有密切的关系,因此应把运动估计与重建过程结合起来,将以上因素同时纳为一体进行考虑应该是一种很有前景的方法。
3. 3 重建算法
SR重建是一个病态问题,它存在着多个解,因此,能否有效地利用已知的信息和约束条件是实现重建的关键,尽管目前已经提出了很多重建算法,但这些算法仍然存在着较大的缺陷和不足。另外,在很多文献中,很多必要的参数往往留给了使用者来决定,如正则化参数的选取等,因此基于盲SR 重建的算法也是未来研究的热点,如Nguyen[ 24 ]在SR重建中加入了单一参数的模糊识别算法,但对于偏置图像的通用模糊估计算法需进一步研究。在算法上,进一步提高对解空间进行约束的机会、提高算法的稳健性和精确性,减小计算量、加快运算的收敛速度、适用于不同图像的要求是未来研究的重点。)
2. 1 国内外研究现状
国外及香港的超分辨率图像恢复研究比较活跃,较突出的有:美国加州大学Milanfar 等[7 ,8 ]提出大量实用超分辨率图像恢复算法,2004 年推出超分辨率图像恢复软件包, Chan 等从总变差正则方面[9 ] ,Zhao 等[10 ] 、Nagy 等从数学方法[11 ] 、多帧图像的去卷积[12 ]和彩色图像的超分辨率增强方面,对超分辨率图像恢复进行了研究。Chan 等研究了超分辨率图像恢复的预处理迭代算法[13 ] ,以及小波[14 ] 、紧框架[15 ] 、小框架[16 ]等多分辨率分析工具在超分辨图像中的应用等。此外, Elad 等对包含任意图像运动的超分辨率恢复[17 ]和动态、彩色、多媒体的超分辨率恢复[18 ,19 ]进行了研究;Rajan 和Wood 等分别从物理学和成像透镜散射的角度提出了新的超分辨率图像恢复方法[20 ,21 ] ;韩国Pohang 理工大学对各向异性扩散用于超分辨率[22 ] 、Chung - Ang 图像科学和多媒体与电影学
院在基于融合的自适应正则超分辨率[23 ]方面分别进行了研究。国内中科院自动化所、哈尔滨工业大学、浙江大学、国防科技大学、复旦大学和东南大学等对超分辨率图像恢复进行研究, 其中部分是关于频谱外推[24 ] 、混叠效应的消除[25 ]以及成像探测元的阵列改进[26 ] ,其他主要是对国外超分辨率方法所进行的改进,包括对POCS 算法和MAP 算法的改进[27 ,28 ] 、对超分辨率插值方法的改进[29 ] 、基于小波域隐马尔可夫树(HMT) 模型对彩色图像超分辨率方法的改进以及对超分辨率图像重构方法的改进[30 ,31 ]等。
[ 7 ] NGUYEN N ,MILANFA P ,GOLUB G H. Efficient generalized cross- validation with applications to parametric image restoration and resolution enhancement [J ] . IEEE Transactions on Image Processing ,2001 ,10 (9) :1299 - 1308.
[8 ] FARSIU S ,ROBINSON D ,ELAD M ,et al. Fast and robust multiframe super - resolution [J ] . IEEE Transactions on Image Processing ,2004 ,13 (10) :1327 - 1344.
[9 ] CHAN T F ,WONG C K. Multichannel Image Deconvolution by Total Variation Regularization[ C] . SPIE ,San Diego ,1997. 358 -366.
[ 10 ] ZHAO W Y,SAWHNEY H S ,HANSEN M W. Super - Fusion :A Super - Resolution Method Based on Fusion [ C] . ICPR ( 2) ,Quebec ,Canada ,2002. 269 - 272. [ 11 ] NAGYJ ,BOSE N. Mathematical analysis of super resolution methodology[J ] . IEEE Signal Processing Magazine ,2003 ,20 (3) :62 - 74.
[ 12 ] VIO R ,NAGYJ ,TENORIO L ,et al. A simple but efficient algorithm for multiple - image deblurring [J ] . Astronomy & Astrophysics ,2003 ,416 :403 - 410.
[ 13 ] NG M ,CHAN R ,CHAN T ,et al. Cosine transform preconditioners for high resolution image reconstruction [ J ] . Linear Algebra Appls. ,2000 ,316 :89 - 104.
[14 ] CHAN R H ,CHAN T F ,SHEN L X ,et al. Wavelet algorithms for high - resolution image reconstruction [J ] . SIAMJ . Sci. Comput . ,2003 ,24 :1408 - 1432. [15 ] CHAN R H,RIEMENSCHNEIDER S D ,SHEN L X,et al. Tight frame :An efficient way for high - resolution image reconstruction[J ] . Appl. Comput . Harmon. Anal. ,2004 ,17 :91 - 115.
[ 16 ] CHAN R H ,RIEMENSCHNEIDER S D ,SHEN L X ,et al. High resolution image reconstruction with displacement errors : A frame let approach ,internet [J ] . J . Imaging System Tech. ,2004 ,14 :91 - 104.
[ 17 ] ELAD M ,FEUER A. Super - Resolution Restoration of Continuous Image Sequences Using the LMS Algorithm[ C] . The 18th IEEE Conference in Israel ,Tel - Aviv ,1995.
[ 18 ] ELAD M ,FEUER A. Super - Resolution Reconstruction of Continuous Image Sequences[ C] . International Conference on Image Processing - ICIP 1999 , Kobe ,Japan ,1999 , Ⅲ:459 - 463.
[ 19 ] FARSIU S ,ROBINSON D ,ELAD M ,et al. Dynamic demosaicing and color super - resolution of video sequences[A] . Proceedings of the SPIE Conference on Image Reconstruction from Incomplete Data Ⅲ[C] . Denver ,CO ,USA ,2004 ,5562 :169 - 178. [ 20 ] RAJAN D ,CHAUDHURI S. A physics - based approach to generation of super - resolution images [ A ] . Proc. Indian Conf . on Comp. Vis. , Graphics and Image Proc. [ C ] . New Delhi , India 1998. 250 - 254.
[21 ] WOOD S ,RAJAN D ,CHRISTENSEN M ,et al. Resolution improvement for compound eye images through lens diversity [A] .Proceedings of DSP Workshop[C] . New Mexico ,2004.
[22 ] KIM H W,JANG J H , HONG K S. Edge - enhancing super -resolution using anisotropic diffusion [A] . IEEE Intl. Conf . Image Process. [C] . Thessaloniki ,Greece ,2001. 130 - 133.
[23 ] SHIN J H ,JUNGJ S ,PAIK J K. Image fusion - based adaptive regularization for image expansion [A] . Proc. SPIE Image ,Video Comm. Proc. ,2000 ,3974 :1040 - 1051.
[24 ] 李金宗,黄建明,陈凤,等. 超分辨率处理中振铃现象的分析与抑制[J ] . 系统工程与电子技术,2003 ,25 (6) :664 - 668.
[ 25 ] 刘良云,李英才,相里斌. 超分辨率图像重构技术的仿真实验研究[J ] . 中国图象图形学报,2001 ,6A(6) :629 - 635.
[26 ] 周峰. 提高航天传输型CCD 相机地面像元分辨率方法研究[J ] . 航天返回与遥感,2002 ,23 (3) :35 - 42.
[ 27 ] 苏秉华. 超分辨率图像复原研究[D] . 北京理工大学,2002.
[ 28 ] 孟庆武. 预估计混叠度的MAP 超分辨率处理算法[J ] . 软件学报,2004 ,15 (2) :207 - 214.
超分辨率图像重建方法综述_苏衡
第39卷第8期自动化学报Vol.39,No.8 2013年8月ACTA AUTOMATICA SINICA August,2013 超分辨率图像重建方法综述 苏衡1,2周杰1张志浩1 摘要由于广泛的实用价值与理论价值,超分辨率图像重建(Super-resolution image reconstruction,SRIR或SR)技术成为计算机视觉与图像处理领域的一个研究热点,引起了研究者的广泛关注.本文将超分辨率图像重建问题按照不同的输入输出情况进行系统分类,将超分辨率问题分为基于重建的超分辨率、视频超分辨率、单帧图像超分辨率三大类.对于其中每一大类问题,分别全面综述了该问题的发展历史、常用算法的分类及当前的最新研究成果等各种相关问题,并对不同算法的特点进行了比较分析.本文随后讨论了各不同类别超分辨率算法的互相融合和图像视频质量评价的方法,最后给出了对这一领域未来发展的思考与展望. 关键词超分辨率图像重建,计算机视觉,图像处理,方法综述 引用格式苏衡,周杰,张志浩.超分辨率图像重建方法综述.自动化学报,2013,39(8):1202?1213 DOI10.3724/SP.J.1004.2013.01202 Survey of Super-resolution Image Reconstruction Methods SU Heng1,2ZHOU Jie1ZHANG Zhi-Hao1 Abstract Because of its extensive practical and theoretical values,the super-resolution image reconstruction(SRIR or SR)technique has become a hot topic in the areas of computer vision and image processing,attracting many researchers attentions.This paper categorizes the SR problems according to their input and output conditions into three main cat-egories:reconstruction-based SR,video SR and single image SR.For each category,the development history,common algorithm classes and state-of-the-art research achievements are reviewed comprehensively.We also analyze the charac-teristics of di?erent algorithms.Afterwards,we discuss the combination of di?erent super-resolution categories and the evaluation of image and video qualities.Thoughts and foresights of this?eld are given at the end of this paper. Key words Super-resolution image reconstruction,computer vision,image processing,survey Citation Su Heng,Zhou Jie,Zhang Zhi-Hao.Survey of super-resolution image reconstruction methods.Acta Auto-matica Sinica,2013,39(8):1202?1213 超分辨率图像重建(Super resolution image re-construction,SRIR或SR)是指用信号处理和图像处理的方法,通过软件算法的方式将已有的低分辨率(Low-resolution,LR)图像转换成高分辨率(High-resolution,HR)图像的技术.它在视频监控(Video surveillance)、图像打印(Image printing)、刑侦分析(Criminal investigation analysis)、医学图像处理(Medical image processing)、卫星成像(Satellite imaging)等领域有较广泛的应用. 收稿日期2011-08-31录用日期2013-01-29 Manuscript received August31,2011;accepted January29, 2013 国家自然科学基金重大国际(地区)合作研究项目(61020106004),国家自然科学基金(61005023,61021063),国家杰出青年科学基金项目(61225008),教育部博士点基金(20120002110033)资助 Supported by Key International(Regional)Joint Research Pro-gram of National Natural Science Foundation of China(6102010 6004),National Natural Science Foundation of China(61005023, 61021063),National Science Fund for Distinguished Young Scholars(61225008),and Ph.D.Programs Foundation of Min-istry of Education of China(20120002110033) 1.清华大学自动化系北京100084 2.北京葫芦软件技术开发有限公司北京100084 1.Department of Automation,Tsinghua University,Beijing 100084 2.Beijing Hulu Inc.,Beijing100084 超分辨率问题的解决涉及到许多图像处理(Im-age processing)、计算机视觉(Computer vision)、优化理论(Optimization problem)等领域中的基本问题[1],例如图像配准(Image registration)、图像分割(Image segmentation)、图像压缩(Image com-pression)、图像特征提取(Image feature extrac-tion)、图像质量评价(Image quality estimation)、机器学习(Machine learning)、最优化算法(Opti-mization algorithm)等,超分辨率是这些基本问题的一个具体应用领域,同时也对它们的研究进展起到了推动的作用.因此超分辨率问题本身的研究具有重要的理论意义.目前超分辨率问题已经成为相关研究领域的热点之一. 在上世纪80～90年代,就有人开始研究超分辨率图像重建的方法,1984年Tsai的论文[2]是最早提出这个问题的文献之一.在这之后有很多相关的研究对超分辨率的问题进行更加深入的讨论.有关超分辨率问题的研究成果,在计算机视觉、图像处理与信号处理领域的顶级会议和期刊都有大量收录. 1998年,Borman等[3]发表了一篇超分辨率图像重建的综述文章.2001年,Kluwer出版了一本详细介
超分辨率算法综述
超分辨率复原技术的发展 The Development of Super2Re solution Re storation from Image Sequence s 1、引言 在图像处理技术中,有一项重要的研究内容称为图像融合。通常的成像系统由于受到成像条件和成像方式的限制,只能从场景中获取部分信息,如何有效地弥 补观测图像上的有限信息量是一个需要解决的问题。图像融合技术的含义就是把相关性和互补性很强的多幅图像上的有用信息综合在一起,产生一幅(或多幅) 携带更多信息的图像,以便能够弥补原始观测图像承载信息的局限性。 （图象融合就是根据需要把相关性和互补性很强的多幅图象上的有用信息综合在一起,以供观察或进一步处理,以弥补原始单源观测图象承载信息的局限性,它是一门综合了传感器、图象处理、信号处理、计算机和人工智能等技术的现代高新技术,于20 世纪70 年代后期形成并发展起来的。由于图象融合具有突出的探测优越性,在国际上已经受到高度重视并取得了相当进展,在医学、遥感、计算机视觉、气象预报、军事等方面都取得了明显效益。从图象融合的目标来看,主要可将其归结为增强光谱信息的融合和增强几何信息的融合。增强光谱信息的融合是综合提取多种通道输入图象的信息,形成统一的图象或数据产品供后续处理或指导决策,目前在遥感、医学领域都得到了比较广泛的应用。增强几何信息的融合就是从一序列低分辨率图象重建出更高分辨率的图象(或图象序列) ,以提 高图象的空间分辨率。对图象空间分辨率进行增强的技术也叫超分辨率 (super2resolution) 技术,或亚像元分析技术。本文主要关注超分辨率(SR) 重建技术,对SR 技术中涉及到的相关问题进行描述。） （我们知道,在获取图像的过程中有许多因素会导致图像质量的下降即退化,如 光学系统的像差、大气扰动、运动、离焦和系统噪音,它们会造成图像的模糊和变形。图像复原的目的就是对退化图像进行处理,使其复原成没有退化前的理想图像。按照傅里叶光学的观点,光学成像系统是一个低通滤波器,由于受到光学衍射的影响,其传递函数在由衍射极限分辨率所决定的某个截止频率以上值均为零。显然,普通的图像复原技术如去卷积技术等只能将物体的频率复原到衍射极
关于图像超分辨率重构的现状研究
关于图像超分辨率重构的现状研究 摘要：图像超分辨率的重构技术是近20年来兴起的一门新的数字图像处理技术。随着计算机硬件技术和软件设计技术的不断发展,各种图像超分辨率重构算法被提出。综述超分辨率重构的相关研究,指出图像超分辨率重构技术近几年来的一些研究成果。 关键字：图像超分辨率；图像超分辨率重构；迭代法投影法 Abstract:Image super-resolution reconstruction technology is nearly 20 years the rise of a new digital image processing technology. With the continuous development of computer hardware and software design technology, all kinds of image super-resolution reconstruction algorithm was proposed. Of related studies on super-resolution reconstruction, and points out that the technology of image super-resolution reconstruction in recent years, some of the research. Keywords:image super-resolution; image super-resolution reconstruction; iterative projection method 1引言 超分辨率重构算法始于20世纪80年代,其目的在于恢复一些已丢失的频率分量。在成像过程中,由于受成像系统的物理性质和天气条件的影响,图像中存在着光学和运动模糊、采样不足和附加噪声等退化现象,图像空间分辨率较低。而在实际应用中,需要高分辨率的图像,如在遥感检测、军事侦查、交通及安全监控、医学诊断和模式识别等方面。在现有的传感器不作改变的情况下,人们希望利用信号处理的方法,通过一系列低分辨率图像来重构高分辨率图像。这种从同一场景的低分辨率图像序列中,通过信息融合来提高空间分辨率的方法通常被称为超分辨率重构。
超分辨率算法综述
图像超分辨率算法综述 摘要：介绍了图像超分辨率算法的概念和来源，通过回顾插值、重建和学习这3个层面的超分辨率算法，对图像超分辨率的方法进行了分类对比，着重讨论了各算法在还原质量、通用能力等方面所存在的问题，并对未来超分辨率技术的发展作了一些展望。 关键词：图像超分辨率；插值；重建；学习； Abstract:This paper introduced the conception and origin of image super resolu- tion technology. By reviewing these three kinds of methods(interpolation,reconstruct, study), it contrasted and classified the methods of image super-resolution,and at last, some perspectives of super-resolution are given. Key words: image super-resolution;interpolation;reconstruct;study;
1 引言 1.1 超分辨率的概念 图像超分辨率率(super resolution,SR)是指由一幅低分辨率图像(low resolution,LR)或图像序列恢复出高分辨率图像(high resolution， HR)。HR意味着图像具有高像素密度，可以提供更多的细节，这些细节往往在应用中起到关键作用。要获得高分辨率图像，最直接的办法是采用高分辨率图像传感器，但由于传感器和光学器件制造工艺和成本的限制[1]，在很多场合和大规模部署中很难实现。因此，利用现有的设备，通过超分辨率技术获取HR图像(参见图1)具有重要的现实意义。 图1 图像超分辨率示意图 图像超分辨率技术分为超分辨率复原和超分辨率重建，许多文献中没有严格地区分这两个概念，甚至有许多文献中把超分辨率图像重建和超分辨率图像复原的概念等同起来，严格意义上讲二者是有本质区别的，超分辨率图像重建和超分辨率图像复原有一个共同点，就是把在获取图像时丢失或降低的高频信息恢复出来。然而它们丢失高频信息的原因不同，超分辨率复原在光学中是恢复出超过衍射级截止频率以外的信息，而超分辨率重建方法是在工程应用中试图恢复由混叠产生的高频成分。几何处理、图像增强、图像复原都是从图像到图像的处理，即输入的原始数据是图像，处理后输出的也是图像，而重建处理则是从数据到图像的处理。也就是说输入的是某种数据，而处理结果得到的是图像。但两者的目的是一致的，都是由低分辨率图像经过处理得到高分辨率图像。另外有些文献中对超分辨率的概念下定义的范围比较窄，只是指基于同一场景的图像序列和视频序列的超分辨处理，实际上，多幅图像的超分辨率大多数都是以单幅图像的超分辨率为基础的。在图像获取过程中有很多因素会导致图像质量下降，如传感器的形
用光学仪器测量放大率和微小长度
实验二 用光学仪器测量放大率和微小长度 实验目的 １．熟悉显微镜和望远镜的构造及其放大原理。 ２．学会测定显微镜和望远镜放大率的方法。 ３．掌握显微镜的正确使用方法；学会利用显微镜测量微小长度。 ４．理解光学仪器分辨本领的物理意义。 实验仪器 读数显微镜，望远镜，测微目镜，目镜测微尺，标准石英尺，十字叉丝光阑，圆孔光阑，准直光阑，分辨率板，辅助显微镜，米尺，标尺，待测样品等。 实验原理 １．测定显微镜和望远镜的放大率 在前面的基础知识中，我们已经对显微镜和望远镜的光学系统有所了解，在用显微镜或望远镜观察物体时，一般因视角均甚小，因此视角之比可用其正切之比来代替，于是，显微镜和望远镜的放大率可近似地写成 e o tg tg M αα= （１）显微镜的放大率 测定显微镜放大率最简便的方法是按图5—2—1来完成的。现以显微镜为例，设长为0l 的目的物PQ 直接置于观察者的明视距离处，其视角为0α，从显微镜中最后看到虚像""Q P 亦在明视距离处，其长度为l ?，视 角为e α?，于是 00l l tg tg M e ==αα （5－2－1） 因此，如用一刻度尺作目的物，取其一段 分度长为0l ，把观察到的尺的像投影到尺面 上，设被投影后像在刻度尺上的长度是l ，就可求得显微镜的放大率。 （２）望远镜的放大率 当望远镜对无穷远调焦时，望远镜筒的长度（即物镜与目镜之间的距离）就可认为是' '0e f f +，这时如将望远镜的物镜卸下，在它原来的位置放一长度为1l 的目的物 125——图?p
(十字叉丝光阑)；于是，在离目镜d 处，得到该物经目镜所成的实像。设其像长为2l ?，则根据透镜成像公式有 d f f l l e /)()/(''021+=? （5－2－2） 及 ' ''0111e e f f f d =++ （5－2－3） 将（５－２－２）和（５－２－３）两式消去d ，得 2 1''0l l f f M e =?= （5－2－4） 由（5－2－4）式可知，只要测出光阑的长度1l 及其像长2l ，即可算出望远镜的放大率。 ２．用生物显微镜测量微小长度 （１）生物显微镜的构造原理与使用 显微镜的种类很多，实验中常用的是生物显微镜。它的构造和外形如图5—2－2所示。 １）光学部分的成像系统 光学部分的成像系统由目镜1和物镜7组成。 目镜由两块透镜装置在目镜镜筒中构成，筒上标 有放大率，常用的有×5、×10、×15（或 ×5.12）。物镜由多块透镜复合而成，装置在物镜转换器6上，转动转换器可调换使用。通常配有物镜三个，放大器率分别为×10、×40、×100、（或是×8、×45、×100）。可以看出，物镜和目镜的相互组合，可得九种不同的放大率。 ２）光学部分的照明系统 光学部分的照明系统由聚光镜10和可变光阑 11及反射镜12组成。反射镜将外来光线导入聚光 镜，并由聚光镜聚焦，以照亮被观察物。可变光阑可改变孔径，用来调节照明亮度，以便使用不 同数值孔径的物镜观察时获得清晰的像。 ３）机械部分 机械部分由镜筒2、镜架3、镜座13等组成。物镜转换器6 装有三个物镜，可借助转3 22——图５
图像超分辨率重建
收稿日期：２００８唱０８唱２１；修回日期：２００８唱１０唱２８ 作者简介：王培东（１９５３唱），男，黑龙江哈尔滨人，教授，硕导，ＣＣＦ会员，主要研究方向为计算机控制、计算机网络、嵌入式应用技术；吴显伟（１９８２唱），男（回族），河南南阳人，硕士，主要研究方向为计算机控制技术（ｗｕ＿ｘｉａｎｗｅｉ＠１２６．ｃｏｍ）． 一种自适应的嵌入式协议栈缓冲区管理机制 王培东，吴显伟 （哈尔滨理工大学计算机科学与技术学院，哈尔滨１５００８０） 摘 要：为避免创建缓冲区过程中必须指定大小和多次释放而导致可能的内存泄露和代码崩溃的弊端，提出一种自适应的嵌入式协议栈的缓冲区管理机制ＡｕｔｏＢｕｆ。它是基于抽象缓冲区接口而设计的，具有自适应性，支持动态内存的自动分配与回收，同时实现了嵌入式ＴＣＰ／ＩＰ协议栈各层之间的零拷贝通信。在基于研究平台Ｓ３Ｃ４４Ｂ０Ｘ的Ｗｅｂｓｅｒｖｅｒ网络数据监控系统上的测试结果表明，该缓冲区的设计满足嵌入式系统网络通信的应用需求，是一种高效、可靠的缓冲区管理机制。 关键词：嵌入式协议栈；抽象缓冲区；零拷贝；内存分配 中图分类号：ＴＰ３１６ 文献标志码：Ａ 文章编号：１００１唱３６９５（２００９）０６唱２２５４唱０３ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１唱３６９５．２００９．０６．０７７ Ｄｅｓｉｇｎａｎｄｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆａｄａｐｔｉｖｅｂｕｆｆｅｒｆｏｒｅｍｂｅｄｄｅｄｐｒｏｔｏｃｏｌｓｔａｃｋ ＷＡＮＧＰｅｉ唱ｄｏｎｇ，ＷＵＸｉａｎ唱ｗｅｉ （ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，ＨａｒｂｉｎＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，Ｈａｒｂｉｎ１５００８０，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｏａｖｏｉｄｔｒａｄｉｔｉｏｎａｌｍｅｔｈｏｄｏｆｃｒｅａｔｉｎｇｂｕｆｆｅｒ，ｗｈｉｃｈｍｕｓｔｈａｖｅｔｈｅｓｉｚｅｏｆｂｕｆｆｅｒａｎｄｆｒｅｅｍｅｍｏｒｙｆｏｒｍａｎｙｔｉｍｅｓ，ｗｈｉｃｈｗｉｌｌｒｅｓｕｌｔｉｎｍｅｍｏｒｙｌｅａｋｓａｎｄｃｏｄｅｓｃｒａｓｈ．ＴｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａｆｌｅｘｉｂｌｅｂｕｆｆｅｒｍａｎａｇｅｍｅｎｔｍｅｃｈａｎｉｓｍＡｕｔｏＢｕｆｆｏｒｅｍｂｅｄｄｅｄｎｅｔｗｏｒｋｐｒｏｔｏｃｏｌｓｔａｃｋ．Ｉｔｗａｓａｄａｐｔｉｖｅａｎｄｓｃａｌａｂｌｅａｎｄｂａｓｅｄｏｎａｎａｂｓｔｒａｃｔｂｕｆｆｅｒｉｎｔｅｒｆａｃｅ，ｓｕｐｐｏｒｔｅｄｄｙｎａｍｉｃｍｅ唱ｍｏｒｙａｌｌｏｃａｔｉｏｎａｎｄｂａｃｋｕｐ．ＢｙｕｓｉｎｇｔｈｅＡｕｔｏＢｕｆｂｕｆｆｅｒｍａｎａｇｅｍｅｎｔｍｅｃｈａｎｉｓｍｗｉｔｈｄａｔａｚｅｒｏｃｏｐｙｔｅｃｈｎｏｌｏｇｙ，ｉｔｉｍｐｌｅｍｅｎｔｅｄｔｏｔｒａｎｓｆｅｒｄａｔａｔｈｒｏｕｇｈｔｈｅｅｍｂｅｄｄｅｄｎｅｔｗｏｒｋｐｒｏｔｏｃｏｌｓｔａｃｋ．ＴｈｅｍａｎａｇｅｍｅｎｔｍｅｃｈａｎｉｓｍｈａｄｂｅｅｎａｐｐｌｉｅｄｔｏｔｈｅＷｅｂｓｅｒｖｅｒｓｙｓｔｅｍｂａｓｅｏｎＳ３Ｃ４４ｂ０Ｘｐｌａｔｆｏｒｍｓｕｃｃｅｓｓｆｕｌｌｙ．Ｔｈｅｒｅｓｕｌｔｓｉｎｒｅａｌｎｅｔｗｏｒｋｃｏｎｄｉｔｉｏｎｓｈｏｗｔｈａｔｔｈｅｓｙｓｔｅｍｐｒｏｖｉｄｅｓａｇｏｏｄｐｅｒ唱ｆｏｒｍａｎｃｅａｎｄｍｅｅｔｓｔｈｅｎｅｃｅｓｓａｒｙｏｆｅｍｂｅｄｄｅｄｎｅｔｗｏｒｋｓｙｓｔｅｍ．Ｋｅｙｗｏｒｄｓ：ｅｍｂｅｄｄｅｄｓｔａｃｋ；ａｂｓｔｒａｃｔｂｕｆｆｅｒ；ｚｅｒｏ唱ｃｏｐｙ；ｍｅｍｏｒｙａｌｌｏｃａｔｉｏｎ 随着网络技术的快速发展，主机间的通信速率已经提高到了千兆数量级，同时多媒体应用还要求网络协议支持实时业务。嵌入式设备网络化已经深入到日常生活中，而将嵌入式设备接入到互联网需要网络协议栈的支持。通过分析Ｌｉｎｕｘ系统中ＴＣＰ／ＩＰ协议栈的实现过程，可以看出在协议栈中要有大量数据不断输入输出，而管理这些即时数据的关键是协议栈中的缓冲区管理机制，因此对嵌入式协议栈的缓冲区管理将直接影响到数据的传输速率和安全。通用以太网的缓冲区管理机制，例如４．４ＢＳＤｍｂｕｆ ［１］ 和现行Ｌｉｎｕｘ系统中的ｓｋ＿ｂｕｆ ［２］ 多是在大内存、 高处理速率的基础上设计的，非常庞大复杂。由于嵌入式设备的硬件资源有限，特别是可用物理内存的限制，通用的协议栈必然不适用于嵌入式设备，在应用时要对标准的ＴＣＰ／ＩＰ协议进行裁剪 ［３］ 和重新设计缓冲区管理机制。 １ 缓冲区管理机制的性能需求分析 缓冲区管理 ［４］ 是对内存提供一种统一的管理手段，通过该 手段能够对可用内存提供分配、回收、数据操作等行为。内存的分配操作是根据一定的内存分配策略从缓冲区中获得相应大小的内存空间；缓冲区的数据操作主要是向缓冲区写数据，从缓冲区读数据，在缓冲区中删除数据，对空闲的内存块进行合并等行为；内存的回收就是将已空闲的内存重新变为可用内存，以供存 储其他新的数据。 为了满足长度不一的即时数据的需求，缓冲区对内存的操作主要集中在不断地分配、回收、合并空闲的内存块等操作。因为网络中的数据包小到几个字节大到几千个字节，不同长度的数据对内存的需求必然不同。现存嵌入式设备中的内存多是以物理内存，即实模式形式存在的，没有虚拟内存的形式，对内存的操作实际是操作真实的物理内存，所以对内存操作要特别谨慎。在传统使用动态分配的缓冲区（通过调用ｍａｌｌｏｃ（）／ｆｒｅｅ（））在函数之间传递数据。尽管该方法提供了灵活性，但它也带来了一些性能影响。首先考虑对缓冲区的管理（分配和释放内存块）。如果分配和释放不能在相同的代码位置进行，那么必须确保在某个内存块不再需要时，释放一次（且仅释放一次）该内存块是很重要的，否则就会导致内存泄露。其次是必须确定缓冲区的大小才能分配该内存块。然而，确定数据大小并非那么容易，传统做法是采用最大的数据尺寸的保守估计。而采用保守估计预分配的内存大小总是远超过实际需要的大小，而且没有一定的范围标准，这样难免会导致资源的严重浪费。 随着数据在协议栈中的不断流动，内存块的多次释放和多次分配是难以避免的，而保守估计对于有限的资源来说又是一种浪费的策略。因此为了能有效地利用资源，设计一种可自控的、不用预判断大小的数据缓冲区接口就势在必行。 第２６卷第６期２００９年６月 计算机应用研究 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ Ｖｏｌ．２６Ｎｏ．６Ｊｕｎ．２００９
人脸图像超分辨率的自适应流形学习方法
第20卷第7期2008年7月 计算机辅助设计与图形学学报 JO U RN A L O F COM PU T ER -AID ED D ESIG N &COM P U T ER G RA PH ICS Vo l 120,N o 17 July,2008 收稿日期:2007-11-06;修回日期:2008-03-111基金项目:国家科技支撑计划重点项目(2006BAK07B04).张雪松,男,1977年生,博士研究生,工程师,主要研究方向为数字图像复原与超分辨率、模式识别、红外图像实时处理.江 静,女,1979年生,硕士,讲师,主要研究方向为数字图像处理.彭思龙,男,1971年生,博士,研究员,博士生导师,主要研究方向为小波分析、图像处理、视频增强、模式识别. 人脸图像超分辨率的自适应流形学习方法 张雪松1) 江 静2) 彭思龙 1) 1)(中国科学院自动化研究所国家专用集成电路设计工程技术研究中心 北京 100190)2) (华北科技学院机械与电气工程系 北京 101601)(xuesong.zhang@https://www.wendangku.net/doc/809602753.html,) 摘要 样本规模与使用方法是基于学习的超分辨率中的一个重要问题.面向人脸图像超分辨率重建,提出一种基 于局部保持投影(L P P)的自适应流形学习方法.由于能够揭示隐含在高维图像空间中的非线性结构,L PP 是一种可以在局部人脸流形上分析其内在特征的、有效的流形学习方法.通过在L P P 特征子空间中动态搜索出与输入图像块最相似的像素块集合作为学习样本,实现了自适应样本选择,并且利用动态样本集合通过基于像素块的特征变换方法有效地恢复出低分辨率人脸图像中缺失的高频成分.实验结果证实:通过在局部人脸流形上自适应地选择学习样本,文中方法可以仅使用相对少量的样本来获得很好的超分辨率重建结果.关键词 人脸图像;超分辨率;局部保持投影;流形学习;非监督学习中图法分类号 T P391.4 Adaptive Manifold Learning Method for Face Hallucination Zhang Xuesong 1) Jiang Jing 2) Peng Silong 1) 1)(National AS I C Desig n Eng inee ring Center ,Institute of A utomation,Chinese A cad emy of S cie nces ,B eij ing 100190)2) (Dep artment of M ec hanic s and E lectricity En gineering ,N or th Ch ina I nstitu te of S cie nce and Te chnolog y ,B eij ing 101601) Abstract T he size of training set as well as the usage thereof is an important issue of learning -based super -resolution.T his w or k presents an adaptive learning metho d for face hallucination using Locality Preserving Pr ojectio n (LPP).LPP is an efficient manifold learning m ethod that can be used to analy ze the lo cal intrinsic features on the manifold of local facial areas by virtue of its ability to reveal no n -linear structures hidden in the hig h -dim ensional image space.We fulfilled the adaptive sam ple selection by searching out patches online in the LPP sub -space,w hich makes the resultant training set tailor ed to the testing patch,and then effectively r estored the lo st hig h -frequency com ponents of the low -resolution face image by patched -based eig en transform ation using the dy namic training set.The ex perim ental r esults fully dem onstrate that the proposed m ethod can achieve goo d super -reso lution reconstruction perfo rmance by utilizing a relative small am ount o f samples. Key words face im ag e;super -r esolutio n;lo cality preserv ing projections;m anifold learning;unsuperv ised learning 超分辨率是指根据多张低分辨率图像重建出高分辨率图像的过程,在不同的应用中,输入的低分辨率图像可以是某个静态场景的图像序列 [1-3] (序列中 的图像间存在相对运动)或者是一段动态场景的视频[4-5].这些超分辨率方法通常是基于/重建约束0的:即认为低分辨率图像是待求高分辨率图像在不
光学仪器分辨率的解释以及分析
光学仪器分辨率的解释以及分析 2015级生命科学方向薛峣 515080910024 众所周知，光学仪器的分辨率决定了其显示的物体的清晰程度。然而，对于不同的光学仪器，其分辨率的物理意义是不同的。更进一步，由于到最后的接收系统的是眼睛，因此若不考虑眼睛本身的分辨极限，好的分辨率也可能是无效的。本文中，先对眼睛这一光学成像系统进行分析；再阐释某些典型光学仪器的分辨率的物理意义；最后再挑选一些例子进行计算，决定其分辨率是否有效。 一．眼睛的成像： 眼睛的结构 如果把眼睛类比于光学仪器，那么有这么几个眼睛的部分对应于光学仪器中的结构：1.瞳孔——光阑： 瞳孔决定了眼睛能看到的视场以及进光量，以及更重要地，艾里斑的大小。然而，由于人的头部和眼球是可以随意转动的，所以瞳孔的存在仅仅是调节进光量。我们也可以因此认为，人的视场是任意大的。 2.晶状体——透镜： 晶状体中包含了折射率不均匀的液体。而眼镜和普通透镜最不一样的地方，在于它是可以调焦的。调焦是由肌肉压缩晶状体来改变其曲率半径来实现的。然而，眼睛能够调焦的范围是有限的。正常人的眼睛物方焦距范围为(17.1-14.2)mm，像方焦距范围为(22.8-18.9)mm。然而，由于眼睛肌肉紧张（像方焦距变小）时，人容易感到疲劳，因此我们人为地将明视距离定为25cm，即眼睛聚焦于25cm处的物体时，眼睛最为放松。当然，人的聚焦范围并没有这么小。出生的婴儿，其能够聚焦的最短距离是10cm。在以后计算时，我们将适当引用这个聚焦距离。 3.视网膜——光屏： 本来视网膜上有高分辨率的区域只有一个称之为黄斑的地方，即靠近光轴的一小块地方，但由于人可以任意转动其头部及眼球，这件事并不妨碍。 由于瞳孔以及晶状体有有限的大小，所以成像时不可避免地会发生衍射。菲涅耳衍射的条件是物点到孔径距离与孔径大小可以相比拟。但是对于眼睛来说，若取聚焦距离为10cm，取瞳孔最大直径为8mm，那么也只有8%的大小。因此，我们认为可以近似为夫琅禾费圆孔衍射。应用夫琅禾费圆孔衍射的公式，即可知在此假设下人的最小分辨角约为0.75’。
图像的超分辨率处理方法研究现状
超分辨率图像处理技术是利用多帧关于同一场景的有相互位移的低分辨率降质图像来重建高分辨率高质量图像的技术。介绍了超分辨率图像处理技术的概念和起源;综述了超分辨率图像恢复研究现状。重点对单帧和多帧超分辨率图像处理的主要方法进行了评述,并总结对比了频域和空域方法的优缺点。最后对超分辨率图像处理技术的技术难点和前沿问题研究前景进行介绍和展望。 0引言 图像超分辨率处理技术是指利用多帧关于同一场景的有相互位移的低分辨率降质图像(LR,lowresolution)来重建高分辨率高质量图像(HR,highresolution)的技术[1]。图像超分辨率处理技术可突破图像采集设备的分辨率限制,充分利用多帧图像之间的互补信息,实现像素级的图像信息融合。在计算机视觉、卫星遥感、天文学、生物医学成像、民用安防等多个领域都有广泛的应用。图像超分辨率处理常被认为是广义的图像复原(Restoration)或图像重建(Reconstruction)。实际上它与两者有一定联系但是又不完全相同。图像复原是指去除或减轻获取数字图像过程中发生的图像质量下降(退化)[2],目标是恢复光学系统截止频率以内的成分,而图像超分辨率处理的目标是得到系统截止频率以外的成分。图像重建可用于现有成像系统不能提供满意图像分辨率的情况,如提高遥感图像、CT、核磁共振、超声波图像和各种监控图像等的分辨率[3]。在超分辨率处理中,多帧低分辨率降质图像可以认为是高分辨率理想图像经成像系统在观测平面上的一个投影,因此图像超分辨率处理也可以认为是由多帧低分辨率降质图像来重建高分辨率理想图像。 1超分辨率图像处理技术研究概况 J.L.Harris[4]和J.W.Goodman[5]提出的基于单帧图像的Harris-Goodman频谱外推法是最早的超分辨率图像处理的方法。随后,Tsai与Huang提出了基于序列或多帧图像的超分辨率重建问题,并给出了基于频域逼近的重建图像方法。此后,极大后验概率估计法、反向投影迭代法、凸集投影法和自适应滤波方法等许多有使用价值的方法被提出并发展。 目前,国内外对超分辨率的研究较突出的有:美国加州大学多维信号处理研究小组的PeymanMilanfar等提出了大量的实用算法和集成各种算法的超分辨率图像恢复软件包[6];美国Dayton大学和Wright实验室对红外CCD相机进行了机载试验,利用20幅低分辨率的红外图像,取得了分辨率提高近5倍的实验结果。香港R. F. Chars等研究了超分辨率图像恢复的有效预处理共扼梯度迭代算法[7]。以色列耶鲁撒冷大学M.Elad等[8]对存在任意运动的图像序列,以及动态的和彩色的多媒体等的超分辨率恢复进行了研究。以色列的EROS-A卫星利用“过采样”技术使影像的分辨率提高一倍以上。印度S.Chaudhuri等研究了迭代的超分辨率图像恢复方法[9]。韩国Pohang理工大学在各向异性扩散用于超分辨率[10]方面进行了研究。国内近几年在频谱外推、混叠效应的消除、无损检测、成像探测元的阵列改进以及一些超分辨率方法的改进方面做过类似研究,但研究水平无论从深度和广度上都较国外存在一定的差距[11]。 2超分辨率图像处理方法 图像超分辨率处理技术通常可以分为两大类:单帧图像重建(静态图像插值)方法和多帧图像处理(序列图像重建)方法。单帧图像处理也称为图像放大,是指利用一帧探测器采集到的低分辨率图像的信息,通过重建算法提高图像分辨率的方法。为了增加利用图像的信息,人们逐渐将研究热点转向多帧图像处理。多帧图像处理充分利用了不同帧图像之间的互补信息,其超分辨率复原能力好于利用单帧图像处理。其主要方法大致可以分为两类:频域法和空域法。早期的超分辨率图像处理方法研究都集中在频域,后来转向空域超分辨率图像处理复原方法的研究。频域法不能利用图像的先验知识,而空域方法则能够充分利用图像先验知识。频域方法的基本流程如图1(a)所示。其中图像配准和运动模型估计的精度越高,图像重建的效果就越好。当考虑到普遍的运动类型以及退化模型时,频率域方法仅能进行整体运动估计,
超高分辨率显微镜技术
超高分辨率显微镜技术 为了更好地理解生命过程和疾病发生机理，生物学研究需要观察细胞内器官等细微结构的精确定位和分布，阐明蛋白等生物大分子如何组成细胞的基本结构，重要的活性因子如何调节细胞的主要生命活动等，而这些体系尺度都在纳米量级，远远超出了常规的光学显微镜（激光共聚焦显微镜等）的分辨极限。为了解决生命科学研究面临的这一难题，超高分辨率显微技术应时而生，并且一经问世就得到了广泛的响应，2008年Nature Methods将这一技术列为年度之最。 为了达到纳米量级的分辨率和极快速的成像，超高分辨率显微镜引入了许多突破时代的创新技术，了解这些技术将带领我们走入超高分辨率显微镜的奇妙世界。 3D-SIM(结构照明技术): 荧光样品通过不同方向和相位的光源照射，并且在成像后利用特点的运算方法重构，产生突破光学极限的超高分辨率图像。 ●完全兼容现有荧光分子和荧光染料、不改变任何实验流程 ●轴向分辨率提高到80-120nm，空间分辨率提高到激光共聚焦显微镜观察极限的8 倍。 搭载3D-SIM技术的DeltaVision OMX超高分辨率显微镜已经成功运用到了很多样品，比如微生物、脊椎动物细胞、组织切片甚至整个胚胎等。大大提高的分辨率在鉴定和研究亚细胞结构中成效显著，比如对微管和肌动蛋白的观察中可以解析到单根微管纤维。 Monet (单分子成像与定位技术): 通过在极短时间内对单个或几个荧光分子的激发和获取发射光信号，上千次获取后重构图像，从而获得突破百纳米极限的超高分辨率图像。这种技术需要使用独特的光敏蛋白来做荧光染料，通过独特的算法可以分辨衍射极限上重叠的荧光团位置。 ●搭载PALM的DeltaVision OMX可在极短时间内完成图像获取和重构 ●能够处理极大密度的图像，使高浓度标记的和更高激活能量的样品的成像变成 可能。 超高速成像： 研究者对于成像速度进入“亚秒时代”的需求已经十分的迫切。以往的速度瓶颈主要在曝光时间以及CCD成像速度，利用高效光路和改进的新型照相机，大大提高了成像速度。
超分辨率
浅谈超分辨率 摘要：超分辨率图像重建是现在研究的一个热点，旨在实现由一系列低分辨率的图像得到一幅较高分辨率的图像。本文对超分辨率的概念，技术实现和应用场合都进行了基本的阐述。可以预见，超分辨率重建的应用前途十分广泛；其图像重建的实现、完成方法都将是我们今后研究的重点。 关键词：超分辨率，图像重建 一、引言 在数字图像采集的过程中，由于机器设备性能的限制以及拍摄条件的影响，会使采集到的图像分辨率较低。这样的图像比较模糊，对于后期的处理、应用有较大的影响，因此提高图像的分辨率是我们必须要解决的。提高分辨率最直接的方法当然是使用分辨率更高的设备，不过这存在两个问题：一是高分辨率的设备价格昂贵；二是每一种设备都存在着它的极限，受到硬件设备的限制很难得到真正高分辨率的图像。因此可以考虑采用软件的方法对图像的分辨率进行提高，这就是本文要讨论的超分辨率(SR:Super-Resolution)图像重建。 二、超分辨率的定义 低分辨率的图像包含的细节信息较少，但我们可以得到一系列低分辨率的图像，这些图像包含的部分细节信息各有不同，能够相互补充。通过这一系列低分辨的图像，经过一定的处理，可以得到一幅分辨率较高、包含信息较多的图像。这个处理过程就是超分辨率重建。超分辨率重建的核心思想就是用时间带宽（获取同一场景的多帧图像序列）换取空间分辨率，实现时间分辨率向空间分辨率的转换。 三、超分辨率的应用场景 超分辨率图像重建在现实生活中有十分广泛的用途。这里，我们列举了一些生活中用到的地方： 1）数字高清。在数字电视领域，可以利用超分辨率重建技术将数字电视（DTV）信号转化为高清晰度电视（HDTV）接收机相匹配的信号，从而提高观众的体验。 2）医学图像。在医疗中，高分辨率的医疗图像对于医生做出正确的诊断是非常有帮助的。 因此利用超分辨率重建得到更加清晰的图像，将会使医生治疗更加的准确、有效。 3）卫星图像分析。在军事、气象领域，使用高分辨率卫星图像就很容易地从相似物中区别相似的对象。因此可以利用超分辨率重建技术获得高分辨率的图像，更好的服务于军事安全和日常生活。 4）安全检测。银行、居民小区、道路口等都是需要安全检测的地方。虽然这些地方一般都会安装摄像头，但图像都非常模糊。利用超分辨率重建技术，将会帮助工作人员得到更
图像超分辨率重建--图像处理课程设计
目录 1 课程设计目的 (1) 2图像处理系统设计内容及要求 (2) 2.1设计内容 (2) 2.2设计要求 (2) 3 设计方案 (3) 4 功能模块的具体实现 (5) 4.1 空域插值放大的方法 (5) 4.1.1 最邻近插值算法 (5) 4.1.2 双线性插值算法 (6) 4.1.3 双三次插值算法 (7) 4.2 频域重建的方法 (8) 4.2.1 DCT变换的介绍 (8) 4.2.2 DCT放大图像放大算法原理 (8) 4.3 频域分块重建的方法 (10) 4.4 同态滤波器滤波处理 (11) 4.4.1 同态滤波器原理 (11) 4.4.2 同态滤波函数的确定 (12) 5 总结与体会 (14) 参考文献 (15) 附录 (16)
1课程设计目的 MATLAB7.0软件。MATLAB是由美国mathworks公司发布的主要面对科学计算、可视化以及交互式程序设计的高科技计算环境。它将数值分析、矩阵计算、科学数据可视化以及非线性动态系统的建模和仿真等诸多强大功能集成在一个易于使用的视窗环境中，为科学研究、工程设计以及必须进行有效数值计算的众多科学领域提供了一种全面的解决方案，并在很大程度上摆脱了传统非交互式程序设计语言的编辑模式，代表了当今国际科学计算软件的先进水平。通过用MATLAB 对图像进行处理，以实现以下目的。 1.培养严谨的科学态度，正确的设计思想，科学的设计方法和良好的工作作风。 2.培养独立思考的能力，独立检索资料、阅读文献、综合分析、计算机应用、数据及文字处理等能力。 3.培养综合运用基础理论、基本知识的能力。通过课程设计得到工程设计的初步锻炼。
光学仪器的分辨本领
第四章光学仪器的基本原理 ●学习目的 通过本章的学习，使得学生熟悉光学仪器的基本原理，掌握如何使用这些光学仪器，了解基本光学仪器的构造和原理以及正确的使用方法。 ●内容提要 1、掌握光学仪器的基本工作原理； 2、了解几何光学仪器的构造、使用方法； 3、了解助视仪器的分辨率； 4、光度学基础。 ●重点 1、光学仪器的基本工作原理； 2、几何光学仪器的构造、使用方法； 3、助视仪器的分辨率。 ●难点 1、光学仪器的基本工作原理； 2、助视仪器的分辨率。 ●计划学时 计划授课时间6学时 ●教学方式及教学手段 课堂集中式授课，采用多媒体教学。 ●参考书目 1、《光学教程》第三版姚启钧著，高等教育出版社，第四章 2、《光学》第二版章志鸣等编著，高等教育出版社，第三章 3、《光学原理》上册，玻恩，科学出版社，第三、四、五、六章
§4.1 几何光学仪器 一、人的眼睛 1. 眼球壁 主要分为外、中、内三层 外层由角膜、巩膜组成。 前1/6为透明的角膜，其余5/6为白色的巩膜，俗称“眼白”。眼球外层起维持眼球形状和保护眼内组织的作用。角膜是接受信息的最前哨入口。角膜是眼球前部的透明部分，光线经此射入眼球。角膜稍呈椭圆形，略向前突。横径为11.5—12mm ，垂直径约10.5—11mm 。周边厚约1mm ，中央 为0.6mm 。角膜前的一层泪液膜有防止角膜干燥、保持角膜平滑和光学特性的作用。 角膜含丰富的神经，感觉敏锐。因此角膜除了是光线进入眼内和折射成像的主要结构外，也起保护作用，并是测定人体知觉的重要部位。 巩膜为致密的胶原纤维结构，不透明，呈乳白色，质地坚韧。 中层又称葡萄膜，色素膜，具有丰富的色素和血管，包括虹膜、睫状体和脉络膜三部分。 虹膜：呈环圆形，在葡萄膜的最前部分，位于晶体前，有辐射状皱褶称纹理，表面含不平的隐窝。不同种族人的虹膜颜色不同。中央有一2.5-4mm 的圆孔，称瞳孔。 睫状体：前接虹膜根部，后接脉络膜，外侧为巩膜，内侧则通过悬韧带与晶体赤道部相连。 脉络膜：位于巩膜和视网膜之间。脉络膜的血循环营养视网膜外层，其含有的丰富色素起遮光暗房作用。 内层为视网膜，是一层透明的膜，也是视觉形成的神经信息传递的第一站。具有很精细的网络结构及丰富的代谢和生理功能。 视网膜的视轴正对终点为黄斑中心凹。黄斑区是视网膜上视觉最敏锐的特殊区域，直径约1-3mm ，其中央为一小凹，即中心凹。黄斑鼻侧约3mm 处有一直径为1.5mm 的淡红色区，为视盘，亦称视乳头，是视网膜上视觉纤维汇集向视觉中枢传递的出眼球部位，无感光细胞，故视野上呈现为固有的暗区，称生理盲点。 2. 眼内腔和内容物 眼内腔包括前房、后房和玻璃体腔。 眼内容物包括房水、晶体和玻璃体。三者均透明，与角膜一起共称为屈光介质。 房水由睫状突产生，有营养角膜、晶体及玻璃体，维持眼压的作用。 晶体为富有弹性的透明体，形如双凸透镜，位于虹膜、瞳孔之后、玻璃体之前。 玻璃体为透明的胶质体，充满眼球后4/5的空腔内。主要成分为水。玻璃体有屈光作用，也起支撑视网膜的作用。 3. 视神经、视路 视神经是中枢神经系统的一部分。视网膜所得到的视觉信息，经视神经传送到大脑。 视路是指从视网膜接受视信息到大脑视皮层形成视觉的整个神经冲动传递的径路。 4. 眼附属器 图4—1 眼睛的结构示意图