人脸图像超分辨率的自适应流形学习方法

第20卷第7期2008年7月

计算机辅助设计与图形学学报

JO U RN A L O F COM PU T ER -AID ED D ESIG N &COM P U T ER G RA PH ICS Vo l 120,N o 17

July,2008

收稿日期:2007-11-06;修回日期:2008-03-111基金项目:国家科技支撑计划重点项目(2006BAK07B04).张雪松,男,1977年生,博士研究生,工程师,主要研究方向为数字图像复原与超分辨率、模式识别、红外图像实时处理.江 静,女,1979年生,硕士,讲师,主要研究方向为数字图像处理.彭思龙,男,1971年生,博士,研究员,博士生导师,主要研究方向为小波分析、图像处理、视频增强、模式识别.

人脸图像超分辨率的自适应流形学习方法

张雪松1) 江 静2) 彭思龙

1)

1)(中国科学院自动化研究所国家专用集成电路设计工程技术研究中心 北京 100190)2)

(华北科技学院机械与电气工程系 北京 101601)(xuesong.zhang@https://www.wendangku.net/doc/4b13752770.html,)

摘要 样本规模与使用方法是基于学习的超分辨率中的一个重要问题.面向人脸图像超分辨率重建,提出一种基

于局部保持投影(L P P)的自适应流形学习方法.由于能够揭示隐含在高维图像空间中的非线性结构,L PP 是一种可以在局部人脸流形上分析其内在特征的、有效的流形学习方法.通过在L P P 特征子空间中动态搜索出与输入图像块最相似的像素块集合作为学习样本,实现了自适应样本选择,并且利用动态样本集合通过基于像素块的特征变换方法有效地恢复出低分辨率人脸图像中缺失的高频成分.实验结果证实:通过在局部人脸流形上自适应地选择学习样本,文中方法可以仅使用相对少量的样本来获得很好的超分辨率重建结果.关键词 人脸图像;超分辨率;局部保持投影;流形学习;非监督学习中图法分类号 T P391.4

Adaptive Manifold Learning Method for Face Hallucination

Zhang Xuesong 1) Jiang Jing 2) Peng Silong 1)

1)(National AS I C Desig n Eng inee ring Center ,Institute of A utomation,Chinese A cad emy of S cie nces ,B eij ing 100190)2)

(Dep artment of M ec hanic s and E lectricity En gineering ,N or th Ch ina I nstitu te of S cie nce and Te chnolog y ,B eij ing 101601)

Abstract T he size of training set as well as the usage thereof is an important issue of learning -based super -resolution.T his w or k presents an adaptive learning metho d for face hallucination using Locality Preserving Pr ojectio n (LPP).LPP is an efficient manifold learning m ethod that can be used to analy ze the lo cal intrinsic features on the manifold of local facial areas by virtue of its ability to reveal no n -linear structures hidden in the hig h -dim ensional image space.We fulfilled the adaptive sam ple selection by searching out patches online in the LPP sub -space,w hich makes the resultant training set tailor ed to the testing patch,and then effectively r estored the lo st hig h -frequency com ponents of the low -resolution face image by patched -based eig en transform ation using the dy namic training set.The ex perim ental r esults fully dem onstrate that the proposed m ethod can achieve goo d super -reso lution reconstruction perfo rmance by utilizing a relative small am ount o f samples.

Key words face im ag e;super -r esolutio n;lo cality preserv ing projections;m anifold learning;unsuperv ised learning

超分辨率是指根据多张低分辨率图像重建出高分辨率图像的过程,在不同的应用中,输入的低分辨率图像可以是某个静态场景的图像序列

[1-3]

(序列中

的图像间存在相对运动)或者是一段动态场景的视频[4-5].这些超分辨率方法通常是基于/重建约束0的:即认为低分辨率图像是待求高分辨率图像在不

同成像模型参数(几何变换、点扩散函数、下采样和成像噪声)下的观察值,高分辨率图像在一组合理的模型参数的作用下应该得到其中某一个观察值.由于这种基于重建约束的超分辨率问题在数学上是病态的,因此通常在贝叶斯框架下,通过加入某种关于高分辨率图像的先验信息来对该问题加以规则化,如高斯马尔科夫随机场(Gaussian M arko v random field),H uber M RF等.但这些先验信息都是关于高分辨率图像的平滑性先验约束,因此图像中的高频成分并不能得到较好恢复.

近年来,由于基于学习的超分辨率方法在高倍放大系数(4~16)下具备更强的高频信息恢复能力,因此它受到了研究人员广泛的关注.这种方法的基本原理是通过样本学习,为高-低分辨率图像对建立一个共生模型(直接存储为图像块,或者通过其他图像表达方式),进而为低分辨率图像/添加0出高频细节.Fr eeman等[6-7]应用马尔科夫网络来学习高-低分辨率图像对之间的关系,H ertzmann等[8]则通过多尺度自回归方法来获得图像对之间的局部相似性.但他们的方法只适用于普通图像的超分辨率问题,对于特定图像类的超分辨率问题(如人脸图像),如果能在特定图像域内充分挖掘先验知识,那么基于学习的超分辨率方法能获得更好的重建结果. Baker等[9-10]提出了一种专用于人脸图像的超分辨率方法)))Face H allucinatio n,通过利用以金字塔形式组织的正面人脸图像的梯度分布先验,在最大后验概率的框架下完成超分辨率重建;但由于重建过程是逐像素进行的,因此容易缺失一些人脸的全局性约束,如对称性和亮度的一致性等.Liu等[11]建立了一种两步重建方法:首先用一个全局参数模型根据低分辨率输入图像估计出高分辨率人脸图像,然后用一个局部非参数马尔科夫网络模型来补偿第一步中重建的高分辨率图像与原始高分辨率图像间的残差;但是第一步中的全局参数模型需要已知降晰函数,而且第二步中的马尔科夫网络也需要复杂的计算.在训练样本的特征脸子空间中,Wang 等[12]通过特征变换的方法重建高分辨率人脸图像,然而该方法只是应用全局线性拟合来完成重建,因此局部细节不清晰.黎智辉[13]结合了人脸图像全局特征相似性和局部特征相似性的约束,在不同尺度上利用局部相似性指导搜索最优解,然后将局部结构重建的人脸图像投影到由人脸图像确定的特征人脸空间.

上述基于学习的方法中存在一个共同问题:在样本学习过程中没有充分利用人脸图像的局部相似性.这里的局部有2层含义:1)从单张人脸图像来看,在一个局部邻域内,像素间的相关性较强,而不同区域间的相关性很弱;2)从人脸图像的总体来看,人脸图像除了公共特征外,不同类型的人脸还存在个体差异,这些差异仅存在于样本空间中的少数彼此相近的样本中.因此我们认为:一个好的样本学习方法应该能够根据输入的测试图像自适应地选择出与之相关的样本,并且利用这些样本中的相关区域动态地挖掘出局部像素块的本质特征.

将局部保持投影(locality preserving projections, LPP)与主成分分析(pr incipal com po nent analy sis, PCA)结合起来,本文提出了一种新的正面人脸图像超分辨率重建的自适应学习方法.首先利用图像插值方法将低分辨率图像插值到高分辨率图像网格上,这部分蕴含在低分辨率图像中的低频信息是可以通过插值技术精确再现的,不需要通过学习的方法来恢复;为了能够高效、快速地恢复出图像中缺失的高频成分,本文提出基于LPP的自适应样本选择学习,在人脸局部子流形上分析人脸图像局部结构的本质特征,选择出与输入图像块最相似的样本块作为学习样本集合,通过基于像素块的特征变换方法恢复出人脸图像中各个局部的高频信息;最后与插值出的低频图像一起合成出一幅高分辨率人脸图像.

1LPP

在计算机视觉、机器学习和数据挖掘等领域,研究人员通常都会遇到的一个问题是待处理数据位于一个高维数据空间中(d维),直接在这个高维空间中处理数据不仅在计算负荷上不可行,而且难于获得鲁棒的处理结果.通常的做法是使用空间维数约简技术,在一个低维空间中求解问题.最为常用的2项线性降维技术是PCA和线性判别分析(linear discr im inant analysis,LDA).PCA和LDA都属于特征向量方法,用于描述高维数据中的线性变化,当其被用来揭示数据的欧氏结构时是有效的.但是,如果数据本身来自于嵌入在高维嵌套空间中的一个低维非线性子流形时,上述方法就不能有效地揭示流形中蕴含的非线性结构,因此也就不适合这种情况下的探索性数据分析和模式聚类应用.

近年来,为探索流形上的非线性结构,人们提出了一些非线性技术,如Isom ap[14],LLE[15]和Laplacian Eigenmap[16]等.但是,最近的研究发现,

857

7期张雪松等:人脸图像超分辨率的自适应流形学习方法

尽管这些非线性降维技术在理论上可以发现复杂的低维嵌入,而且在人造测试数据上产生了很好的效果,但是在很多实际的应用中,这些计算负荷很大的非线性技术并没有取得比传统的线性技术(如PCA,LDA)更好的结果[17].限制这些非线性流形学习方法在实际的计算机视觉应用中得到推广的一个更大的障碍是:它们只能产生定义在训练数据点集上的维数约简映射,却不能为新的测试点建立映射关系.

LPP是一种新的线性维数约简技术[18],是对非线性的Laplacian Eigenm ap的线性逼近.LPP通过建立数据点集之间的邻接图来包含流形上局部邻域内的邻接信息,在邻接图/拉普拉斯化0之后,可以计算出一个变换矩阵来将高维数据点映射到一个低维子空间中.变换矩阵中的变换向量是流形上Laplace Beltrami算子的特征函数的离散最优线性逼近[16].

1.1LPP算法

设M是嵌套在高维空间R d中的流形,零均值数据点集x1,x2,,,x n I M,数据矩阵X=[x1,x2,,, x n].LPP的目的是寻找一个最优变换矩阵A,使得y i=A T x i,y i I R l,l n d,i=1,,,n,其中A要有局部保持能力,即如果x i和x j变换前是邻近的,则变换后y i和y j也是邻近的,并且是可区分的.A的最优局部保持能力是通过解最小化问题

a=arg min

a E ij (a T x i-a T x j)2W ij(1)

得到.其中,

W ij=ex p(-+x i-x j+2P t),+x i-x j+2

或者当x i属于x j的E邻域时,简单地令W ij=1,否则,W ij=0;E>0定义了局部邻域的半径;t为常数,可视具体应用而定.W=[W ij]n@n称为相似性矩阵, W ij=W ji,提供了局部保持约束,邻近的x i和x j被映射得很远时,W ij就是一个很大的惩罚因子.式(1)与如下问题同解:

1 2E

ij

(a T x i-a T x j)2W ij=E ij a T x i W ij x T i a-

E

ij

a T x i W ij x T j a=E i a T x i D ij x T i a-a T XWX T a=

a T XDX T a-a T X W X T a=a T X(D-W)X T a=a T XLX T a

(2)

其中,D为对角阵,D ii=E j W ij为W的列之和;L= D-W为拉普拉斯矩阵.由于XLX T为对称半正定矩

阵,故min

a a T XLX T a=0,为避免平凡解,加入约束

a T XDX T a=1;

则式(1)转化为

a=arg min

a

a T XDX T a=1

a T XLX T a.

因此,由拉格朗日乘子法,变换向量a是广义特

征值问题的

XDX T a=K XDX T a(3)

最小特征值解向量.

设前l个最小广义特征值对应的特征向量为

a1,a2,,,a l,则变换矩阵A=[a1,a2,,,a l]是个

d@l矩阵,y i=A T x i,y i I R l,l n d,i=1,,,n.

2人脸局部结构流形分析与聚类)))自适

应样本选择方法

近期的很多研究显示:不仅人脸图像位于一个

嵌套在高维图像空间中的子流形上[19-21],而且人脸

图像的局部区域也可以通过流形学习的方法分析其

内在结构特征[22-23].

算法1.基于块的流形学习方法

Step1.设有n对高频-低频图像对{h1:p1,h2:p2,,,

h n:p n}(具体生成方法见第4.1节).

Step2.提取n幅低频训练图像中的每一个对应位置上

的图像块p i k(k=1,,,n),以列向量方式构成样本集合P i=

[p i1,p i2,,,p i n],1[i[N,N为训练图像的分块数.

Step3.计算P i的L PP变换矩阵A i和映射数据矩阵

Y i=A T i P i(最小广义特征值问题式(3)可转化为一个实对称

矩阵的最大特征值问题[24].因此,L PP子空间的维数确定问

题可以转化为一个PCA子空间的维数确定问题).

Step4.对于输入的测试图像块q i,计算其低维特征

y in=A T i q i.

Step5.在Y i中按欧氏距离选择与y i in最相近的低维特

征集合{y i j

1

,y i j

2

,,,y i j

s

},j k I1,,,n;1[k[s.与{y i j

1

,y i j

2

,

,,y i j

s

}相对应的图像块对{h i j

1

:p i j

1

,h i j

2

:p i j

2

,,,h i j

s

:p i j

s

}作

为一个训练集合,用于恢复低频图像块q i中缺失的高频信

息h i(通过特征变换方法,见第3节).选择出的样本数s由

聚类算法动态决定.

上述基于人脸图像块的流形学习方法必须要回

答2个问题:1)在低维特征空间中选择出的学习样

本是否与从原始高维图像空间中选择出的样本一

致?2)低分辨率流形上样本的分布是否与高分辨

率流形上样本的分布一致?对这2个问题的肯定回

答是本文中的人脸超分辨率重建方法的基石.

如第1.1节中所述,与PCA等线性降维方法不

同,LPP的局部保持能力使它很适合于快速局部相似

样本搜索工作:在低维的LPP空间中搜索到的相似

858计算机辅助设计与图形学学报2008年

样本,与在高维原始数据空间中搜索的结果是基本一致的;但是每次比较时处理的数据规模却大为降低.

图1的实验表明:在高-低分辨率流形上,人脸图像块的分布也是一致的.不论是总体几何结构还是局部拓扑关系,图1c和1d中的像素块的二维LPP投影分布基本是一致的(实验表明,该块合适的LPP投影维数应为6,为显示方便进一步缩减为二维,但仍可看出二者分布上的一致性

).

图1白色方框所示像素块降晰前后的二维L PP投影

这种基于LPP的自适应样本选择方法的优点

就在于更快速的样本选择能力和更好的学习效果.

同时,与全局人脸图像流形学习相比,基于局部图像

块的方法更能稳定地获得各个局部区域的结构特

征,而且仅需要相对少量的样本就可以获得较好的

学习效果.

3基于特征变换的超分辨率重建

假设对于输入的降晰图像块q i,已经由第2节

中的自适应样本选择方法选出s对与之相似的样本

对S={h i j

1

:p i j

1

,h i j

2

:p i j

2

,,,h i j

s

:p i j

s

},超分辨率的任

务是根据q i和S恢复出高频信息h i.由第2.1节

可知,LPP的变换向量是广义特征值问题式(3)的

广义特征向量,它们是按矩阵XDX T标准正交的,

即a T i(XDX T)a j=

0,i X j

1,i=j

;因此LPP不能生成

从低维投影空间到高维原始空间的逆映射,这是与

线性PCA不同的.为解决这个问题,文献[25]应用

线性输出的Radial Basis Function方法来建立低维

的图像特征与原始图像间的连接关系,但是由于变

换矩阵W的计算负荷较大,W是通过离线训练的方

法确立的,这并不适用于本文中的动态样本选择方

案.受文献[12]的启发,我们提出基于特征变换的高

频信息重建方法.

3.1基于特征变换的高频信息重建

通常,图像降晰模型可描述为

g=(|M)B f+n(4)

其中,g为低分辨率图像;f为原始高分辨率图像;B

为点扩散函数;(|M)表示作M倍抽取;n为加性

噪声,通常假设为零均值高斯噪声.对式(4)两边先

作M倍插值({M),再用滤波器L作低通滤波以去

除下采样引起的频谱混叠,则有

L({M)g=L({M)(|M)B f+({M)(L n)

(5)

由多抽样率信号处理理论[26],L({M)(|M)构成

一个M倍抽取-插值系统:1)若B f的频谱局限于

(-P P M,P P M),2)若L能够选择出(|M)B f在频

域的一个周期,即L的频域支集为(-P P M,P P M);

则L({M)(|M)B f=B f.当然,这2个假设只是

近似成立,但是误差可以通过下面的高频-低频图像

对的特征变换得到一定补偿.进一步地,假设n的频

谱位于L的阻带内,即L n=0,则式(5)简化为

L({M)g U B f.

B f是f被B模糊化后的低频信息,将f分解为低

频信息与高频信息之和

f=B f+(I-B)f=f L+f H U

L({M)g+(I-B)f(6)

其中I为恒等变换.设有n幅高分辨率训练图像t1,

t2,,,t n,按式(6)将其分解为低频训练图像l1,l2,

859 7期张雪松等:人脸图像超分辨率的自适应流形学习方法

,,l n 和对应的高频训练图像h 1,h 2,,,h n .令T =[t c 1,t c 2,,,t c n ]=[t 1-m ,t 2-m ,,,t n -m ],其中m =1

n

E

n

i=1

t i .对3应用PCA 方法,有

TT T V =V +,

其中,V 是特征向量矩阵,+为特征值矩阵.f 在V 上的投影为

X =V T (f -m ).由V 重建的f 为

f =V X +m =TT T V +-1

X +m =

Tc +m =

E n

i=1

c i t c i

+

m

(7)

其中c =T T

V +

-1

X =[c 1,c 2,,,c n ]T

.式(7)表明,重

建图像f ^

是n 幅高分辨率训练图像的最优线性组合.因为B t i =l i ,所以B m =m L ,B t c i =l c i ,其中m L =1n

E

n

i=1

l i ,l c i =l i -m L .由式(7)有f

^

L

=B f ^

=

E

n

i=1

c i B t c i +B m =

E

n

i=1

c i l c i +m L

f ^

H =(I -B)f ^

=E

n

i=1

c i (I -B)t c i +

(I -B)m =

E

n

i=1

c i h c

i +m H (8)

其中,h c i =h i -m H ,m H =

1n

E

n

i=1

h i .式(8)表明,f

的重建图像f ^

中的低频部分f ^

L 与高频部分f ^

H 的重建系数向量c 是相同的.实际应用时,由于f 是未知的,不能直接通过高分辨率训练图像t 1,t 2,,,t n 确定c ,但可以通过L ({M )g 和l 1,l 2,,,l n 用PCA 方法计算c .

3.2 人脸图像块的超分辨率重建与合成

与整张人脸图像的直接全局重建[12,27-28]

相比,首先恢复局部高频信息,再合成为整张图像的方法[6,20,23]有2个优势:1)更容易探索人脸局部的结构特征;2)块中的像素数远远小于整张图像的像素数,由于样本数是一定的,局部学习的方法更能充分挖掘出样本中的内在多样性,因此有更高的学习效率.本文采用的单独学习高频信息的方法还有另外一个优点:高频图像块中不包含低频信息,其PCA 子空间的基向量不受来自低频信息的干扰.

基于块的重建方法需要解决的一个问题是保证

相邻块之间的一致性.为此,

文献[6-7,11]应用计算马尔科夫网络相邻结点间的相容性函数的方法来约束相邻像素块之间的一致性.由于马尔科夫网络的

计算量很大,本文对相邻块间的重叠区域取算术平均.每一个n @n 的像素块与相邻的8个像素块重叠,而且每个像素块的1P 4区域都被相邻的4个像素块覆盖(n 为偶数,本文中取12,所有剩余的像素构成一个边缘块),图2所示为相邻块的重叠情况.通过对像素块的重叠区域取平均,得到最终的高频图像f ^H ,最后与插值出的低频图像f ^L 相加得到重建图像f ^.图3所示为是否采用算术平均的效果比较,显然这种操作更能保证视觉上的一致性.

图2 像素块的重叠与合成

图3 平均运算的平滑作用

4 实验结果与分析

4.1 人脸图像库

本文实验所使用的训练图像来自AR [29],BioID 1,IMM [30]

和Caltech [31]

.我们选择出了166幅正面无表情图像,其中有43人戴眼镜.通过手工选取21个特征点的方法将每幅图像调整为如图4所示的标准人脸图像,每幅图像为96@128大小的灰度图.为了去除不同人脸图像库之间的对比度差异,图像经过了直方图均衡化处理,这样就得到高分辨率图像训练样本,对应的低分辨率版本经过高斯低通滤波和4倍下采样得到.最后通过低分辨率图像的三次B 样条

860

计算机辅助设计与图形学学报 2008年

1http:P P w https://www.wendangku.net/doc/4b13752770.html, P downloads P facedb P index.php

插值和低通滤波得到训练图像的低频成分,而对应的高频成分由高分辨率图像与低频成分求差得到

.

图4标准人脸图像及其特征点

4.2重建效果比较?:局部重建与全局重建

为了验证基于块的超分辨率重建是否比全局重建学习效率更高,我们实现了文献[12]的基于全局特征变换的人脸图像超分辨率重建方法.图5所示为使用本文方法与文献[12]算法的重建效果比较.可以看出,当训练样本不充分大时,使用文献[12]算法得到的超分辨率人脸图像在视觉上显得非常杂乱,而本文方法的效果则更令人满意,这主要是由于局部学习的方法更能充分挖掘出样本中的内在多样性,因此有更高的学习效率.

为了对全局重建与局部重建的效果给出一个量化比对,对每一幅测试图像,图6中分别给出了这2种方法的重建均方根误差.

这个实验证实:本文方法有着更高的学习效率和更好的超分辨率重建效果

.

图52

种方法比较

图62种方法的均方根误差

4.3重建效果比较ò:自适应样本选择、随机样本

选择与使用全体样本

样本的数量和多样性对基于学习的超分辨率重建的结果有很大影响,但是否样本数量越多重建效果就越好?是否有可能用相对少量的样本就能获得较好的重建效果呢?本文实验中分别使用了基于LPP的自适应选择样本、随机选择样本和全体样本,图7所示为重建效果的比较.我们首先统计出使用本文提出的自适应样本选择方法所选择出的平均样本数,再随机选择出相同数量的样本完成重建,最后使用所有样本.

表1所示为3种样本选择方法的一些统计数据,其中包括每个像素块(12@12)的PCA子空间的平均维数(所选最大特征值之和占全部特征值和的99.99%).

表13种样本选择方法的平均重建时间1与平均RMSE

平均样本数

平均时间

P s

平均

RM SE

像素块PCA

子空间平均维数自适应样本9410.77.159

随机样本949.27.450

全体样本16616.47.058

861

7期张雪松等:人脸图像超分辨率的自适应流形学习方法

1算法以Matlab实现,运行于1.8GHz CPU,256M B RAM的PC

机上

图7不同样本选择方法的重建效果比较

从图7和表1中可以看出:本文方法的重建效果明显好于随机样本的重建效果,而与使用全体样本的结果几乎相同,但计算时间减少近55%.需要指出两点:1)由于自适应样本选择方法中LPP系数的平均长度仅为6.7,因此对LPP系数的最邻近搜索只占像素块重建运算的很小一部分;2)自适应样本选择方法在拥有大量样本(如5000幅人脸图像以上)时会显示出更大的优势,因为我们总是可以动态地选择出适当数量的最相似样本用于重建,而如果使用全体样本,这种大规模样本的学习只能使用Iterativ e Ker nel PCA[28]方法离线计算,这显然就丧失了自适应样本选择的能力.

在图5,7的最后一行还给出了2个戴眼镜的低分辨率人脸的超分辨率重建结果,虽然低分辨率人脸中很难辨认出眼镜的存在,但是本文方法也能合成出比较接近于原始图像的结果,而对于其他没戴眼镜的低分辨率测试图像,并没有错误地添加上眼镜,这与全局图像重建和使用随机样本的重建结果所带来的/眼镜效应0明显不同,又一次体现出了自适应样本选择的优势.需要进一步指出的是,本文方法是根据低分辨率输入图像来忠实地恢复出眼镜(如果在原始高分辨率图像中确实存在),这与文献[12,25]中使用全部戴眼镜的人脸训练图像来为不戴眼镜的输入图像/添加0上眼镜的例子有本质不同,因此本文方法能够更为客观地根据输入的低分辨率图像来重构出其高分辨率版本.

实验表明:本文方法可以通过有效地选择出相对少量的样本来获得很好的超分辨率重建结果.

5结论

流形学习是一种新的维数约简技术,因其能够有效地挖掘出高维数据空间中的非线性结构,近年来在计算机视觉和模式识别领域受到了广泛的关注和研究.本文提出了一种正面人脸图像超分辨率重建的自适应学习方法,主要贡献在于:1)认为人脸图像的高频信息通常是在局部存在微妙变化的,这些局部细微变化的总体最终构成了人脸多样性的基础,并且对人类视觉产生很大影响.为了发现这些局部变化的本质,本文应用LPP在人脸局部子流形上分析人脸图像的局部结构特征,实验证明了基于局部的学习比全局学习能够更加有效地恢复出低分辨率图像中所缺失的高频信息.2)在LPP特征空间中动态搜索出与输入图像块最相似的像素块集合作为学习样本,即自适应学习样本选择,实验证明可以仅通过选择出的少量样本学习来获得较好的重建效果,这种能力对于大样本的情况是至关重要的.

862计算机辅助设计与图形学学报2008年

参考文献

[1]H ardie R C,Barnard K J,Arm strong E E.Joint M AP

r egistration and hig h-r esolution imag e estimation using a

s equence of u nders am pled images[J].IEEE T rans actions on

Image Processing,1997,6(12):1621-1633

[2]E lad M,Feuer A.Su per-resolution reconstru ction of image

s equences[J].IEE E T ransactions on Pattern An aly sis and

M achine Intelligen ce,1999,21(9):817-834

[3]E lad M,Feuer A.Restoration of a single su perresolution

im age from several blu rred noisy and undersampled meas ured

im ages[J].IEEE T ran saction s on Image Processing,1997,

6(12):1646-1658

[4]Patti A J,Sezan I,Tekalp A M.Su perresolution video

r econs truction w ith arbitrary sam pling lattices and n on zero

apertu re time[J].IEEE T ransactions on Image Processing,

1997,6(8):1064-1076

[5]S chultz R R,Stevens on R L.Extraction of highresolution

frames from video sequen ces[J].IEEE T ransactions on

Image Processing,1996,5(6):996-1011

[6]Freem an W T,J on es T R,Pasztor E C.Ex ample-based

s uper-resolution[J].IEE E Computer Grap hics and

Ap plication s,2002,22(2):56-65

[7]Freem an W T,Pasztor E C,Carmichall O T.Learning low-

level vision[J].In ternational J ou rnal of C om puter Vision,

2000,40(1):25-47

[8]H ertz man n A,Jacobs C E,Oliver N,et al.Image analogies

[C]P P Computer Graph ics Proceedin gs,Annu al C on feren ce

S eries,ACM SIGGRAPH,Los Angeles,2001:327-340 [9]Baker S,Kanade T.Hallucinating faces[C]P P Proceedings of

th e4th International Conference on Automatic Face and

Gesture Recognition,Wash ington D C,2000:83-89

[10]Baker S,Kanade T.Lim its on su per-resolution and h ow to

b reak th em[J].IEEE T ran saction s on Pattern Analysis and

M achine Intelligen ce,2002,24(9):1167-1183

[11]Liu C,S hum H Y,Freeman W T.Face hallucination:

th eory and practice[J].International Journ al of C om puter

Vision,2007,75(1):115-134

[12]W an g X G,Tang X O.H allucinating face by eigen

transformation[J].IEEE Transactions on Sys tems,M an,

and Cybernetics,Part-C,2005,35(3):425-433

[13]Li Zh ihui.Hum an face su per-resolution m ethod based on

train-database[D].Beijing:Gradu ate University of C hinese

Academy of Sciences,2007(in Chin ese)

(黎智辉.基于样本学习的图像超分辨率方法研究[D].北

京:中国科学院研究生院,2007)

[14]T en enbaum J B,de Silva V,Langford J C.A global

geometric fram ew ork for nonlin ear dimen sionality r eduction

[J].S cien ce,2000,290(5500):2319-2323

[15]Row eis S T,S au l L K.Nonlin ear dimensionality r eduction

b y locally lin ear embedding[J].Science,2000,290(5500):

2323-2326

[16]Belkin M,Niyogi https://www.wendangku.net/doc/4b13752770.html,placian eigenmaps and s pectral

techniqu es for embedding and clustering[C]P P Proceedings of

Advances in Neu ral Information Pr ocess ing Systems,

Vancou ver,2004,2002:585-591[17]van der M aaten L J P,Postma E O,van den H erik H J.

Dim ens ion ality redu ction:a comparative review[OL].

[2007-11-05].http:P P w w w.cs.u nimaas.nl P l.vanderm aaten P

dr P DR_draft.pdf

[18]H e X F,Niyogi P.Locality preserving projections[C]P P

Proceedings of Advances in Neural Inform ation Process ing

Systems,Van couver,2003:327-334

[19]Chang Y,H u C,T urk M.M an ifold of facial expression[C]

P P Proceedings of the IE EE International Works hop on

Analysis and M odeling of Faces and Ges tu res,Nice,2003:

28-35

[20]Chang H,Yeu ng D Y,Xiong Y M.S uper-resolution thr ou gh

neighbor embedding[C]P P Proceeding s of the IEE E Computer

Society C on ference on Computer Vis ion and Pattern

Recognition,Washin gton D C,2004:275-282

[21]H e X F,Yan S C,H u Y X,et a l.Face recognition us ing

Laplacian faces[J].IEEE Trans actions on Pattern Analysis

an d M ach ine Intelligence,2005,27(3):328-340

[22]Lawr ence K S,Roweis S T.T hink globally,fit locally:

uns upervis ed learnin g of low dim ension al manifolds[J].

Journ al of M achine Learn ing Res earch,2003,4(6):119-155 [23]Park S W,Savvides M.Breaking th e limitation of manifold

an aly sis for su per-resolution of facial images[C]P P

Proceedings of the IEEE International Conferen ce on

Acous tics,Speech and S ignal Processin g,H onolulu,2007,

1:573-576

[24]H e X F.Locality preservin g projections[D].Chicago:

University of Chicago,2005

[25]Zhuan g Y T,Zhang J,W u F.H allucinating faces:LPH

sup er-res olution and n eighb or recon struction for residue

compensation[J].Pattern Recognition,2007,40(11):

3178-3194

[26]Zong Kongde.M ult-i rate sampling signal processing[M].

Beijin g:T singh ua University Press,1996(in Chinese)

(宗孔德.多抽样率信号处理[M].北京:清华大学出版社,

1996)

[27]Chakrabarti A,Rajagopalan A N,C hellappa R.Su per-

resolution of face images usin g kernel PC A-based prior[J].

IEEE Trans actions on M ultim edia,2007,9(4):888-892 [28]Kim K I,Franz M O,S chêlk opf B.Iterative kernel prin cipal

component analysis for im age m od eling[J].IE EE

T rans action s on Pattern Analysis and M achine In telligence,

2005,27(9):1351-1366

[29]M artinez A,Benavente R.T he AR face database[R].West

Lafayette:Purdue U nivers ity,1998

[30]Stegm ann M B.An aly sis and segmentation of face images

usin g point annotations and linear s ubspace techniques[R].

Anker En gelun dsvej:T echnical Un iversity of Den mark,

IM M-REP-2002-22,2002

[31]Li F F,Fergus R,Perona P.Learn ing generative visual

models from few tr ainin g exam ples:an in crem ental Bayesian

approach tested on101ob ject categories[C]P P Proceedin gs of

the IEEE Conference on Computer Vision and Pattern

Recognition Work shop,Washington D C,2004:178-178

863

7期张雪松等:人脸图像超分辨率的自适应流形学习方法

超分辨率图像重建方法综述_苏衡

第39卷第8期自动化学报Vol.39,No.8 2013年8月ACTA AUTOMATICA SINICA August,2013 超分辨率图像重建方法综述 苏衡1,2周杰1张志浩1 摘要由于广泛的实用价值与理论价值,超分辨率图像重建(Super-resolution image reconstruction,SRIR或SR)技术成为计算机视觉与图像处理领域的一个研究热点,引起了研究者的广泛关注.本文将超分辨率图像重建问题按照不同的输入输出情况进行系统分类,将超分辨率问题分为基于重建的超分辨率、视频超分辨率、单帧图像超分辨率三大类.对于其中每一大类问题,分别全面综述了该问题的发展历史、常用算法的分类及当前的最新研究成果等各种相关问题,并对不同算法的特点进行了比较分析.本文随后讨论了各不同类别超分辨率算法的互相融合和图像视频质量评价的方法,最后给出了对这一领域未来发展的思考与展望. 关键词超分辨率图像重建,计算机视觉,图像处理,方法综述 引用格式苏衡,周杰,张志浩.超分辨率图像重建方法综述.自动化学报,2013,39(8):1202?1213 DOI10.3724/SP.J.1004.2013.01202 Survey of Super-resolution Image Reconstruction Methods SU Heng1,2ZHOU Jie1ZHANG Zhi-Hao1 Abstract Because of its extensive practical and theoretical values,the super-resolution image reconstruction(SRIR or SR)technique has become a hot topic in the areas of computer vision and image processing,attracting many researchers attentions.This paper categorizes the SR problems according to their input and output conditions into three main cat-egories:reconstruction-based SR,video SR and single image SR.For each category,the development history,common algorithm classes and state-of-the-art research achievements are reviewed comprehensively.We also analyze the charac-teristics of di?erent algorithms.Afterwards,we discuss the combination of di?erent super-resolution categories and the evaluation of image and video qualities.Thoughts and foresights of this?eld are given at the end of this paper. Key words Super-resolution image reconstruction,computer vision,image processing,survey Citation Su Heng,Zhou Jie,Zhang Zhi-Hao.Survey of super-resolution image reconstruction methods.Acta Auto-matica Sinica,2013,39(8):1202?1213 超分辨率图像重建(Super resolution image re-construction,SRIR或SR)是指用信号处理和图像处理的方法,通过软件算法的方式将已有的低分辨率(Low-resolution,LR)图像转换成高分辨率(High-resolution,HR)图像的技术.它在视频监控(Video surveillance)、图像打印(Image printing)、刑侦分析(Criminal investigation analysis)、医学图像处理(Medical image processing)、卫星成像(Satellite imaging)等领域有较广泛的应用. 收稿日期2011-08-31录用日期2013-01-29 Manuscript received August31,2011;accepted January29, 2013 国家自然科学基金重大国际(地区)合作研究项目(61020106004),国家自然科学基金(61005023,61021063),国家杰出青年科学基金项目(61225008),教育部博士点基金(20120002110033)资助 Supported by Key International(Regional)Joint Research Pro-gram of National Natural Science Foundation of China(6102010 6004),National Natural Science Foundation of China(61005023, 61021063),National Science Fund for Distinguished Young Scholars(61225008),and Ph.D.Programs Foundation of Min-istry of Education of China(20120002110033) 1.清华大学自动化系北京100084 2.北京葫芦软件技术开发有限公司北京100084 1.Department of Automation,Tsinghua University,Beijing 100084 2.Beijing Hulu Inc.,Beijing100084 超分辨率问题的解决涉及到许多图像处理(Im-age processing)、计算机视觉(Computer vision)、优化理论(Optimization problem)等领域中的基本问题[1],例如图像配准(Image registration)、图像分割(Image segmentation)、图像压缩(Image com-pression)、图像特征提取(Image feature extrac-tion)、图像质量评价(Image quality estimation)、机器学习(Machine learning)、最优化算法(Opti-mization algorithm)等,超分辨率是这些基本问题的一个具体应用领域,同时也对它们的研究进展起到了推动的作用.因此超分辨率问题本身的研究具有重要的理论意义.目前超分辨率问题已经成为相关研究领域的热点之一. 在上世纪80～90年代,就有人开始研究超分辨率图像重建的方法,1984年Tsai的论文[2]是最早提出这个问题的文献之一.在这之后有很多相关的研究对超分辨率的问题进行更加深入的讨论.有关超分辨率问题的研究成果,在计算机视觉、图像处理与信号处理领域的顶级会议和期刊都有大量收录. 1998年,Borman等[3]发表了一篇超分辨率图像重建的综述文章.2001年,Kluwer出版了一本详细介

超分辨率算法综述

超分辨率复原技术的发展 The Development of Super2Re solution Re storation from Image Sequence s 1、引言 在图像处理技术中,有一项重要的研究内容称为图像融合。通常的成像系统由于受到成像条件和成像方式的限制,只能从场景中获取部分信息,如何有效地弥 补观测图像上的有限信息量是一个需要解决的问题。图像融合技术的含义就是把相关性和互补性很强的多幅图像上的有用信息综合在一起,产生一幅(或多幅) 携带更多信息的图像,以便能够弥补原始观测图像承载信息的局限性。 （图象融合就是根据需要把相关性和互补性很强的多幅图象上的有用信息综合在一起,以供观察或进一步处理,以弥补原始单源观测图象承载信息的局限性,它是一门综合了传感器、图象处理、信号处理、计算机和人工智能等技术的现代高新技术,于20 世纪70 年代后期形成并发展起来的。由于图象融合具有突出的探测优越性,在国际上已经受到高度重视并取得了相当进展,在医学、遥感、计算机视觉、气象预报、军事等方面都取得了明显效益。从图象融合的目标来看,主要可将其归结为增强光谱信息的融合和增强几何信息的融合。增强光谱信息的融合是综合提取多种通道输入图象的信息,形成统一的图象或数据产品供后续处理或指导决策,目前在遥感、医学领域都得到了比较广泛的应用。增强几何信息的融合就是从一序列低分辨率图象重建出更高分辨率的图象(或图象序列) ,以提 高图象的空间分辨率。对图象空间分辨率进行增强的技术也叫超分辨率 (super2resolution) 技术,或亚像元分析技术。本文主要关注超分辨率(SR) 重建技术,对SR 技术中涉及到的相关问题进行描述。） （我们知道,在获取图像的过程中有许多因素会导致图像质量的下降即退化,如 光学系统的像差、大气扰动、运动、离焦和系统噪音,它们会造成图像的模糊和变形。图像复原的目的就是对退化图像进行处理,使其复原成没有退化前的理想图像。按照傅里叶光学的观点,光学成像系统是一个低通滤波器,由于受到光学衍射的影响,其传递函数在由衍射极限分辨率所决定的某个截止频率以上值均为零。显然,普通的图像复原技术如去卷积技术等只能将物体的频率复原到衍射极

视频监控中低分辨率人脸识别

视频监控中低分辨率人脸识别 发表时间：2019-01-02T16:19:32.767Z 来源：《知识-力量》2019年3月中作者：王鑫汪国强 [导读] 针对视频监控中的低分辨率识别问题，本文介绍了研究现状和存在的问题，对于传统LR人脸识别算法作了详细的介绍。然后针对传统研究算法存在的问题与不足 （黑龙江大学，黑龙江哈尔滨 150000） 摘要：针对视频监控中的低分辨率识别问题，本文介绍了研究现状和存在的问题，对于传统LR人脸识别算法作了详细的介绍。然后针对传统研究算法存在的问题与不足，又介绍了目前研究最火热的基于深度学习的超分辨率重建人脸识别算法并对未来的发展趋势作了简单的叙述。 关键词：深度学习；人脸识别；超分辨率；监控视频 1.前言 随着“平安城市”、“智慧城市”等国家政策的提出，安防受到全面重视。而“雪亮工程”、“天网工程”更是偏重于以视频监控系统为基础，从人体固有特征出发，对个人身份进行认证鉴定。人脸作为最重要的身份特征之一，具有非接触、非侵犯性等优点，与监控视频中监控对象非接触的特点相契合，因此监控视频中人脸识别获得了快速的发展。 2.存在的问题和研究现状 视频监控中的人脸识别技术，与传统的对静态图像的人脸识别不同，不是人脸迎合摄像头，而是由摄像头来捕捉人脸。监控系统是在非约束状态进行人脸采集的，易受光照、所处人群、角度、环境、表情姿态等因素的影响，多数是模糊的、质量偏低的、低分辨率的，这造成了数据库中的正面高清图像与监控系统获取的真实画面存在较大的差异。因此要想达到比较好的识别效果，人脸识别技术首要解决的问题就是这个问题，即低分辨率人脸识别问题。 目前业内一般把低分辨率人脸识别分为两种：一种是直接方法，即分辨率稳健特征表达方法，另一种方法是间接的方法，即对低分辨率样本进行超分辨率重建，得到含有较多特征信息的高分辨率图像，然后再使用常规人脸识别方法进行识别。 3.传统低分辨率人脸识别 LR人脸识别与SR人脸识别过程类似，分别对基准集和测试集样本提取分辨率稳健特征，对所提取特征进行比较，得出身份判定结果。与SR图像不同之处在于维度的不匹配，所以传统的解决思路又三种： 3.1 上采样 即图像插值，如最近邻插值、双三次等。对LR图像进行上采样操作，即在现有的人脸信息上拟合新的像素点，使其变换成与参考图像具有相同尺寸的高分辨率图像，然后再提取特征，利用传统人脸识别方法进行分类识别。 3.2 下采样 即图像缩小，将SR图像下采样到和待识别LR图像一样的尺寸大小，再提取特征，直接和LR待识别图像提取的特征进行匹配，虽然解决了维度不匹配问题，不会产生噪声，但会减少鉴别性的人脸信息。 3.3 统一特征空间 即中间分辨率空间。对SR图像进行特征降维，LR图像进行特征扩展，映射到同一特征空间中。统一特征空间直接解决特征维度不匹配问题，但最优的非线性耦合映射并没有较好的方法直接获取，由于是从两端的样本集同时向统一空间映射，复杂的变换会带来新的干扰。 4.超分辨率重建的低分辨率人脸识别 图像超分辨率（super resolution,SR）技术旨在提高低分辨率（low resolution,LR）图像的分辨率，同时最小化附加视觉伪影，人脸超分辨率重建，也称为“人脸幻想”。主要有基于插值、重建、学习的三种重建算法。 4.1 基于插值的重建方法 该方法主要有最近邻插值、双线性插值以及三次插值等方法，理论依据是假设图像为连续的，那么图像新增位置的像素可以通过相邻像素值计算得出，从而实现图像的超分辨率重建。该类方法只是增加了图像像素的个数，而没有增加额外的高频信息，因此图像的质量不是太高。 (1)最近邻插值 最近邻插值法是最简单的灰度值插值，将变换后的图像中的原像素点最邻近像素的灰度值赋给原像素点。 (2)双线性插值 在x,y方向上分别进行一次线性插值，对目标图像（x,y）先通过最近邻插值映射到源图的（X+u,Y+v）,u、v是小数部分，由于图像坐标都为整数，因此上述点不存在，所以取其附近四个领域点（X,Y）、（X,Y+1）、（X+1,Y）、（X+1,Y+1）的像素值，进行权值计算，得到目标图像（X,Y）处的像素值达到重建的目的。 （3）双三次插值 对周边16个点进行插值运算，具体可描述为目标图像（X,Y）坐标先映射到源图像的坐标（X+u,Y+v）,接着找到该点最近的16个像素点将每个点的像素值按照不同的权值求和即得到待插值点的像素值。 4.2 基于重建的重建方法 其原理是通过观测LR样本来实现对SR的约束。通常用未知HR的先验知识作为正则化项来规范SR重建这个病态问题的解，确定性和随机方法是实现正则化的两种不同方式。 (1)最大后验概率算法（MAP） 该算法先给图像一个先验模型，模型由马尔可夫随机场确定，接着根据LR图像系列，实现目标SR图像达到最大后验概率。一般分为三个步骤：一、用两个随机的过程分别表示输入的LR和SR图像；二、接着使SR图像的后验概率值最大值；三、将后验概率的最大值公式按照

图像超分辨率重建

收稿日期：２００８唱０８唱２１；修回日期：２００８唱１０唱２８ 作者简介：王培东（１９５３唱），男，黑龙江哈尔滨人，教授，硕导，ＣＣＦ会员，主要研究方向为计算机控制、计算机网络、嵌入式应用技术；吴显伟（１９８２唱），男（回族），河南南阳人，硕士，主要研究方向为计算机控制技术（ｗｕ＿ｘｉａｎｗｅｉ＠１２６．ｃｏｍ）． 一种自适应的嵌入式协议栈缓冲区管理机制 王培东，吴显伟 （哈尔滨理工大学计算机科学与技术学院，哈尔滨１５００８０） 摘　要：为避免创建缓冲区过程中必须指定大小和多次释放而导致可能的内存泄露和代码崩溃的弊端，提出一种自适应的嵌入式协议栈的缓冲区管理机制ＡｕｔｏＢｕｆ。它是基于抽象缓冲区接口而设计的，具有自适应性，支持动态内存的自动分配与回收，同时实现了嵌入式ＴＣＰ／ＩＰ协议栈各层之间的零拷贝通信。在基于研究平台Ｓ３Ｃ４４Ｂ０Ｘ的Ｗｅｂｓｅｒｖｅｒ网络数据监控系统上的测试结果表明，该缓冲区的设计满足嵌入式系统网络通信的应用需求，是一种高效、可靠的缓冲区管理机制。 关键词：嵌入式协议栈；抽象缓冲区；零拷贝；内存分配 中图分类号：ＴＰ３１６ 文献标志码：Ａ 文章编号：１００１唱３６９５（２００９）０６唱２２５４唱０３ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１唱３６９５．２００９．０６．０７７ Ｄｅｓｉｇｎａｎｄｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆａｄａｐｔｉｖｅｂｕｆｆｅｒｆｏｒｅｍｂｅｄｄｅｄｐｒｏｔｏｃｏｌｓｔａｃｋ ＷＡＮＧＰｅｉ唱ｄｏｎｇ，ＷＵＸｉａｎ唱ｗｅｉ （ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，ＨａｒｂｉｎＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，Ｈａｒｂｉｎ１５００８０，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｏａｖｏｉｄｔｒａｄｉｔｉｏｎａｌｍｅｔｈｏｄｏｆｃｒｅａｔｉｎｇｂｕｆｆｅｒ，ｗｈｉｃｈｍｕｓｔｈａｖｅｔｈｅｓｉｚｅｏｆｂｕｆｆｅｒａｎｄｆｒｅｅｍｅｍｏｒｙｆｏｒｍａｎｙｔｉｍｅｓ，ｗｈｉｃｈｗｉｌｌｒｅｓｕｌｔｉｎｍｅｍｏｒｙｌｅａｋｓａｎｄｃｏｄｅｓｃｒａｓｈ．ＴｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａｆｌｅｘｉｂｌｅｂｕｆｆｅｒｍａｎａｇｅｍｅｎｔｍｅｃｈａｎｉｓｍＡｕｔｏＢｕｆｆｏｒｅｍｂｅｄｄｅｄｎｅｔｗｏｒｋｐｒｏｔｏｃｏｌｓｔａｃｋ．Ｉｔｗａｓａｄａｐｔｉｖｅａｎｄｓｃａｌａｂｌｅａｎｄｂａｓｅｄｏｎａｎａｂｓｔｒａｃｔｂｕｆｆｅｒｉｎｔｅｒｆａｃｅ，ｓｕｐｐｏｒｔｅｄｄｙｎａｍｉｃｍｅ唱ｍｏｒｙａｌｌｏｃａｔｉｏｎａｎｄｂａｃｋｕｐ．ＢｙｕｓｉｎｇｔｈｅＡｕｔｏＢｕｆｂｕｆｆｅｒｍａｎａｇｅｍｅｎｔｍｅｃｈａｎｉｓｍｗｉｔｈｄａｔａｚｅｒｏｃｏｐｙｔｅｃｈｎｏｌｏｇｙ，ｉｔｉｍｐｌｅｍｅｎｔｅｄｔｏｔｒａｎｓｆｅｒｄａｔａｔｈｒｏｕｇｈｔｈｅｅｍｂｅｄｄｅｄｎｅｔｗｏｒｋｐｒｏｔｏｃｏｌｓｔａｃｋ．ＴｈｅｍａｎａｇｅｍｅｎｔｍｅｃｈａｎｉｓｍｈａｄｂｅｅｎａｐｐｌｉｅｄｔｏｔｈｅＷｅｂｓｅｒｖｅｒｓｙｓｔｅｍｂａｓｅｏｎＳ３Ｃ４４ｂ０Ｘｐｌａｔｆｏｒｍｓｕｃｃｅｓｓｆｕｌｌｙ．Ｔｈｅｒｅｓｕｌｔｓｉｎｒｅａｌｎｅｔｗｏｒｋｃｏｎｄｉｔｉｏｎｓｈｏｗｔｈａｔｔｈｅｓｙｓｔｅｍｐｒｏｖｉｄｅｓａｇｏｏｄｐｅｒ唱ｆｏｒｍａｎｃｅａｎｄｍｅｅｔｓｔｈｅｎｅｃｅｓｓａｒｙｏｆｅｍｂｅｄｄｅｄｎｅｔｗｏｒｋｓｙｓｔｅｍ．Ｋｅｙｗｏｒｄｓ：ｅｍｂｅｄｄｅｄｓｔａｃｋ；ａｂｓｔｒａｃｔｂｕｆｆｅｒ；ｚｅｒｏ唱ｃｏｐｙ；ｍｅｍｏｒｙａｌｌｏｃａｔｉｏｎ 随着网络技术的快速发展，主机间的通信速率已经提高到了千兆数量级，同时多媒体应用还要求网络协议支持实时业务。嵌入式设备网络化已经深入到日常生活中，而将嵌入式设备接入到互联网需要网络协议栈的支持。通过分析Ｌｉｎｕｘ系统中ＴＣＰ／ＩＰ协议栈的实现过程，可以看出在协议栈中要有大量数据不断输入输出，而管理这些即时数据的关键是协议栈中的缓冲区管理机制，因此对嵌入式协议栈的缓冲区管理将直接影响到数据的传输速率和安全。通用以太网的缓冲区管理机制，例如４．４ＢＳＤｍｂｕｆ ［１］ 和现行Ｌｉｎｕｘ系统中的ｓｋ＿ｂｕｆ ［２］ 多是在大内存、 高处理速率的基础上设计的，非常庞大复杂。由于嵌入式设备的硬件资源有限，特别是可用物理内存的限制，通用的协议栈必然不适用于嵌入式设备，在应用时要对标准的ＴＣＰ／ＩＰ协议进行裁剪 ［３］ 和重新设计缓冲区管理机制。 １　缓冲区管理机制的性能需求分析 缓冲区管理 ［４］ 是对内存提供一种统一的管理手段，通过该 手段能够对可用内存提供分配、回收、数据操作等行为。内存的分配操作是根据一定的内存分配策略从缓冲区中获得相应大小的内存空间；缓冲区的数据操作主要是向缓冲区写数据，从缓冲区读数据，在缓冲区中删除数据，对空闲的内存块进行合并等行为；内存的回收就是将已空闲的内存重新变为可用内存，以供存 储其他新的数据。 为了满足长度不一的即时数据的需求，缓冲区对内存的操作主要集中在不断地分配、回收、合并空闲的内存块等操作。因为网络中的数据包小到几个字节大到几千个字节，不同长度的数据对内存的需求必然不同。现存嵌入式设备中的内存多是以物理内存，即实模式形式存在的，没有虚拟内存的形式，对内存的操作实际是操作真实的物理内存，所以对内存操作要特别谨慎。在传统使用动态分配的缓冲区（通过调用ｍａｌｌｏｃ（）／ｆｒｅｅ（））在函数之间传递数据。尽管该方法提供了灵活性，但它也带来了一些性能影响。首先考虑对缓冲区的管理（分配和释放内存块）。如果分配和释放不能在相同的代码位置进行，那么必须确保在某个内存块不再需要时，释放一次（且仅释放一次）该内存块是很重要的，否则就会导致内存泄露。其次是必须确定缓冲区的大小才能分配该内存块。然而，确定数据大小并非那么容易，传统做法是采用最大的数据尺寸的保守估计。而采用保守估计预分配的内存大小总是远超过实际需要的大小，而且没有一定的范围标准，这样难免会导致资源的严重浪费。 随着数据在协议栈中的不断流动，内存块的多次释放和多次分配是难以避免的，而保守估计对于有限的资源来说又是一种浪费的策略。因此为了能有效地利用资源，设计一种可自控的、不用预判断大小的数据缓冲区接口就势在必行。 第２６卷第６期２００９年６月　 计算机应用研究 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ Ｖｏｌ．２６Ｎｏ．６Ｊｕｎ．２００９

关于图像超分辨率重构的现状研究

关于图像超分辨率重构的现状研究 摘要：图像超分辨率的重构技术是近20年来兴起的一门新的数字图像处理技术。随着计算机硬件技术和软件设计技术的不断发展,各种图像超分辨率重构算法被提出。综述超分辨率重构的相关研究,指出图像超分辨率重构技术近几年来的一些研究成果。 关键字：图像超分辨率；图像超分辨率重构；迭代法投影法 Abstract:Image super-resolution reconstruction technology is nearly 20 years the rise of a new digital image processing technology. With the continuous development of computer hardware and software design technology, all kinds of image super-resolution reconstruction algorithm was proposed. Of related studies on super-resolution reconstruction, and points out that the technology of image super-resolution reconstruction in recent years, some of the research. Keywords:image super-resolution; image super-resolution reconstruction; iterative projection method 1引言 超分辨率重构算法始于20世纪80年代,其目的在于恢复一些已丢失的频率分量。在成像过程中,由于受成像系统的物理性质和天气条件的影响,图像中存在着光学和运动模糊、采样不足和附加噪声等退化现象,图像空间分辨率较低。而在实际应用中,需要高分辨率的图像,如在遥感检测、军事侦查、交通及安全监控、医学诊断和模式识别等方面。在现有的传感器不作改变的情况下,人们希望利用信号处理的方法,通过一系列低分辨率图像来重构高分辨率图像。这种从同一场景的低分辨率图像序列中,通过信息融合来提高空间分辨率的方法通常被称为超分辨率重构。

超分辨率算法综述

图像超分辨率算法综述 摘要：介绍了图像超分辨率算法的概念和来源，通过回顾插值、重建和学习这3个层面的超分辨率算法，对图像超分辨率的方法进行了分类对比，着重讨论了各算法在还原质量、通用能力等方面所存在的问题，并对未来超分辨率技术的发展作了一些展望。 关键词：图像超分辨率；插值；重建；学习； Abstract:This paper introduced the conception and origin of image super resolu- tion technology. By reviewing these three kinds of methods(interpolation,reconstruct, study), it contrasted and classified the methods of image super-resolution,and at last, some perspectives of super-resolution are given. Key words: image super-resolution;interpolation;reconstruct;study;

1 引言 1.1 超分辨率的概念 图像超分辨率率(super resolution,SR)是指由一幅低分辨率图像(low resolution,LR)或图像序列恢复出高分辨率图像(high resolution， HR)。HR意味着图像具有高像素密度，可以提供更多的细节，这些细节往往在应用中起到关键作用。要获得高分辨率图像，最直接的办法是采用高分辨率图像传感器，但由于传感器和光学器件制造工艺和成本的限制[1]，在很多场合和大规模部署中很难实现。因此，利用现有的设备，通过超分辨率技术获取HR图像(参见图1)具有重要的现实意义。 图1 图像超分辨率示意图 图像超分辨率技术分为超分辨率复原和超分辨率重建，许多文献中没有严格地区分这两个概念，甚至有许多文献中把超分辨率图像重建和超分辨率图像复原的概念等同起来，严格意义上讲二者是有本质区别的，超分辨率图像重建和超分辨率图像复原有一个共同点，就是把在获取图像时丢失或降低的高频信息恢复出来。然而它们丢失高频信息的原因不同，超分辨率复原在光学中是恢复出超过衍射级截止频率以外的信息，而超分辨率重建方法是在工程应用中试图恢复由混叠产生的高频成分。几何处理、图像增强、图像复原都是从图像到图像的处理，即输入的原始数据是图像，处理后输出的也是图像，而重建处理则是从数据到图像的处理。也就是说输入的是某种数据，而处理结果得到的是图像。但两者的目的是一致的，都是由低分辨率图像经过处理得到高分辨率图像。另外有些文献中对超分辨率的概念下定义的范围比较窄，只是指基于同一场景的图像序列和视频序列的超分辨处理，实际上，多幅图像的超分辨率大多数都是以单幅图像的超分辨率为基础的。在图像获取过程中有很多因素会导致图像质量下降，如传感器的形

人脸图像超分辨率的自适应流形学习方法

第20卷第7期2008年7月 计算机辅助设计与图形学学报 JO U RN A L O F COM PU T ER -AID ED D ESIG N &COM P U T ER G RA PH ICS Vo l 120,N o 17 July,2008 收稿日期:2007-11-06;修回日期:2008-03-111基金项目:国家科技支撑计划重点项目(2006BAK07B04).张雪松,男,1977年生,博士研究生,工程师,主要研究方向为数字图像复原与超分辨率、模式识别、红外图像实时处理.江 静,女,1979年生,硕士,讲师,主要研究方向为数字图像处理.彭思龙,男,1971年生,博士,研究员,博士生导师,主要研究方向为小波分析、图像处理、视频增强、模式识别. 人脸图像超分辨率的自适应流形学习方法 张雪松1) 江 静2) 彭思龙 1) 1)(中国科学院自动化研究所国家专用集成电路设计工程技术研究中心 北京 100190)2) (华北科技学院机械与电气工程系 北京 101601)(xuesong.zhang@https://www.wendangku.net/doc/4b13752770.html,) 摘要 样本规模与使用方法是基于学习的超分辨率中的一个重要问题.面向人脸图像超分辨率重建,提出一种基 于局部保持投影(L P P)的自适应流形学习方法.由于能够揭示隐含在高维图像空间中的非线性结构,L PP 是一种可以在局部人脸流形上分析其内在特征的、有效的流形学习方法.通过在L P P 特征子空间中动态搜索出与输入图像块最相似的像素块集合作为学习样本,实现了自适应样本选择,并且利用动态样本集合通过基于像素块的特征变换方法有效地恢复出低分辨率人脸图像中缺失的高频成分.实验结果证实:通过在局部人脸流形上自适应地选择学习样本,文中方法可以仅使用相对少量的样本来获得很好的超分辨率重建结果.关键词 人脸图像;超分辨率;局部保持投影;流形学习;非监督学习中图法分类号 T P391.4 Adaptive Manifold Learning Method for Face Hallucination Zhang Xuesong 1) Jiang Jing 2) Peng Silong 1) 1)(National AS I C Desig n Eng inee ring Center ,Institute of A utomation,Chinese A cad emy of S cie nces ,B eij ing 100190)2) (Dep artment of M ec hanic s and E lectricity En gineering ,N or th Ch ina I nstitu te of S cie nce and Te chnolog y ,B eij ing 101601) Abstract T he size of training set as well as the usage thereof is an important issue of learning -based super -resolution.T his w or k presents an adaptive learning metho d for face hallucination using Locality Preserving Pr ojectio n (LPP).LPP is an efficient manifold learning m ethod that can be used to analy ze the lo cal intrinsic features on the manifold of local facial areas by virtue of its ability to reveal no n -linear structures hidden in the hig h -dim ensional image space.We fulfilled the adaptive sam ple selection by searching out patches online in the LPP sub -space,w hich makes the resultant training set tailor ed to the testing patch,and then effectively r estored the lo st hig h -frequency com ponents of the low -resolution face image by patched -based eig en transform ation using the dy namic training set.The ex perim ental r esults fully dem onstrate that the proposed m ethod can achieve goo d super -reso lution reconstruction perfo rmance by utilizing a relative small am ount o f samples. Key words face im ag e;super -r esolutio n;lo cality preserv ing projections;m anifold learning;unsuperv ised learning 超分辨率是指根据多张低分辨率图像重建出高分辨率图像的过程,在不同的应用中,输入的低分辨率图像可以是某个静态场景的图像序列 [1-3] (序列中 的图像间存在相对运动)或者是一段动态场景的视频[4-5].这些超分辨率方法通常是基于/重建约束0的:即认为低分辨率图像是待求高分辨率图像在不

图像的超分辨率处理方法研究现状

超分辨率图像处理技术是利用多帧关于同一场景的有相互位移的低分辨率降质图像来重建高分辨率高质量图像的技术。介绍了超分辨率图像处理技术的概念和起源;综述了超分辨率图像恢复研究现状。重点对单帧和多帧超分辨率图像处理的主要方法进行了评述,并总结对比了频域和空域方法的优缺点。最后对超分辨率图像处理技术的技术难点和前沿问题研究前景进行介绍和展望。 0引言 图像超分辨率处理技术是指利用多帧关于同一场景的有相互位移的低分辨率降质图像(LR,lowresolution)来重建高分辨率高质量图像(HR,highresolution)的技术[1]。图像超分辨率处理技术可突破图像采集设备的分辨率限制,充分利用多帧图像之间的互补信息,实现像素级的图像信息融合。在计算机视觉、卫星遥感、天文学、生物医学成像、民用安防等多个领域都有广泛的应用。图像超分辨率处理常被认为是广义的图像复原(Restoration)或图像重建(Reconstruction)。实际上它与两者有一定联系但是又不完全相同。图像复原是指去除或减轻获取数字图像过程中发生的图像质量下降(退化)[2],目标是恢复光学系统截止频率以内的成分,而图像超分辨率处理的目标是得到系统截止频率以外的成分。图像重建可用于现有成像系统不能提供满意图像分辨率的情况,如提高遥感图像、CT、核磁共振、超声波图像和各种监控图像等的分辨率[3]。在超分辨率处理中,多帧低分辨率降质图像可以认为是高分辨率理想图像经成像系统在观测平面上的一个投影,因此图像超分辨率处理也可以认为是由多帧低分辨率降质图像来重建高分辨率理想图像。 1超分辨率图像处理技术研究概况 J.L.Harris[4]和J.W.Goodman[5]提出的基于单帧图像的Harris-Goodman频谱外推法是最早的超分辨率图像处理的方法。随后,Tsai与Huang提出了基于序列或多帧图像的超分辨率重建问题,并给出了基于频域逼近的重建图像方法。此后,极大后验概率估计法、反向投影迭代法、凸集投影法和自适应滤波方法等许多有使用价值的方法被提出并发展。 目前,国内外对超分辨率的研究较突出的有:美国加州大学多维信号处理研究小组的PeymanMilanfar等提出了大量的实用算法和集成各种算法的超分辨率图像恢复软件包[6];美国Dayton大学和Wright实验室对红外CCD相机进行了机载试验,利用20幅低分辨率的红外图像,取得了分辨率提高近5倍的实验结果。香港R. F. Chars等研究了超分辨率图像恢复的有效预处理共扼梯度迭代算法[7]。以色列耶鲁撒冷大学M.Elad等[8]对存在任意运动的图像序列,以及动态的和彩色的多媒体等的超分辨率恢复进行了研究。以色列的EROS-A卫星利用“过采样”技术使影像的分辨率提高一倍以上。印度S.Chaudhuri等研究了迭代的超分辨率图像恢复方法[9]。韩国Pohang理工大学在各向异性扩散用于超分辨率[10]方面进行了研究。国内近几年在频谱外推、混叠效应的消除、无损检测、成像探测元的阵列改进以及一些超分辨率方法的改进方面做过类似研究,但研究水平无论从深度和广度上都较国外存在一定的差距[11]。 2超分辨率图像处理方法 图像超分辨率处理技术通常可以分为两大类:单帧图像重建(静态图像插值)方法和多帧图像处理(序列图像重建)方法。单帧图像处理也称为图像放大,是指利用一帧探测器采集到的低分辨率图像的信息,通过重建算法提高图像分辨率的方法。为了增加利用图像的信息,人们逐渐将研究热点转向多帧图像处理。多帧图像处理充分利用了不同帧图像之间的互补信息,其超分辨率复原能力好于利用单帧图像处理。其主要方法大致可以分为两类:频域法和空域法。早期的超分辨率图像处理方法研究都集中在频域,后来转向空域超分辨率图像处理复原方法的研究。频域法不能利用图像的先验知识,而空域方法则能够充分利用图像先验知识。频域方法的基本流程如图1(a)所示。其中图像配准和运动模型估计的精度越高,图像重建的效果就越好。当考虑到普遍的运动类型以及退化模型时,频率域方法仅能进行整体运动估计,

超分辨率

浅谈超分辨率 摘要：超分辨率图像重建是现在研究的一个热点，旨在实现由一系列低分辨率的图像得到一幅较高分辨率的图像。本文对超分辨率的概念，技术实现和应用场合都进行了基本的阐述。可以预见，超分辨率重建的应用前途十分广泛；其图像重建的实现、完成方法都将是我们今后研究的重点。 关键词：超分辨率，图像重建 一、引言 在数字图像采集的过程中，由于机器设备性能的限制以及拍摄条件的影响，会使采集到的图像分辨率较低。这样的图像比较模糊，对于后期的处理、应用有较大的影响，因此提高图像的分辨率是我们必须要解决的。提高分辨率最直接的方法当然是使用分辨率更高的设备，不过这存在两个问题：一是高分辨率的设备价格昂贵；二是每一种设备都存在着它的极限，受到硬件设备的限制很难得到真正高分辨率的图像。因此可以考虑采用软件的方法对图像的分辨率进行提高，这就是本文要讨论的超分辨率(SR:Super-Resolution)图像重建。 二、超分辨率的定义 低分辨率的图像包含的细节信息较少，但我们可以得到一系列低分辨率的图像，这些图像包含的部分细节信息各有不同，能够相互补充。通过这一系列低分辨的图像，经过一定的处理，可以得到一幅分辨率较高、包含信息较多的图像。这个处理过程就是超分辨率重建。超分辨率重建的核心思想就是用时间带宽（获取同一场景的多帧图像序列）换取空间分辨率，实现时间分辨率向空间分辨率的转换。 三、超分辨率的应用场景 超分辨率图像重建在现实生活中有十分广泛的用途。这里，我们列举了一些生活中用到的地方： 1）数字高清。在数字电视领域，可以利用超分辨率重建技术将数字电视（DTV）信号转化为高清晰度电视（HDTV）接收机相匹配的信号，从而提高观众的体验。 2）医学图像。在医疗中，高分辨率的医疗图像对于医生做出正确的诊断是非常有帮助的。 因此利用超分辨率重建得到更加清晰的图像，将会使医生治疗更加的准确、有效。 3）卫星图像分析。在军事、气象领域，使用高分辨率卫星图像就很容易地从相似物中区别相似的对象。因此可以利用超分辨率重建技术获得高分辨率的图像，更好的服务于军事安全和日常生活。 4）安全检测。银行、居民小区、道路口等都是需要安全检测的地方。虽然这些地方一般都会安装摄像头，但图像都非常模糊。利用超分辨率重建技术，将会帮助工作人员得到更

图像超分辨率重建技术的研究背景意义及应用

图像超分辨率重建技术的研究背景意义及应用图像超分辨率重建技术的研究背景意义及应用 1 研究背景及研究意义 2 图像超分辨率重建的应用 1 研究背景及研究意义 伴随着计算机技术、信息处理技术和视觉通信技术的高速发展，人类进入了一个全新的信息化时代。人们所能能够获取的知识量呈爆炸式的增长，因此迫切的要求信息处理技术不断的完善和发展，以便能够为人们提供更加方便、快捷和多样化的服务。数字图像及其相关处理技术是信息处理技术的重要内容之一，在很多领域得到了越来越广泛的应用。对于数字图像在一些情况下一般要求是高分辨图像，如:医学图像要求能够显示出那些人眼不能辨别出的细微病灶;卫星地面要求卫星图像至少能够辨别出人的脸相甚至是证件;有些检测识别控制装置需要足够高分辨率的图像才能保证测量和控制的精度。因此提高图像分辨率是图像获取领域里追求的一个目标。 1970年以来，CCD和CMOS图像传感器广泛的被用来获取数字图像，在很多的 应用场合，需要获取高分辨图像，提高图像分辨率最直接的方法是提高成像装置的分辨力，但是受传感器阵列排列密度的限制，提高传感器的空间分辨率越来越难，通常采用的方法是减少单位像素的尺寸(即增加单位面积内的像素数量)，对于数字摄机，比如CCD，就是减少其传感单元的尺寸从而提高传感器的阵列密度，使其能够分辨出更多场景细节。但是这样将导致数字摄像机的价格大幅度提高。技术工艺的制约也限制了图像分辨率的进一步提高。事实上随着像素尺寸的减少，每个像素接收到的光照强度也随之降低，传感器自身的噪声将严重影响图像的质量，造成拍摄的影像信噪比不高，因此，像素尺寸不可能无限制的降低，而是有下限的，当CCD传感器阵列密度增加到一定程度时，图像的分辨率不但不会提高反而会下降，

图像超分辨率重建--图像处理课程设计

目录 1 课程设计目的 (1) 2图像处理系统设计内容及要求 (2) 2.1设计内容 (2) 2.2设计要求 (2) 3 设计方案 (3) 4 功能模块的具体实现 (5) 4.1 空域插值放大的方法 (5) 4.1.1 最邻近插值算法 (5) 4.1.2 双线性插值算法 (6) 4.1.3 双三次插值算法 (7) 4.2 频域重建的方法 (8) 4.2.1 DCT变换的介绍 (8) 4.2.2 DCT放大图像放大算法原理 (8) 4.3 频域分块重建的方法 (10) 4.4 同态滤波器滤波处理 (11) 4.4.1 同态滤波器原理 (11) 4.4.2 同态滤波函数的确定 (12) 5 总结与体会 (14) 参考文献 (15) 附录 (16)

1课程设计目的 MATLAB7.0软件。MATLAB是由美国mathworks公司发布的主要面对科学计算、可视化以及交互式程序设计的高科技计算环境。它将数值分析、矩阵计算、科学数据可视化以及非线性动态系统的建模和仿真等诸多强大功能集成在一个易于使用的视窗环境中，为科学研究、工程设计以及必须进行有效数值计算的众多科学领域提供了一种全面的解决方案，并在很大程度上摆脱了传统非交互式程序设计语言的编辑模式，代表了当今国际科学计算软件的先进水平。通过用MATLAB 对图像进行处理，以实现以下目的。 1.培养严谨的科学态度，正确的设计思想，科学的设计方法和良好的工作作风。 2.培养独立思考的能力，独立检索资料、阅读文献、综合分析、计算机应用、数据及文字处理等能力。 3.培养综合运用基础理论、基本知识的能力。通过课程设计得到工程设计的初步锻炼。