一种基于角点特征的图像拼接融合算法
26卷 第7期2009年7月
微电子学与计算机
M ICROEL ECTRON ICS &COMPU TER
Vol.26 No.7J uly 2009
收稿日期:2008-09-28
基金项目:国防科技预研基金资助项目(1040603)
一种基于角点特征的图像拼接融合算法
冯宇平1,2,戴 明1
(1中国科学院长春光学精密机械与物理研究所,吉林长春130033;2中国科学院研究生院,北京100039)
摘 要:针对普通摄像机存在的视场不足问题,扩大摄像机拍摄图片的视场范围,提出了一种基于特征点的图像拼接融合算法.实验结果及精度分析表明,图像拼接的效果良好,部分对应点匹配的平均绝对误差和均方根误差为
0.2729pixel 和0.2990pixel ,达到了像素级精度.该算法能够较好地解决图像间对应点难以确定的问题,有效去
除了伪匹配点,而且对光照变化图像的拼接融合能取得满意的效果.关键词:图像拼接;特征点提取;相关系数;变换模型;图像融合
中图分类号:TP391 文献标识码:A 文章编号:1000-7180(2009)07-0021-03
An Im age Mosaic Algorithm B ased on Corner Features
FEN G Yu 2ping 1,2,DA I Ming 1
(1Changchun Institute of Optics ,Fine Mechanics and Physics of Sciences ,Chinese Academy of Sciences ,
Changchun 130033,China ;
2Graduate University of Chinese Academy of Sciences ,Beijing 100039,China )
Abstract :In order to improve visual field of photos with solving filed deficiency of common camera ,an image mosaic algo 2rithm based on corner and block matching is put forward.Experimental results and precision analysis show that the mosaic image is well ,and MAD (Mean Absolute Error )and RMSE (Root Mean Square Error )of matching corners respectively is 0.2729pixel and 0.2990pixel up to pixel precision.This algorithm can efficiently solve the difficulty in confirming cor 2responding points and gain satisfying visual effect in image mosaics with notable illumination difference.K ey w ords :image mosaic ;extracting feature points ;correlation coefficient ;transformation model ;image fusion
1 引言
图像拼接技术在不降低图像分辨率的条件下获取大视野范围的场景照片,可以很好地解决鱼眼镜
头等设备的不足,具有重要的实际应用意义,在许多领域都有着广泛的应用.根据图像配准的方式大致可以将图像拼接技术分为三大类[123]:基于特征、基于区域和基于变换域[4]的方法.基于特征的方式,可以提高速度,同时特征匹配精确度比较高,而且它对于图像的变化、亮度变化和噪声都具有较好的适应能力.
文中提出了一种基于特征点进行图像拼接的方法,首先利用Harris 算子在图像中提取特征角点,接
着通过块匹配获得匹配的角点对,然后求解变换模型参数,最后应用提出的图像均值调整法实现图像的融合拼接.实验结果和精度分析表明,该算法能够较好地解决图像间对应点难以确定的问题,拼接达到了像素级精度,而且克服了图像的亮度差异问题,具有较好的效果.
2 特征点的检测和初始匹配
2.1 兴趣点检测
特征点提取算法要求其具有很强的抗干扰能力和鲁棒性,现行的特征点提取算法比较多[526].由于Harris 角检测器在一致性和有效性方面均具有优良的性能;该方法提取的兴趣点被证明具有旋转、平移
不变性;对信号噪声、数据获取时的参数变化和图像变换以及图像光照条件等有较强的稳定性,所以本算法采用Harris 角检测器作为特征点的提取工具.Harris 算子的基本思想是使用自相关函数来确定信
号发生二维变化的位置:
(1)计算图像亮度I (x ,y )在点(x ,y )处的梯
度:
I x =I (-1,0,1)=5I/5x I y =I (-1,0,1)T
=5I/5
y
(1)
(2)构造自相关矩阵M :
A =I x 2
w B =I y
2
w
C =(I x I y ) w
(2)
式中, 表示卷积算子,
w =exp [-(x 2+y 2)/2δ2
]
为高斯窗平滑函数,由式(2)得到二阶实对称矩阵M
=
A C
C B
,必然存在2个特征值α和β.
(3)计算评价函数,提取角点.
R =det M -k ?(trace M )
2
(3)
式中,det M =A ?B -C 2=α?
β,trace M =A +B =α+β,k 是经验参数,通常k =0.04～0.06.当M 的特征值α和β是极大值,即有点(x ,y )的R 值大于某一个阈值T 且是某邻域内的局部极大值时,点(x ,y )是一兴趣点.阈值T 和局部极大值的邻域大小将会影响提取角点的数目和容忍度.为了使每个特征点周围能提供足够的用于判定匹配的信息,靠近图像边缘的特征点应该得到剔除.2.2 特征匹配
在得到两帧图像的特征点后,需要将这些特征点一一对应起来,采用块匹配的方法.首先,在两幅图像中,以每个特征点为中心分别提取一个(2N +1)×(2N +1)大小的相关窗,然后以参考图像中每
个特征点为参考点在当前图像中按特征点顺序搜索,进行块匹配.匹配可以指定搜索区域,其范围可以根据先验知识具体指定,这等同于将对应点的搜索区域从整个图像减小到一个给定大小的窗口,大大降低了计算工作量.这里采用归一化互相关算法,来计算两相关窗之间的相关系数,定义如下:
R =
∑2N +1x =1
∑2N +1
y =1
[I 1(x ,y )- I 1][I 2(x ,y )- I 2]
∑2N +1x =1
∑2N +1
y =1
[I 1(x ,y )- I 1]
2
∑2N +1x =1
∑2N +1
y =1
[I 2(x ,y )- I 2]
2
(4)式中,I 1(x ,y )和I 2(x ,y )分别是参考图像和当前
图像特征点相关窗口内像素的灰度值, I 1和 I 2为相关窗口内像素灰度的平均值,去掉均值以消除亮度变换的影响.如果只选择最大相关系数所对应的点为匹配点,这样得到的匹配点有一部分是误匹配,因为两幅图像中提取的角点并不是一一对应的.为了去除误匹配点,可以提出设定一个相关阈值,如果最大相关系数值小于此阈值,则认为是误匹配点,进行去除,然后用双向匹配方法进一步剔除错误的匹配点,通过这样的匹配可以大幅度减少不匹配的特征点,余下的少数伪匹配对的去除是在下面的计算变换参数模型的过程中完成的.
3 计算变换参数模型
需要从上述匹配对中计算出变换参数模型.这里采用6参数的仿射变换来描述图像间的变换关系:
x 1=m ,x 2+m 2y 2+m 3y 1=m 4x 2+m 5y 2+m 6
(5)
式中,(x 1,y 1)和(x 2,y 2)为参考图像和当前图像匹配对应点的坐标,其中m i ,(i =1,2,…,6)为仿射变换参数.仿射变换模型可以描述摄像机的平移、旋转、缩放运动,是一种常用的坐标变换模型.3.1 模型参数的线性算法
由式(5)可以知道求解仿射变换模型参数至少需要6个方程,也就是需要3对特征对应点.令(x 1i ,
y 1i )∈I 1,(x 2i ,y 2i )∈I 2为一对匹配角点,i =1,
2,…,n ,m =[m 1,m 2,…,m 6]T ,对n 对匹配角
点,由式(
5)联立可以得到2n 个关于参数{m 1,m 2,…,m 6}的线性方程,写成矩阵形式,
为
A m =b
(6)
其中
A =
x 21
y 21
100000
x 21
y 21
1
…
…
…
…
…
…
x 2i
y 2i
100000
x 2i
y 2i
1
…
…
…
…
…
…
x 2n
y 2n
10000
x 2n
y 2n
1
,b =
x 11y 11
…
x 1i y 1i
…
x 1n y 1n
.
当匹配角点对多于3对(n >3)时,可以用L SM (最小二乘法)来计算变换参数模型,若A T A
可逆,其解为
m =(A T
A )
-1
A T
b
(7)
2
2微电子学与计算机2009年
3.2 模型参数的鲁棒估计
上面用L SM求解模型参数的方法,是假定得到的匹配角点都是正确的,实际中,得到的匹配角点并不能完全保证都是正确的.最小二乘估计是最优线性无偏估计,当个别点的误差较大时,将严重影响变换模型参数估计的正确性,使实验失败.所以采用一种鲁棒估计的算法———RANSAC[7]算法,来去除伪匹配点.RANSAC对样本数据进行多次随机取样,用L SM计算模型参数,找出落在此模型误差范围内最多的点的集合,用此集合来进行最优化,最终确定模型的参数.RANSAC算法步骤如下:
(1)随机抽取M个样本:每个样本由3个匹配点对组成;
(2)根据抽取样本计算运动参数矩阵H;
(3)针对每个H,对剩下的各匹配点对,计算如果‖X1i-H?X2i‖ ‖X1i-H?X2i‖ =[x1i-(m1x2i+m2y2i+m3)]2+ [y1i-(m4x2i+m5y2i+m6)]2(8) (4)选取一个包含匹配对数目最多的点集,利用该点集重新计算模型参数. 4 图像的拼接融合 由于曝光补偿和光照强度变换等一些因素,采集的原始图像会有不同程度的亮度差异,直接拼接会有明显的光强差,给人不真实的感觉,这里提出利用图像均值对待拼接的图像进行预处理调整,使二者的整体亮度保持一致.对参考图I1和当前图I2,设它们的重叠区域分别为M1和M2,具体处理过程如下: (1)设重叠区像素的均值为 M1和 M2,计算公共均值M,即 M= M1+ M2 2 (9) (2)利用上面得到的结果,对I1和I2进行处理,得到拼接所需图像 I1和 I2,有 I1=I1-( M1- M) I2=I2-( M2- M)(10) 经过上面的处理,即可使待拼接图像的整体亮度保持一致,对于重叠区域采用一种渐入渐出的加权平均方法进行融合处理,设I1(x,y)和I2(x,y)是亮度调整后待拼接的两幅图像,则重叠区域图像的像素值I(x,y)可表示为 I(x,y)=dI1(x,y)+(1-d)I2(x,y) (11)式中,d为一渐变系数,当d由1慢慢变化到0时,图像从I1(x,y)慢慢过渡到了I2(x,y),实现了图像间的平滑过渡,从而消除了拼接的痕迹.文中基于Pentium4CPU 2.4GHz512MB RAM,MA T-LAB6.5编程环境,实现了提出的算法,从拼接结果可以看出,其很好地消除了图像中的克度差问题,没有拼接缝隙,具有较高的拼接精度. 5 结束语 文中提出了一种角点和块匹配相结合的图像拼接方法.该方法利用了Harris算子提取角点,有效地克服了噪声、灰度和视点变换造成的干扰,采用了基于特征点邻域信息的相关块匹配,匹配过程中结合了相关阈值、双向匹配、搜索区域等技术,提高了匹配的可靠性,并给出了图像拼接的评价准则,精度分析可见对应点匹配的平均绝对误差和均方根误差在1pixel范围之内,文中提出的利用图像均值对图像进行整体亮度调整的方法,对光照变化图像取得了较好的效果.此方法不仅适用于任意大小的两幅图像,还可以用于全景图的拼接中,而且不需要知道任何相机参数(焦距等),整个过程无需人工干预,均由计算机自动完成,实验结果证明了文中提出算法的有效性.当图像中有运动物体存在时,会产生鬼影问题,而且当图像的旋转和缩放比较大时,块匹配的准确性就会降低,这都是下一步要解决的问题. 参考文献: [1]Z itova B,Flusser J.Image registration methods:a survey [J].Image and Vision Computing,2003,21(11):977-1000. [2]张红颖,张加万,孙济洲.改进Demons算法的非刚性医 学图像配准[J].光学精密工程,2007,15(1):145-150. [3]蔡丽新,廖英豪,郭东辉.图像拼接方法及其关键技术研 究[J].计算机技术与发展,2008,18(3):1-4. [4]仵建宁,冯宗哲,郭宝龙.一种基于相位相关优化的图像 拼接方法[J].微电子学与计算机,2006,23(1):117-120. [5]Harris C,Stephens M.A combined corner and edge detec2 tor[C]//Proceedings of the4th Alvey Vision Conference. U K:Manchester,1988:147-151. (下转第28页) 32 第7期冯宇平,等:一种基于角点特征的图像拼接融合算法 6 结束语 根据计算机局部性原理,Cache、TCM SRAM以及eDRAM的访问次数依次减少,这样就能够有效地减少了对外部存储器的访问,提高了片内存储器的可靠性,而且只有当需要进行数据备份与恢复时才访问外部的存储器.所以基于片内存储器层次结构的单芯片系统能够使保护装置不依赖于外置存储器情况下可靠地运行,减少了外部环境的电磁干扰侵入系统的途径,有效地降低了由于电磁干扰所造成系统出现故障的几率,增强了保护装置抗干扰能力.由于保护装置的抗干扰系统设计是一个十分复杂、需要反复验证完善的过程,还要从实际应用角度出发在不同层面来优化提升整个装置的抗干扰能力. 参考文献: [1]田国政,谭伟.微机保护装置的发展[J].电网技术,2006 (S2):376-379. [2]张桂青,冯涛,王建华.基于片上系统的可配置微机保护 硬件平台设计与实现[J].电力系统自动化,2003,27 (10):81-84. [3]杜肖功,毛鹏,李小滨,等.新型数字式高压保护装置硬 件平台设计[J].继电器,2004,32(9):45-47. [4]Hennessy J L,Patterson D A.计算机系统结构-量化研 究方法[M].3版.北京:电子工业出版社,2004:26- 31;302-306. [5]陈征.FIFO缓冲存储器的结构及应用[J].汕头大学学 报:自然科学版,1998,13(1):85-89. [6]Barth J,Reohr W,Parries P,et al.A500MHz random cycle1.5ns-latency,SOI embedded macro featuring a3T micro sense amplifier[C]//2007ISSCC.San Francisco: IEEE,2007:486-487. [7]N EC Electronics American.Inc.55-nanometer eDRAM technology optimizes performance and power characteristics [EB/OL].[2006-09-19].https://www.wendangku.net/doc/5212462479.html,/ process/en/pdf/nec-55nm-edram-backgrounder-v4. pdf. [8]杨松,王宏,杨志家.45nmCMOS工艺下的低泄漏多米 诺电路研究[J].微电子学与计算机,2008,25(2):89- 93. [9]刘浩,吉立新,王富源,等.摩托罗拉MC683609与 SDRAM接口逻辑设计[J].微计算机信息,2005(17): 51-53. 作者简介: 邹雪城 男,(1964-),教授,博士生导师,IEEE会员,MRS 会员.研究方向为超大规模集成电路研究与设计方法学、网络信息系统、微电子与微光子器件. 刘 浩 男,(1970-),博士.研究方向为超大规模集成电路研究、片上网络设计. 曹飞飞 女,(1970-),高级讲师.研究方向为微机继电保护. (上接第23页) [6]陈志方,张艳宁,杨将林,等.一种改进的SUSAN算法 [J].微电子学与计算机,2007,234(11):142-143. [7]Fischler M,Bolles R.Random sample consensus:a paradigm for model fitting with applications to image analy2 sis and automated cartography[J].Communications of the ACM,1981,24(6):381-395. 作者简介: 冯宇平 女,(1982-),博士.研究方向为图像配准、拼接等.戴 明 男,(1965-),研究员,博士生导师.研究方向为光电平台稳定技术和图像稳定技术. 82微电子学与计算机2009年 全景拼接算法简介 罗海风 2014.12.11 目录 1.概述 (1) 2.主要步骤 (2) 2.1. 图像获取 (2) 2.2鱼眼图像矫正 (2) 2.3图片匹配 (2) 2.4 图片拼接 (2) 2.5 图像融合 (2) 2.6全景图像投射 (2) 3.算法技术点介绍 (3) 3.1图像获取 (3) 3.2鱼眼图像矫正 (4) 3.3图片匹配 (4) 3.3.1与特征无关的匹配方式 (4) 3.3.2根据特征进行匹配的方式 (5) 3.4图片拼接 (5) 3.5图像融合 (6) 3.5.1 平均叠加法 (6) 3.5.2 线性法 (7) 3.5.3 加权函数法 (7) 3.5.4 多段融合法（多分辨率样条） (7) 3.6全景图像投射 (7) 3.6.1 柱面全景图 (7) 3.6.2 球面全景图 (7) 3.6.3 多面体全景图 (8) 4.开源图像算法库OPENCV拼接模块 (8) 4.1 STITCHING_DETAIL程序运行流程 (8) 4.2 STITCHING_DETAIL程序接口介绍 (9) 4.3测试效果 (10) 5.小结 (10) 参考资料 (10) 1.概述 全景视图是指在一个固定的观察点，能够提供水平方向上方位角360度，垂直方向上180度的自由浏览（简化的全景只能提供水平方向360度的浏览）。 目前市场中的全景摄像机主要分为两种：鱼眼全景摄像机和多镜头全景摄像机。鱼眼全景摄像机是由单传感器配套特殊的超广角鱼眼镜头，并依赖图像校正技术还原图像的鱼眼全景摄像机。鱼眼全景摄像机 最终生成的全景图像即使经过校正也依然存在一定程度的失真和不自然。多镜头全景摄像机可以避免鱼眼镜头图像失真的缺点，但是或多或少也会存在融合边缘效果不真实、角度有偏差或分割融合后有"附加"感的缺撼。 本文档中根据目前所查找到的资料，对多镜头全景视图拼接算法原理进行简要的介绍。 2.主要步骤 2.1. 图像获取 通过相机取得图像。通常需要根据失真较大的鱼眼镜头和失真较小的窄视角镜头决定算法处理方式。单镜头和多镜头相机在算法处理上也会有一定差别。 2.2鱼眼图像矫正 若相机镜头为鱼眼镜头，则图像需要进行特定的畸变展开处理。 2.3图片匹配 根据素材图片中相互重叠的部分估算图片间匹配关系。主要匹配方式分两种： A．与特征无关的匹配方式。最常见的即为相关性匹配。 B．根据特征进行匹配的方式。最常见的即为根据SIFT，SURF等素材图片中局部特征点，匹配相邻图片中的特征点，估算图像间投影变换矩阵。 2.4 图片拼接 根据步骤2.3所得图片相互关系，将相邻图片拼接至一起。 2.5 图像融合 对拼接得到的全景图进行融合处理。 2.6 全景图像投射 将合成后的全景图投射至球面、柱面或立方体上并建立合适的视点，实现全方位的视图浏览。 图像记忆的原理和方法[图像拼接原理及方法] 第一章绪论 1.1 图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制（IBR ）成为结合两个互补领域——计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化场景描述（Visual Scene Representaions）的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以使IBR 从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说 360 度的环形图片了。但是在实际应用中，很多时候需要将360 度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360 度景物的多幅图像进行拼接，从而实时地得到超大视角甚至是360 度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360 度全景图像，用来虚拟实际场景。这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和 仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键 环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术 多聚焦图像融合方法综述 摘要：本文概括了多聚焦图像融合的一些基本概念和相关知识。然后从空域和频域两方面将多聚焦图像融合方法分为两大块，并对这两块所包含的方法进行了简单介绍并对其中小波变换化法进行了详细地阐述。最后提出了一些图像融合方法的评价方法。 关键词：多聚焦图像融合；空域；频域；小波变换法；评价方法 1、引言 按数据融合的处理体系，数据融合可分为：信号级融合、像素级融合、特征级融合和符号级融合。图像融合是数据融合的一个重要分支，是20世纪70年代后期提出的概念。该技术综合了传感器、图像处理、信号处理、计算机和人工智能等现代高新技术。它在遥感图像处理、目标识别、医学、现代航天航空、机器人视觉等方面具有广阔的应用前景。 Pohl和Genderen将图像融合定义为：“图像融合是通过一种特定的方法将两幅或多幅图像合成一幅新图像”，其主要思想是采用一定的方法，把工作于不同波长范围、具有不同成像机理的各种成像传感器对同一场景成像的多幅图像信息合成一幅新的图像。 作为图像融合研究重要内容之一的多聚焦图像融合，是指把用同一个成像设备对某一场景通过改变焦距而得到的两幅或多幅图像中清晰的部分组合成一幅新的图像，便于人们观察或计算机处理。图像融合的方法大体可以分为像素级、特征级、决策级3中，其中，像素级的图像融合精度较高，能够提供其他融合方法所不具备的细节信息，多聚焦融合采用了像素级融合方法，它主要分为空域和频域两大块，即： （1）在空域中，主要是基于图像清晰部分的提取，有梯度差分法，分块法等，其优点是速度快、方法简单，不过融合精确度相对较低，边缘吃力粗糙； （2）在频域中，具有代表性的是分辨方法，其中有拉普拉斯金字塔算法、小波变换法等，多分辨率融合精度比较高，对位置信息的把握较好，不过算法比较复杂，处理速度比较慢。 2、空域中的图像融合 把图像f(x,y)看成一个二维函数，对其进行处理，它包含的算法有逻辑滤波器法、加权平均法、数学形态法、图像代数法、模拟退火法等。 2.1 逻辑滤波器法 最直观的融合方法是两个像素的值进行逻辑运算,如:两个像素的值均大于特定的门限值, 第一章绪论 1.1图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系 列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制( IBR )成为结合两个互补领域 ――计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化 场景描述(Visual Seene Representaions)的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以 使IBR从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说360度的环形图片了。但是在实际应用中，很 多时候需要将360度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360度景物的多幅图像进行拼接，从而实时地得到 超大视角甚至是360度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目 视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双 目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360度全景图像，用来虚拟实际场景。 这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四 周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图 像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对来自同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术将遥感卫星拍摄到的有失真地面图像拼接成比较准确的完整图像，作为进一步研究的依据。 从以上方面可以看出，图像拼接技术的应用前景十分广阔，深入研究图像拼接技术有着很重 要的意义 1.2图像拼接算法的分类 图像拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了很多拼接算 法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核心和关键。根据图像匹配方法的不同仁阔，一般可以将图像拼接算法分为以下两个类型： (1) 基于区域相关的拼接算法。 这是最为传统和最普遍的算法。基于区域的配准方法是从待拼接图像的灰度值出发，对 待配准图像中一块区域与参考图像中的相同尺寸的区域使用最小二乘法或者其它数学方法 计算其灰度值的差异，对此差异比较后来判断待拼接图像重叠区域的相似程度，由此得到待 本文为技术简介，详细算法可以参考后面的参考资料。 1.概述 全景图像(Panorama)通常是指大于双眼正常有效视角(大约水平90度，垂直70度)或双眼余光视角(大约水平180度，垂直90度)，在一个固定的观察点，能够提供水平方向上方位角360度，垂直方向上180度的自由浏览（简化的全景只能提供水平方向360度的浏览），乃至360度完整场景范围拍摄的照片。 生成全景图的方法，通常有三种：一是利用专用照相设备，例如全景相机，带鱼眼透镜的广角相机等。其优点是容易得到全景图像且不需要复杂的建模过程，但是由于这些专用设备价格昂贵，不宜普遍适用。二是计算机绘制方法，该方法利用计算机图形学技术建立场景模型，然后绘制虚拟环境的全景图。其优点是绘制全景图的过程不需要实时控制，而且可以绘制出复杂的场景和真实感较强的光照模型，但缺点是建模过程相当繁琐和费时。三是利用普通数码相机和固定三脚架拍摄一系列的相互重叠的照片，并利用一定的算法将这些照片拼接起来，从而生成全景图。 近年来随着图像处理技术的研究和发展，图像拼接技术已经成为计算机视觉和计算机图形学的研究焦点。目前出现的关于图像拼接的商业软件主要有Ptgui、Ulead Cool 360及ArcSoft Panorama Maker等，这些商业软件多是半自动过程，需要排列好图像顺序，或手动点取特征点。 2.全景图类型： 1)柱面全景图 柱面全景图技术较为简单，发展也较为成熟，成为大多数构建全景图虚拟场景的基础。这种方式是将全景图像投影到一个以相机视点为中心的圆柱体内表面， 视线的旋转运动即转化为柱面上的坐标平移运动。这种全景图可以实现水平方向360度连续旋转，而垂直方向的俯仰角度则由于圆柱体的限制要小于180度。柱面全景图有两个显著优点：一是圆柱面可以展开成一个矩形平面，所以可以把柱面全景图展开成一个矩形图像，而且直接利用其在计算机内的图像格式进行存取；二是数据的采集要比立方体和球体都简单。在大多数实际应用中，360度的环视环境即可较好地表达出空间信息，所以柱面全景图模型是较为理想的一种选择。 2)立方体全景图 立方体全景图由六个平面投影图像组成，即将全景图投影到一个立方体的内表面上。这种方式下图像的采集和相机的标定难度较大，需要使用特殊的拍摄装置，依次在水平、垂直方向每隔90度拍摄一张照片，获得六张可以无缝拼接于一个立方体的六个面上的照片。这种方法可以实现水平方向360度旋转、垂直方向180度俯仰的视线观察。 3)球面全景图 球面全景图是指将源图像拼接成一个球体的形状，以相机视点为球心，将图像投影到球体的内表面。与立方体全景图类似，球面全景图也可以实现水平方向360度旋转、垂直方向180度俯仰的视线观察。球面全景图的拼接过程及存储方式较柱面全景图大为复杂，这是因为生成球面全景图的过程中需要将平面图像投影成球面图像，而球面为不可展曲面。因此这是一个平面图像水平和垂直方向的非线性投影过程，同时也很难找到与球面对应且易于存取的数据结构来存放球面图像。目前国内外在这方面提出的研究算法较其他类型全景图少，而且在可靠性和效率方面也存在一些问题。 3.主要内容 图像融合的研究背景和研究意义 1概述 2 图像融合的研究背景和研究意义 3图像融合的层次 像素级图像融合 特征级图像融合 决策级图像融合 4 彩色图像融合的意义 1概述 随着现代信息技术的发展，图像的获取己从最初单一可见光传感器发展到现在的雷达、高光谱、多光谱红外等多种不同传感器，相应获取的图像数据量也急剧增加。由于成像原理不同和技术条件的限制，任何一个单一图像数据都不能全面反应目标对象的特性，具有一定的应用范围和局限性。而图像融合技术是将多种不同特性的图像数据结合起来，相互取长补短便可以发挥各自的优势，弥补各自的不足，有可能更全面的反映目标特性，提供更强的信息解译能力和可靠的分析结果。图像融合不仅扩大了各图像数据源的应用范围，而且提高了分析精度、应用效果和使用价值，成为信息领域的一个重要的方向。图像配准是图像融合的重要前提和基础，其误差的大小直接影响图像融合结果的有效性。 作为数据融合技术的一个重要分支，图像融合所具有的改善图像质量、提高几何配准精度、生成三维立体效果、实现实时或准实时动态监测、克服目标提取与识别中图像数据的不完整性等优点，使得图像融合在遥感观测、智能控制、无损检测、智能机器人、医学影像(2D和3D)、制造业等领域得到广泛的应用，成为当前重要的信息处理技术，迅速发展的军事、医学、自然资源勘探、环境和土地、海洋资源利用管理、地形地貌分析、生物学等领域的应用需求更有力地刺激了图像融合技术的发展。 2 图像融合的研究背景和研究意义 Pohl和Genderen对图像融合做了如下定义：图像融合就是通过一种特定算法将两幅或多幅图像合成为一幅新图像。它的主要思想是采用一定的算法，把 图像拼接算法及实现（一） 论文关键词：图像拼接图像配准图像融合全景图 论文摘要：图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准,经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值。一般来说,图像拼接的过程由图像获取,图像配准,图像合成三步骤组成,其中图像配准是整个图像拼接的基础。本文研究了两种图像配准算法:基于特征和基于变换域的图像配准算法。在基于特征的配准算法的基础上,提出一种稳健的基于特征点的配准算法。首先改进Harris角点检测算法,有效提高所提取特征点的速度和精度。然后利用相似测度NCC(normalized cross correlation——归一化互相关),通过用双向最大相关系数匹配的方法提取出初始特征点对,用随机采样法RANSAC(Random Sample Consensus)剔除伪特征点对,实现特征点对的精确匹配。最后用正确的特征点匹配对实现图像的配准。本文提出的算法适应性较强,在重复性纹理、旋转角度比较大等较难自动匹配场合下仍可以准确实现图像配准。 Abstract：Image mosaic is a technology that carries on the spatial matching to a series of image which are overlapped with each other, and finally builds a seamless and high quality image which has high resolution and big eyeshot. Image mosaic has widely applications in the fields of photogrammetry, computer vision, remote sensing image processing, medical image analysis, computer graphic and so on. 。In general, the process of image mosaic by the image acquisition, image registration, image synthesis of three steps, one of image registration are the basis of the entire image mosaic. In this paper, two image registration algorithm: Based on the characteristics and transform domain-based image registration algorithm. In feature-based registration algorithm based on a robust feature-based registration algorithm points. First of all, to improve the Harris corner detection algorithm, effectively improve the extraction of feature points of the speed and accuracy. And the use of a similar measure of NCC (normalized cross correlation - Normalized cross-correlation), through the largest correlation coefficient with two-way matching to extract the feature points out the initial right, using random sampling method RANSAC (Random Sample Consensus) excluding pseudo-feature points right, feature points on the implementation of the exact match. Finally with the correct feature point matching for image registration implementation. In this 第一章绪论 1.1 图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制（IBR）成为结合两个互补领域——计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化场景描述（Visual Scene Representaions）的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以使IBR从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说360 度的环形图片了。但是在实际应用中，很多时候需要将360 度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360 度景物的多幅图像进行拼接，从而实时地得到超大视角甚至是360 度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360 度全景图像，用来虚拟实际场景。这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对来自同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术将遥感卫星拍摄到的有失真地面图像拼接成比较准确的完整图像，作为进一步研究的依据。 从以上方面可以看出，图像拼接技术的应用前景十分广阔，深入研究图像拼接技术有着很重要的意义 1.2图像拼接算法的分类 图像拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了很多拼接算法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核心和关键。根据图像匹配方法的不同仁阔，一般可以将图像拼接算法分为以下两个类型：（1) 基于区域相关的拼接算法。 这是最为传统和最普遍的算法。基于区域的配准方法是从待拼接图像的灰度值出发，对 图像拼接算法及实现（一） 来源：中国论文下载中心 [ 09-06-03 16:36:00 ] 作者：陈挺编辑：studa090420 论文关键词：图像拼接图像配准图像融合全景图 论文摘要：图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准,经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值。一般来说,图像拼接的过程由图像获取,图像配准,图像合成三步骤组成,其中图像配准是整个图像拼接的基础。本文研究了两种图像配准算法:基于特征和基于变换域的图像配准算法。在基于特征的配准算法的基础上,提出一种稳健的基于特征点的配准算法。首先改进Harris角点检测算法,有效提高所提取特征点的速度和精度。然后利用相似测度NCC(normalized cross correlation——归一化互相关),通过用双向最大相关系数匹配的方法提取出初始特征点对,用随机采样法RANSAC(Random Sample Consensus)剔除伪特征点对,实现特征点对的精确匹配。最后用正确的特征点匹配对实现图像的配准。本文提出的算法适应性较强,在重复性纹理、旋转角度比较大等较难自动匹配场合下仍可以准确实现图像配准。 Abstract：Image mosaic is a technology that carries on the spatial matching to a series of image which are overlapped with each other, and finally builds a seamless and high quality image which has high resolution and big eyeshot. Image mosaic has widely applications in the fields of photogrammetry, computer vision, remote sensing image processing, medical image analysis, computer graphic and so on. 。In general, the process of image mosaic by the image acquisition, image registration, image synthesis of three steps, one of image registration are the basis of the entire image mosaic. In this paper, two image registration algorithm: Based on the characteristics and transform domain-based image registration algorithm. In feature-based registration algorithm based on a robust feature-based registration algorithm points. First of all, to improve the Harris corner detection algorithm, effectively improve the extraction of feature points of the speed and accuracy. And the use of a similar measure of NCC (normalized cross correlation - Normalized cross-correlation), through the largest correlation coefficient with two-way matching to extract the feature points out the initial right, using random sampling method RANSAC (Random Sample Consensus) excluding pseudo-feature points right, feature points on the implementation of the exact match. Finally with the correct feature point matching for image registration implementation. In this paper, the algorithm adapted, in the repetitive texture, such as relatively large rotation more difficult to automatically match occasions can still achieve an accurate image registration. Key words: image mosaic, image registration, image fusion, panorama 第一章绪论 ENVI下的图像融合方法 图像融合是将低空间分辨率的多光谱影像或高光谱数据与高空间分辨率的单波段影像重采样生成成一副高分辨率多光谱影像遥感的图像处理技术，使得处理后的影像既有较高的空间分辨率，又具有多光谱特征。图像融合的关键是融合前两幅图像的精确配准以及处理过程中融合方法的选择。只有将两幅融合图像进行精确配准，才可能得到满意的结果。对于融合方法的选择，取决于被融合图像的特征以及融合目的。 ENVI中提供融合方法有： ?HSV变换 ?Brovey变换 这两种方法要求数据具有地理参考或者具有相同的尺寸大小。RGB输入波段必须为无符号8bit数据或者从打开的彩色Display中选择。 这两种操作方法基本类似，下面介绍Brovey变换操作过程。 （1）打开融合的两个文件，将低分辨率多光谱图像显示在Display中。 （2）选择主菜单-> Transform -> Image Sharpening->Color Normalized (Brovey)，在Select Input RGB对话框中，有两种选择方式：从可用波段列表中和从Display窗口中，前者要求波段必须为无符号8bit。 （3）选择Display窗口中选择RGB，单击OK。 （4） Color Normalized (Brovey)输出面板中，选择重采样方式和输入文件路径及文件名，点击OK输出结果。 对于多光谱影像，ENVI利用以下融合技术： ?Gram-Schmidt ?主成分（PC）变换 ?color normalized (CN)变换 ?Pan sharpening 这四种方法中，Gram-Schmidt法能保持融合前后影像波谱信息的一致性，是一种高保真的遥感影像融合方法；color normalized (CN)变换要求数据具有中心波长和FWHM，；Pansharpening融合方法需要在ENVI Zoom中启动，比较适合高分辨率影像，如QuickBird、IKONOS等。 这四种方式操作基本类似，下面介绍参数相对较多的Gram-Schmidt操作过程。 （1）打开融合的两个文件。 收稿日期:2009-06-26;修回日期:2009-09-10 作者简介:冉柯柯(1982-),女,河南人,硕士研究生,研究方向为数字图像处理和模式识别;王继成,教授,研究员,研究方向为模式识别与智能系统、数字图像和语音处理。 基于比值法图像拼接的等比例改进算法 冉柯柯,王继成 (同济大学电子与信息工程学院,上海201804) 摘 要:图像拼接技术是通过将一组具有部分重叠的图像或视频图像进行无缝拼接后而得到的具有高分辨率的图像或全景图,是图像处理技术的一个重要内容。主要介绍了图像拼接技术的主要步骤、比值匹配法的基本原理和优缺点,然后针对此算法容易出现误匹配的问题,提出了一种改进的算法。通过引用等比例数列的思想增加区域像素信息,与传统方法相比,这种方法可以更快更准地找到最佳匹配位置,从而提高了算法的准确性。实验结果证明了此算法可以有效的消除误匹配。 关键词:图像拼接;图像匹配;比值匹配法;图像融合 中图分类号:TP391 文献标识码:A 文章编号:1673-629X (2010)02-0005-04 An Improved Mosaic Algorithm B ased on R atio Matching Using G eometric Proportion RAN Ke 2ke ,WAN G Ji 2cheng (Department of Electronics and Information Engineering ,Tongji University ,Shanghai 201804,China ) Abstract :Image stitching is normally used to make up a seamless and high resolution with a set of the overlap parts of images and videos.It is one of important technologies for image processing.Presented the main step of the image mosaics ,basic principle and advantages and disadvantages of the ration matching algorithm ,based on the ratio matching algorithm ,an improved algorithm of image stitching is pre 2sented in order to resolve the pseudo https://www.wendangku.net/doc/5212462479.html,ing the theory of geometric proportion ,comparing with traditional methods ,the algo 2rithm can find the optimal position more quickly and more exactly.The experiments show that this method can eliminate false matches validly. K ey w ords :image stitching ;image registration ;ratio matching ;image fusion 0 引 言 随着数码照相设备的广泛普及,越来越多的数码图像被应用于各个方面的研究中。在实际的科学研究和工程项目中,经常会用到超过人眼视角的高分辨率图像。为了得到大视角的高分辨率图像,人们往往利用广角镜头和扫描式相机来解决部分问题。但这些设备都有价格昂贵和使用复杂等缺点,另外,在一幅低分辨率的图像中得到超宽视角会损失景物中物体的分辨率,而且,广角镜头的图像边缘会产生难以避免的扭曲变形。所以为了在不降低图像分辨率的条件下获取大视野范围的场景照片,人们采用了图像拼接技术来将多幅照片拼接成一幅大的照片。 研究图像拼接技术的目的就是利用计算机进行自 动匹配,将具有重叠区域的多幅图片合成为一幅宽角度图片,以此来扩大视区的范围。现在图像拼接技术已经成为数字图像处理领域的一个研究热点,被广泛应用于虚拟现实、计算机视觉、遥感图像处理、医学图像分析、计算机图形学、视频的索引和检索以及数字视频压缩等领域。 图像拼接技术主要包括图像配准和图像融合两个关键环节。图像配准是图像拼接的核心部分,它直接关系到图像拼接算法的成功率和执行速度。图像配准算法大体可分为基于特征的图像配准和基于区域的图像配准两类[1]。基于特征的图像拼接是利用图像的明显特征(角点或轮廓等)来估算图像之间的变换,从而确定匹配位置。基于区域的方法是利用图像的像素值之间的相关性来寻找最佳匹配点的。常用的方法[2]有点匹配法、线匹配法、面积匹配法[3]、网格匹配法[4]和比值匹配法[5]。比值匹配法具有计算速度快等特点,广泛应用于图像拼接技术中。但是这种方法由于其自 第20卷 第2期2010年2月 计算机技术与发展COMPU TER TECHNOLO GY AND DEV ELOPMEN T Vol.20 No.2Feb. 2010 摘要：介绍了遥感影像三种常用的图像融合方式。进行实验，对一幅具有高分辨率的SPOT全色黑白图像与一幅具有多光谱信息的SPOT图像进行融合处理，生成一幅既有高分辨率又有多光谱信息的图像，简要分析比较三种图像融合方式的各自特点，择出本次实验的最佳融合方式。 关键字：遥感影像；图像融合；主成分变换；乘积变换；比值变换；ERDAS IMAGINE 1. 引言 由于技术条件的限制和工作原理的不同，任何来自单一传感器的信息都只能反映目标的某一个或几个方面的特征，而不能反应出全部特征。因此，与单源遥感影像数据相比，多源遥感影像数据既具有重要的互补性，也存在冗余性。为了能更准确地识别目标，必须把各具特色的多源遥感数据相互结合起来，利用融合技术，针对性地去除无用信息，消除冗余，大幅度减少数据处理量，提高数据处理效率；同时，必须将海量多源数据中的有用信息集中起来，融合在一起，从多源数据中提取比单源数据更丰富、更可靠、更有用的信息，进行各种信息特征的互补，发挥各自的优势，充分发挥遥感技术的作用。[1] 在多源遥感图像融合中，针对同一对象不同的融合方法可以得到不同的融合结果，即可以得到不同的融合图像。高空间分辨率遥感影像和高光谱遥感影像的融合旨在生成具有高空间分辨率和高光谱分辨率特性的遥感影像，融合方法的选择取决于融合影像的应用，但迄今还没有普适的融合算法能够满足所有的应用目的，这也意味着融合影像质量评价应该与具体应用相联系。[2] 此次融合操作实验是用三种不同的融合方式（主成分变换融合，乘积变换融合，比值变换融合），对一幅具有高分辨率的SPOT全色黑白图像与一幅具有多 光谱信息的SPOT图像进行融合处理，生成一幅既有高分辨率又有多光谱信息的图像。 2. 源文件 1 、 imagerycolor.tif ，SPOT图像，分辨率10米，有红、绿、两个红外共四个波段。 2 、imagery-5m.tif ，SPOT图像，分辨率5米。 3. 软件选择 在常用的四种遥感图像处理软件中，PCI适合用于影像制图，ENVI在针对像元处理的信息提取中功能最强大，ER Mapper对于处理高分辨率影像效果较好，而ERDAS IMAGINE的数据融合效果最好。[3] ERDAS IMAGINE是美国Leica公司开发的遥感图像处理系统。它以其先进的图像处理技术，友好、灵活的用户界面和操作方式，面向广阔应用领域的产品模块，服务于不同层次用户的模型开发工具以及高度的RS/GIS（遥感图像处理和地理信息系统）集成功能，为遥感及相关应用领域的用户提供了内容丰富而功能强大的图像处理工具。 2012年5月1日，鹰图发布最新版本的ERDAS IMAGINE，所有ERDAS 2011软件用户都可以从官方网站上下载最新版本 ERDAS IMAGINE 11.0.5. 新版本包括之前2011服务包的一些改变。相比之前的版本，新版本增加了更多ERDAS IMAGINE和GeoMedia之间的在线联接、提供了更为丰富的图像和GIS产品。用户使用一个单一的产品，就可以轻易地把两个产品结合起来构建一个更大、更清 图像融合算法概述 摘要：详细介绍了像素级图像融合的原理,着重分析总结了目前常用的像素级图像融合的方法和质量评价标准,指出了像素级图像融合技术的最新进展,探讨了像素级图像融合技术的发展趋势。 关键词：图像融合; 多尺度变换; 评价标准 Abstract:This paper introduced the principles based on image fusion at pixel level in detail, analysed synthetically and summed up the present routine algorithm of image fusion at pixel level and evaluation criteria of its quality. It pointed out the recent development of image fusion at pixel level, and discussed the development tendency of technique of image fusion at pixel level. Key words:image fusion; multi-scale transform; evaluation criteria 1.引言： 图像融合是通过一个数学模型把来自不同传感器的多幅图像综合成一幅满足特定应用需求的图像的过程, 从而可以有效地把不同图像传感器的优点结合起来, 提高对图像信息分析和提取的能力[ 1] 。近年来, 图像融合技术广泛地应用于自动目标识别、计算机视觉、遥感、机器人、医学图像处理以及军事应用等领域。图像融合的主要目的是通过对多幅图像间冗余数据的处理来提高图像的可靠性; 通过对多幅图像间互补信息的处理来提高图像的清晰度。根据融合处理所处的阶段不同,图像融合通常可以划分为像素级、特征级和决策级。融合的层次不同, 所采用的算法、适用的范围也不相同。在融合的三个级别中, 像素级作为各级图像融合的基础, 尽可能多地保留了场景的原始信息, 提供其他融合层次所不能提供的丰富、精确、可靠的信息, 有利于图像的进一步分析、处理与理解, 进而提供最优的决策和识别性能. 2.图像融合算法概述 2.1 图像融合算法基本理论 高清图像全景拼接 Company Document number：WTUT-WT88Y-W8BBGB-BWYTT-19998 全景拼接白皮书 目录 1 方案概述 1.1 市场需求 全景拼接系统，是以画面拼接技术为基础，将周围相邻的若干个摄像机画面拼接成一幅画面。传统视频监控系统，用户如果要实时监控一片连续的大范围区域，最常见的做法是，安装多个摄像机，每个负责一小片区域，该方案的主要缺陷是，用户没有画面整体感，很难连续追踪整个区域内的某个目标。全景拼接系统，能很好的解决上述问题。 传统意义上的全景拼接系统，虽然解决了“看的广”、“看的画面连续”的问题，但并没有解决“看的清”的问题。因此宇视的全景拼接系统中，增加了球机联动功能，以解决“看的清”的问题，一台10倍以上光学放大的球机可以看清100米甚至更远的目标。球机联动功能，是以枪球映射技术为基础，将全景画面坐标系和球机画面坐标系关联映射起来，用户只要在全景画面中拉框，球机就自动转动和变倍到指定位置，对用户来说这是一个设备，而不是孤立的两个设备。 全景拼接系统，主要应用于大范围监控，如广场、公园、景区、机场停机坪、机场大厅、物流仓库、大型生产车间、交通枢纽等。 1.2 方案特点 ●画面拼接：支持3个高清相机（最高1080P）的拼接。 ●画面拼接：拼接后最高分辨率可以达到5760×1080。 ●球机联动：支持1个球机（最高1080P）的联动。 ●球机联动：支持在全景画面中拉框放大，自动联动球机转动和变倍到指定位置。 2 组网模型 2.1 全景拼接 2.1.1 逻辑框图（或拓扑图） 2.1.2 原理描述 拼接原理： 拼接前提：用于拼接的摄像机，在图像内容上，两两相交。全景拼接算法简介
图像记忆的原理和方法[图像拼接原理及方法]
多聚焦图像融合方法综述
图像拼接原理及方法
360°全景拼接技术简介
图像融合的研究背景和研究意义
图像拼接算法及实现(一).
图像拼接原理及方法
图像拼接算法及实现.doc
ENVI中的融合方法
基于比值法图像拼接的等比例改进算法
三种图像融合方法实际操作与分析
图像融合算法概述
高清图像全景拼接