基于OpenCV的人眼瞳孔定位算法_李红匣

０引言

近年来，人脸检测在信息安全、出入口访问控制、图像与视频检索和智能人机接口等方面的广泛运用，已成为机器视觉和模式识别等领域的热门课题［１］。而人的眼睛，比鼻子、嘴等其他人体器官能够提供更多更重要的信息，如表情、疲劳状态、心理活动等，所以瞳孔定位在疲劳检测、表情识别、身份认证等方面有重要的意义。

１人脸检测

本文主要采用Ａｄａｂｏｏｓｔ算法对人脸进行检测。Ａｄ－

ａｂｏｏｓｔ算法是一种迭代算法，其主要原理为：首先，通过对训练集的训练，可以得到若干个弱分类器；然后，将弱分类器集合起来构造成一个强分类器，并且该强分类器具有较强的分类能力；最后，通过将若干个强分类器级联得到级联分类器［２］。

Ａｄａｂｏｏｓｔ算法能够实现快速人脸定位，整个过程主要包括３个部分：图像预处理、载入分类器和人脸检测，如图１所示。

２基于灰度投影的人眼定位

目前，人眼定位有很多方法，主要分为基于模板的方法、基于表观的方法和基于特征的方法［２］。其中，王文成等人［２］提出了利用区域投影的方法定位人眼区域，该方法通过对人脸图像计算水平积分投影，然后再利用人眼在面部的特殊位置得到人眼区域。此方法较为理想化，首先利用人眼的特殊位置缩小眼睛的范围，再计算积分投影等到人眼的大致区域；然后利用边缘检测、膨胀处理等方法获得了人眼较为精确的范围。

人眼定位综合了图像增强、水平积分投影及区域特征等算法。图２所示为系统设计中人眼定位的流程图。

基于ＯｐｅｎＣＶ的人眼瞳孔定位算法ＴｈｅＨｕｍａｎＥｙｅＰｕｐｉｌＬｏｃａｌｉｚａｔｉｏｎＡｌｇｏｒｉｔｈｍＢａｓｅｄｏｎＯｐｅｎＣＶ

李红匣（五邑大学，广东江门５２９０２０）

ＬｉＨｏｎｇ－ｘｉａ（ＷｕｙｉＵｎｉｖｅｒｓｉｔｙ，ＧｕａｎｇｄｏｎｇＪｉａｎｇｍｅｎ５２９０２０）

摘要：近年来，人脸检测技术在机器视觉、模式识别、人工智能等领域得到了广泛的应用。而包含着丰富的内容和信息的人眼，作为人体生物特征的一个重要部分，关于人眼检测与定位的技术更是广泛应用在生物识别、医疗辅助、人机交互等领域。该文利用水平积分投影和区域特征的算法，快速定位人眼区域，然后利用区域投影的方法实现了瞳孔定位。

关键词：人脸检测；水平积分投影；区域投影

中图分类号：ＴＰ３９１．４１文献标识码：Ａ文章编号：１００３－０１０７（２０１２）１１－００１４－０４

Ａｂｓｔｒａｃｔ：Ｉｎｒｅｃｅｎｔｙｅａｒｓ，ｆａｃｅｄｅｔｅｃｔｉｏｎｔｅｃｈｎｏｌｏｇｙｈａｓｂｅｅｎｗｉｄｅｌｙａｐｐｌｉｅｄｉｎｔｈｅｆｉｅｌｄｏｆｍａｃｈｉｎｅｖｉ－ｓｉｏｎ，ｐａｔｔｅｒｎｒｅｃｏｇｎｉｔｉｏｎ，ａｒｔｉｆｉｃｉａｌｉｎｔｅｌｌｉｇｅｎｃｅ．Ａｎｄｔｈｅｅｙｅｓ，ａｓａｎｉｍｐｏｒｔａｎｔｐａｒｔｏｆｈｕｍａｎ，ｃｏｎｔａｉｎａｌｏｔｏｆｃｏｎｔｅｎｔａｎｄｉｎｆｏｒｍａｔｉｏｎ．Ｔｈｅｄｅｔｅｃｔｉｏｎａｎｄｌｏｃａｔｉｏｎｏｆｔｈｅｈｕｍａｎｅｙｅｓａｒｅｍｏｒｅｗｉｄｅｌｙｕｓｅｄｉｎｔｈｅｆｉｅｌｄｏｆｂｉｏｍｅｔｒｉｃｓ，ｍｅｄｉｃａｌａｓｓｉｓｔａｎｃｅ，ａｎｄｈｕｍａｎ－ｃｏｍｐｕｔｅｒｉｎｔｅｒａｃｔｉｏｎ．Ｉｎｔｈｉｓｐａｐｅｒ，ｔｈｅａｌｇｏｒｉｔｈｍｓｏｆｈｏｒｉ－ｚｏｎｔａｌｉｎｔｅｇｒａｌｐｒｏｊｅｃｔｉｏｎａｎｄｒｅｇｉｏｎａｌｃｈａｒａｃｔｅｒｉｓｔｉｃｓ，ｑｕｉｃｋｌｙｌｏｃａｔｅｔｈｅｅｙｅｒｅｇｉｏｎｓ．Ａｎｄｔｈｅａｌｇｏｒｉｔｈｍｏｆｒｅｇｉｏｎｐｒｏｊｅｃｔｉｏｎｉｓｕｓｅｄｔｏｌｏｃａｔｅｔｈｅｐｏｓｉｔｉｏｎｏｆｐｕｐｉｌｓ．

Ｋｅｙｗｏｒｄｓ：ｈｕｍａｎｆａｃｅｄｅｔｅｃｔｉｏｎ；ｈｏｒｉｚｏｎｔａｌｉｎｔｅｇｒａｌｐｒｏｊｅｃｔｉｏｎ；ｒｅｇｉｏｎｐｒｏｊｅｃｔｉｏｎ

ＣＬＣｎｕｍｂｅｒ：ＴＰ３９１．４１Ｄｏｃｕｍｅｎｔｃｏｄｅ：ＡＡｒｔｉｃｌｅＩＤ：１００３－０１０７（２０１２）１１－００１４－０４

作者简介：李红匣（１９８６－），女，硕士研究生，主要研究方向为人脸检测。

图１人脸检测人脸检测

１４

２．１图像预处理

２．１．１缩小定位范围

在定位好的人脸图像中，我们用一个矩形框将检测到的人脸标记出来，并将这个矩形记为Ｒ；为了进一步缩小搜索范围，根据人脸的面部特征，将从距矩形Ｒ顶部１／８处到距矩形Ｒ底部１／２处为止的部分作为新的矩形，记为Ｒ＇，如图３所示。这种情况都包含了人眼区域，并将所得到的人眼区域取出，从而得到图像，如图４（ａ）所示。该项处理确定了人眼的搜索区域，而且对后续处理的好处有两个：一个是缩小了图像的尺寸，使搜索的范围减小，从而减少了处理的时间；另一个是除去了图像中会对人眼检测造成影响的一些因素，如光照等。

２．１．２图像增强

图像增强主要包括空域增强和频域增强，本文使用的是空域增强。图４（ａ）所示为经过２．１．１节步骤处理后所得到的图像，记为原始图像。

首先，对原始图像（如图４（ａ）所示）进行均值滤波。均值滤波器是常用的线性滤波器之一，对噪声有较好的抑制作用。均值滤波的主要思想是：先计算图像中某一点及其周围８个像素点的像素值的均值，再用得到的均值代替目标点的像素值［３］；然后，对图像进行直方图均衡化，图４（ｃ）所示是处理后的结果。

２．１．３图像水平灰度投影

图像预处理后，可以通过计算图像的水平积分投影进一步缩小人眼的范围。

如图５所示，图像的水平灰度投影呈现出一定的规律：图５中出现的两个波谷自上而下分别对应眉毛区域和眼睛区域。具体的判定过程为：首先计算水平积分投影；设定波谷幅度的最小阈值；在水平灰度投影图像中，从图像的底部向图像的顶部搜索，当波谷幅值大于设定的最小阈值、

且为第一个波谷，则将此波谷的坐标作为眼睛的中心坐标；以此坐标为中心，分别向图像底部和顶部扩展一定的范围［４］，将包括眼睛的最小部分取出，如图６所示

。

图２人眼定位流程

图３

缩小定位范围

（ａ）原始图像

（ｂ）均值滤波

（ｃ）直方均衡化

图４

１５

２．２人眼定位

２．２．１边缘检测

针对图６所示的人眼区域，本文采用Ｓｏｂｅｌ算子对图像进行边缘检测。

２．２．２膨胀处理

首先对边缘图像进行阈值分割，然后再进行膨胀处理［４］。由于圆形模板的对称性，所以本文采用了圆形结构元素。

２．２．３区域连通性分析

本文采用了区域增长法对图像进行连通性分析。区域增长法是一种利用同一物体区域内的像素具有相似性的性质来聚集像素点的方法，由初始区域开始，如小邻域（或像素点），将与其相邻的、且具有相同性质的像素（或区域）合并到当前的区域中；利用这种方式逐步增长区域，直至没有可以合并的像素点（或小区域）为止［５］。

当区域像素点的个数大于某一定值时，该区域可以被认为是人眼区域，由此可以进行人眼定位，如图６所示。

３瞳孔定位

３．１区域投影

本文利用一种基于ＲＰＦ［６］

的方法，对瞳孔区域进行粗定位。

算法的主要思想是：将眼睛窗口在水平和垂直方向上进行平均分割，假设垂直分割和水平分割的个数分别为ｍ、ｎ，分割后水平方向的区域宽为ｗ，垂直方向的高为

ｈ，则第ｉ区域的垂直投影与第ｊ区域的水平投影函数分

别为：

（Ｒｖ）ｉ＝ｉｗ

ΣＰｖ（ｘ），１≤ｉ≤ｍ

（Ｒｈ）ｊ＝ｉｗ

ΣＰｈ（ｙ），１≤ｊ≤ｎ

式中，

Ｐｖ（ｘ）和Ｐｈ（ｙ）分别表示在第ｘ列方向的垂直投影和在第ｙ行方向的水平投影［７］。垂直投影灰度最小值区域与水平投影灰度最小值区域的交集即是眼睛中心所在的区域。然后，将眼睛中心区域与８邻域合并，这样就将瞳孔尽可能地包含在此区域中，再针对该区域进行处理，从而实现瞳孔定位。

３．２瞳孔中心定位

对于获得的包含瞳孔的区域如图７所示，由于瞳孔比周围的眼白的灰度值低，可以利用此灰度特性精确得

到眼睛的中心坐标。具体操作过程如下：

（１）确定滤波窗口函数，进行线性滤波；（２）利用Ｏｔｓｕ方法进行区域分割，实现二值化；（３）从图片的中心点开始进行边界跟踪，获得瞳孔范围；

（４）采用重心法计算瞳孔中心点的坐标［８］。

４实验结果及分析

针对上述算法，分别对两幅人脸图像进行了实验，实验结果如图８所示。由图８可知，左边图像定位的效果较好，而右边图像定位的人眼区域不是很好。分析其原因，主要是因为该图像中人眼有一定角度的倾斜，在由计算得到的水平积分投影中定位的波谷产生了偏差，导致定位的人眼区域的效果不是很好。

５结论

本文以ＯｐｅｎＣＶ图像处理库为核心，在ＭｉｃｒｏｓｏｆｔＶｉ－ｓｕａｌＳｔｕｄｉｏ２００５的环境下，设计实现了一个人眼瞳孔定位系统，具有较好的移植性和实用性。但是该算法较为复杂，对该算法继续进行优化以适应实际应用是以后主要

研究的方向。

参考文献：

［１］ＨＪＥＬＭＡＳＥ．Ｆａｃｅｄｅｔｅｃｔｉｏｎ：Ａｓｕｒｖｅｙ［Ｊ］．ＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＩｍａｇｅＵｎｄｅｒｓｔａｎｄｉｎｇ，２００１，８３（３）：２３６－２７４．

［２］王文成，常发亮．一种基于区域投影的人眼精确定位方法［Ｊ］．光电子·激光，２０１１，２２（４）：６１８－６２２．

［３］赵黎．基于ＯｐｅｎＣＶ的人脸检测系统设计与实现［Ｊ］．科技信息（科学教研），

２００８，（１８）．

图５

图像水平灰度投影

图６人眼区域

ｘ＝（ｉ－１）ｗ＋１

ｙ＝（ｊ－１）ｈ＋１

图８

实验结果

图７瞳孔定位结果图

１６

星系统的市场竞争力。研究ＧＭＲ－１标准，为我国开发研制具有自主知识产权的地球同步卫星移动通信系统，具有一定的参照作用和积累了经验。

参考文献：

［１］ＧＥＯ－ＭｏｂｉｌｅＲａｄｉｏＩｎｔｅｒｆａｃｅＳｐｅｃｉｆｉｃａｔｉｏｎｓ：Ｐａｒｔ１：Ｇｅｎｅｒａｌｓｐｅｃｉｆｉｃａｔｉｏｎｓ；ｓｕｂ－ｐａｒｔ３：ＧｅｎｅｒａｌＳｙｓｔｅｍＤｅｓｃｒｉｐｔｉｏｎ；ＧＭＲ－１０１．２０２［Ｓ］．

［２］３ＧＰＰＴＳ２９．００７Ｖ４．１４．０［Ｓ］．

［３］ＧＥＯ－ＭｏｂｉｌｅＲａｄｉｏＩｎｔｅｒｆａｃｅＳｐｅｃｉｆｉｃａｔｉｏｎｓ；Ｐａｒｔ４：Ｒａｄｉｏｉｎｔｅｒｆａｃｅｐｒｏｔｏｃｏｌｓｐｅｃｉｆｉｃａｔｉｏｎｓ；Ｓｕｂ－ｐａｒｔ８：ＭｏｂｉｌｅＲａｄｉｏＩｎｔｅｒｆａｃｅＬａｙｅｒ３Ｓｐｅｃｉｆｉｃａｔｉｏｎｓ；ＧＭＲ－１０４．００８［Ｓ］．［４］ＧＥＯ－ＭｏｂｉｌｅＲａｄｉｏＩｎｔｅｒｆａｃｅＳｐｅｃｉｆｉｃａｔｉｏｎ：Ｐａｒｔ３ｎｅｔｗｏｒｋｓｐｅｃｉｆｉｃａｔｉｏｎｓ；ｓｕｂ－ｐａｒｔ１８：ｔｅｒｍｉｎａｌ－ｔｏ－ｔｅｒｍｉｎａｌｃａｌｌ（ＴｔＴ）；ＧＭＲ－１０３．２９６［Ｓ］．

［５］ＧＥＯ－ＭｏｂｉｌｅＲａｄｉｏＩｎｔｅｒｆａｃｅＳｐｅｃｉｆｉｃａｔｉｏｎ：Ｐａｒｔ３ｎｅｔｗｏｒｋｓｐｅｃｉｆｉｃａｔｉｏｎｓ；ｓｕｂ－ｐａｒｔ１９：ＯｐｔｉｍａｌＲｏｕｔｉｎｇｔｅｃｈｎｉｃａｌｒｅａｌ－ｉｚａｔｉｏｎ；ＧＭＲ－１０３．２９７［Ｓ］．

［６］ＧＥＯ－ＭｏｂｉｌｅＲａｄｉｏＩｎｔｅｒｆａｃｅＳｐｅｃｉｆｉｃａｔｉｏｎ：Ｐａｒｔ３ｎｅｔｗｏｒｋｓｐｅｃｉｆｉｃａｔｉｏｎｓ；ｓｕｂ－ｐａｒｔ２０：ＴｅｃｈｎｉｃａｌｒｅａｌｉｚａｔｉｏｎｏｆＨｉｇｈ－ＰｅｎｅｔｒａｔｉｏｎＡｌｅｒｔｉｎｇ；ＧＭＲ－１０３．２９８［Ｓ］．

［７］ＧＥＯ－ＭｏｂｉｌｅＲａｄｉｏＩｎｔｅｒｆａｃｅＳｐｅｃｉｆｉｃａｔｉｏｎ：Ｐａｒｔ３：Ｎｅｔ－ｗｏｒｋｓｐｅｃｉｆｉｃａｔｉｏｎｓ；Ｓｕｂ－ｐａｒｔ２１：ＰｏｓｉｔｉｏｎＲｅｐｏｒｔｉｎｇｓｅｒ－ｖｉｃｅｓ；ＧＭＲ－１０３．２９９［Ｓ］．

［８］ＧＥＯ－ＭｏｂｉｌｅＲａｄｉｏＩｎｔｅｒｆａｃｅＳｐｅｃｉｆｉｃａｔｉｏｎｓ；Ｐａｒｔ５：Ｒａｄｉｏｉｎｔｅｒｆａｃｅｐｈｙｓｉｃａｌｌａｙｅｒｓｐｅｃｉｆｉｃａｔｉｏｎｓ；Ｓｕｂ－ｐａｒｔ１：Ｐｈｙｓｉ－ｃａｌＬａｙｅｒｏｎｔｈｅＲａｄｉｏＰａｔｈ：ＧｅｎｅｒａｌＤｅｓｃｒｉｐｔｉｏｎ；ＧＭＲ－１０５．００１［Ｓ］．

［９］ＧＥＯ－ＭｏｂｉｌｅＲａｄｉｏＩｎｔｅｒｆａｃｅＳｐｅｃｉｆｉｃａｔｉｏｎｓ；Ｐａｒｔ５：Ｒａｄｉｏｉｎｔｅｒｆａｃｅｐｈｙｓｉｃａｌｌａｙｅｒｓｐｅｃｉｆｉｃａｔｉｏｎｓ；Ｓｕｂ－ｐａｒｔ３：ＣｈａｎｎｅｌＣｏｄｉｎｇ；ＧＭＲ－１０５．００３［Ｓ］．［１０］３ＧＰＰＴＳ０５．０３Ｖ８．９．０．

［１１］ＧＥＯ－ＭｏｂｉｌｅＲａｄｉｏＩｎｔｅｒｆａｃｅＳｐｅｃｉｆｉｃａｔｉｏｎｓ；Ｐａｒｔ５：Ｒａｄｉｏ

ｉｎｔｅｒｆａｃｅｐｈｙｓｉｃａｌｌａｙｅｒｓｐｅｃｉｆｉｃａｔｉｏｎｓ；Ｓｕｂ－ｐａｒｔ４：Ｍｏｄｕ－ｌａｔｉｏｎ；ＧＭＲ－１０５．００４［Ｓ］．［１２］３ＧＰＰＴＳ０５．０４Ｖ８．４．０．

［１３］ＧＥＯ－ＭｏｂｉｌｅＲａｄｉｏＩｎｔｅｒｆａｃｅＳｐｅｃｉｆｉｃａｔｉｏｎ；ｐａｒｔ４：Ｒａｄｉｏ

ｉｎｔｅｒｆａｃｅｐｒｏｔｏｃｏｌｓｐｅｃｉｆｉｃａｔｉｏｎｓ；ｓｕｂ－ｐａｒｔ６：Ｍｏｂｉｌｅｅａｒｔｈｓｔａｔｉｏｎ－ＧａｔｅｗａｙＳｔａｔｉｏｎＩｎｔｅｒｆａｃｅＤａｔａＬｉｎｋＬａｙｅｒｓｐｅｃｉ－ｆｉｃａｔｉｏｎ；ＧＭＲ－１０４．００６［Ｓ］．

［１４］３ＧＰＰＴＳ０４．０８Ｖ７．２１．０．Ｍｏｂｉｌｅｒａｄｉｏｉｎｔｅｒｆａｃｅｌａｙｅｒ３

ｓｐｅｃｉｆｉｃａｔｉｏｎ［Ｓ］．

［４］符志鹏，汪丰，马小强．基于灰度投影及区域特征的人眼定位算法［Ｊ］．电脑知识与技术，２００８，（３４）．

［５］庞希愚．视频运动对象提取和跟踪方法的研究［Ｄ］．山东：山东大学硕士学位论文，２００７．

［６］薛雪，刘泽平，丁艳．基于区域增长的图像跟踪算法的研

究［Ｊ］．光学技术，２００５，３１（１）：１５２－１５４．

［７］ＺＨＯＵＺＨ，ＧＥＮＧＸ．Ｐｒｏｊｅｃｔｉｏｎｆｕｎｃｔｉｏｎｓｆｏｒｅｙｅｄｅｔｅｃｔｉｏｎ［Ｊ］．Ｐａｔ－ｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，２００４，３７（５）．

［８］李忠科．虹膜识别系统的若干算法研究［Ｄ］．长沙：长沙理

工大学硕士学位论文，２０１１．

上接１０

页

１７

全景拼接算法简介

全景拼接算法简介 罗海风 2014.12.11 目录 1.概述 (1) 2.主要步骤 (2) 2.1. 图像获取 (2) 2.2鱼眼图像矫正 (2) 2.3图片匹配 (2) 2.4 图片拼接 (2) 2.5 图像融合 (2) 2.6全景图像投射 (2) 3.算法技术点介绍 (3) 3.1图像获取 (3) 3.2鱼眼图像矫正 (4) 3.3图片匹配 (4) 3.3.1与特征无关的匹配方式 (4) 3.3.2根据特征进行匹配的方式 (5) 3.4图片拼接 (5) 3.5图像融合 (6) 3.5.1 平均叠加法 (6) 3.5.2 线性法 (7) 3.5.3 加权函数法 (7) 3.5.4 多段融合法（多分辨率样条） (7) 3.6全景图像投射 (7) 3.6.1 柱面全景图 (7) 3.6.2 球面全景图 (7) 3.6.3 多面体全景图 (8) 4.开源图像算法库OPENCV拼接模块 (8) 4.1 STITCHING_DETAIL程序运行流程 (8) 4.2 STITCHING_DETAIL程序接口介绍 (9) 4.3测试效果 (10) 5.小结 (10) 参考资料 (10) 1.概述 全景视图是指在一个固定的观察点，能够提供水平方向上方位角360度，垂直方向上180度的自由浏览（简化的全景只能提供水平方向360度的浏览）。 目前市场中的全景摄像机主要分为两种：鱼眼全景摄像机和多镜头全景摄像机。鱼眼全景摄像机是由单传感器配套特殊的超广角鱼眼镜头，并依赖图像校正技术还原图像的鱼眼全景摄像机。鱼眼全景摄像机

最终生成的全景图像即使经过校正也依然存在一定程度的失真和不自然。多镜头全景摄像机可以避免鱼眼镜头图像失真的缺点，但是或多或少也会存在融合边缘效果不真实、角度有偏差或分割融合后有"附加"感的缺撼。 本文档中根据目前所查找到的资料，对多镜头全景视图拼接算法原理进行简要的介绍。 2.主要步骤 2.1. 图像获取 通过相机取得图像。通常需要根据失真较大的鱼眼镜头和失真较小的窄视角镜头决定算法处理方式。单镜头和多镜头相机在算法处理上也会有一定差别。 2.2鱼眼图像矫正 若相机镜头为鱼眼镜头，则图像需要进行特定的畸变展开处理。 2.3图片匹配 根据素材图片中相互重叠的部分估算图片间匹配关系。主要匹配方式分两种： A．与特征无关的匹配方式。最常见的即为相关性匹配。 B．根据特征进行匹配的方式。最常见的即为根据SIFT，SURF等素材图片中局部特征点，匹配相邻图片中的特征点，估算图像间投影变换矩阵。 2.4 图片拼接 根据步骤2.3所得图片相互关系，将相邻图片拼接至一起。 2.5 图像融合 对拼接得到的全景图进行融合处理。 2.6 全景图像投射 将合成后的全景图投射至球面、柱面或立方体上并建立合适的视点，实现全方位的视图浏览。

图像拼接原理及方法

第一章绪论 1.1图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系 列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制( IBR )成为结合两个互补领域 ――计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化 场景描述(Visual Seene Representaions)的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以 使IBR从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说360度的环形图片了。但是在实际应用中，很 多时候需要将360度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360度景物的多幅图像进行拼接，从而实时地得到 超大视角甚至是360度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目 视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双 目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360度全景图像，用来虚拟实际场景。 这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四 周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图 像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对来自同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术将遥感卫星拍摄到的有失真地面图像拼接成比较准确的完整图像，作为进一步研究的依据。 从以上方面可以看出，图像拼接技术的应用前景十分广阔，深入研究图像拼接技术有着很重 要的意义 1.2图像拼接算法的分类 图像拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了很多拼接算 法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核心和关键。根据图像匹配方法的不同仁阔，一般可以将图像拼接算法分为以下两个类型： (1) 基于区域相关的拼接算法。 这是最为传统和最普遍的算法。基于区域的配准方法是从待拼接图像的灰度值出发，对 待配准图像中一块区域与参考图像中的相同尺寸的区域使用最小二乘法或者其它数学方法 计算其灰度值的差异，对此差异比较后来判断待拼接图像重叠区域的相似程度，由此得到待

360°全景拼接技术简介

本文为技术简介，详细算法可以参考后面的参考资料。 1.概述 全景图像(Panorama)通常是指大于双眼正常有效视角(大约水平90度，垂直70度)或双眼余光视角(大约水平180度，垂直90度)，在一个固定的观察点，能够提供水平方向上方位角360度，垂直方向上180度的自由浏览（简化的全景只能提供水平方向360度的浏览），乃至360度完整场景范围拍摄的照片。 生成全景图的方法，通常有三种：一是利用专用照相设备，例如全景相机，带鱼眼透镜的广角相机等。其优点是容易得到全景图像且不需要复杂的建模过程，但是由于这些专用设备价格昂贵，不宜普遍适用。二是计算机绘制方法，该方法利用计算机图形学技术建立场景模型，然后绘制虚拟环境的全景图。其优点是绘制全景图的过程不需要实时控制，而且可以绘制出复杂的场景和真实感较强的光照模型，但缺点是建模过程相当繁琐和费时。三是利用普通数码相机和固定三脚架拍摄一系列的相互重叠的照片，并利用一定的算法将这些照片拼接起来，从而生成全景图。 近年来随着图像处理技术的研究和发展，图像拼接技术已经成为计算机视觉和计算机图形学的研究焦点。目前出现的关于图像拼接的商业软件主要有Ptgui、Ulead Cool 360及ArcSoft Panorama Maker等，这些商业软件多是半自动过程，需要排列好图像顺序，或手动点取特征点。 2.全景图类型： 1)柱面全景图 柱面全景图技术较为简单，发展也较为成熟，成为大多数构建全景图虚拟场景的基础。这种方式是将全景图像投影到一个以相机视点为中心的圆柱体内表面，

视线的旋转运动即转化为柱面上的坐标平移运动。这种全景图可以实现水平方向360度连续旋转，而垂直方向的俯仰角度则由于圆柱体的限制要小于180度。柱面全景图有两个显著优点：一是圆柱面可以展开成一个矩形平面，所以可以把柱面全景图展开成一个矩形图像，而且直接利用其在计算机内的图像格式进行存取；二是数据的采集要比立方体和球体都简单。在大多数实际应用中，360度的环视环境即可较好地表达出空间信息，所以柱面全景图模型是较为理想的一种选择。 2)立方体全景图 立方体全景图由六个平面投影图像组成，即将全景图投影到一个立方体的内表面上。这种方式下图像的采集和相机的标定难度较大，需要使用特殊的拍摄装置，依次在水平、垂直方向每隔90度拍摄一张照片，获得六张可以无缝拼接于一个立方体的六个面上的照片。这种方法可以实现水平方向360度旋转、垂直方向180度俯仰的视线观察。 3)球面全景图 球面全景图是指将源图像拼接成一个球体的形状，以相机视点为球心，将图像投影到球体的内表面。与立方体全景图类似，球面全景图也可以实现水平方向360度旋转、垂直方向180度俯仰的视线观察。球面全景图的拼接过程及存储方式较柱面全景图大为复杂，这是因为生成球面全景图的过程中需要将平面图像投影成球面图像，而球面为不可展曲面。因此这是一个平面图像水平和垂直方向的非线性投影过程，同时也很难找到与球面对应且易于存取的数据结构来存放球面图像。目前国内外在这方面提出的研究算法较其他类型全景图少，而且在可靠性和效率方面也存在一些问题。 3.主要内容

图像拼接算法及实现(一).

图像拼接算法及实现（一） 论文关键词：图像拼接图像配准图像融合全景图 论文摘要：图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准,经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值。一般来说,图像拼接的过程由图像获取,图像配准,图像合成三步骤组成,其中图像配准是整个图像拼接的基础。本文研究了两种图像配准算法:基于特征和基于变换域的图像配准算法。在基于特征的配准算法的基础上,提出一种稳健的基于特征点的配准算法。首先改进Harris角点检测算法,有效提高所提取特征点的速度和精度。然后利用相似测度NCC(normalized cross correlation——归一化互相关),通过用双向最大相关系数匹配的方法提取出初始特征点对,用随机采样法RANSAC(Random Sample Consensus)剔除伪特征点对,实现特征点对的精确匹配。最后用正确的特征点匹配对实现图像的配准。本文提出的算法适应性较强,在重复性纹理、旋转角度比较大等较难自动匹配场合下仍可以准确实现图像配准。 Abstract：Image mosaic is a technology that carries on the spatial matching to a series of image which are overlapped with each other, and finally builds a seamless and high quality image which has high resolution and big eyeshot. Image mosaic has widely applications in the fields of photogrammetry, computer vision, remote sensing image processing, medical image analysis, computer graphic and so on. 。In general, the process of image mosaic by the image acquisition, image registration, image synthesis of three steps, one of image registration are the basis of the entire image mosaic. In this paper, two image registration algorithm: Based on the characteristics and transform domain-based image registration algorithm. In feature-based registration algorithm based on a robust feature-based registration algorithm points. First of all, to improve the Harris corner detection algorithm, effectively improve the extraction of feature points of the speed and accuracy. And the use of a similar measure of NCC (normalized cross correlation - Normalized cross-correlation), through the largest correlation coefficient with two-way matching to extract the feature points out the initial right, using random sampling method RANSAC (Random Sample Consensus) excluding pseudo-feature points right, feature points on the implementation of the exact match. Finally with the correct feature point matching for image registration implementation. In this

图像拼接原理及方法

第一章绪论 1.1 图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制（IBR）成为结合两个互补领域——计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化场景描述（Visual Scene Representaions）的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以使IBR从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说360 度的环形图片了。但是在实际应用中，很多时候需要将360 度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360 度景物的多幅图像进行拼接，从而实时地得到超大视角甚至是360 度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360 度全景图像，用来虚拟实际场景。这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对来自同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术将遥感卫星拍摄到的有失真地面图像拼接成比较准确的完整图像，作为进一步研究的依据。 从以上方面可以看出，图像拼接技术的应用前景十分广阔，深入研究图像拼接技术有着很重要的意义 1.2图像拼接算法的分类 图像拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了很多拼接算法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核心和关键。根据图像匹配方法的不同仁阔，一般可以将图像拼接算法分为以下两个类型：（1) 基于区域相关的拼接算法。 这是最为传统和最普遍的算法。基于区域的配准方法是从待拼接图像的灰度值出发，对

图像拼接算法及实现.doc

图像拼接算法及实现（一） 来源：中国论文下载中心 [ 09-06-03 16:36:00 ] 作者：陈挺编辑：studa090420 论文关键词：图像拼接图像配准图像融合全景图 论文摘要：图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准,经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值。一般来说,图像拼接的过程由图像获取,图像配准,图像合成三步骤组成,其中图像配准是整个图像拼接的基础。本文研究了两种图像配准算法:基于特征和基于变换域的图像配准算法。在基于特征的配准算法的基础上,提出一种稳健的基于特征点的配准算法。首先改进Harris角点检测算法,有效提高所提取特征点的速度和精度。然后利用相似测度NCC(normalized cross correlation——归一化互相关),通过用双向最大相关系数匹配的方法提取出初始特征点对,用随机采样法RANSAC(Random Sample Consensus)剔除伪特征点对,实现特征点对的精确匹配。最后用正确的特征点匹配对实现图像的配准。本文提出的算法适应性较强,在重复性纹理、旋转角度比较大等较难自动匹配场合下仍可以准确实现图像配准。 Abstract：Image mosaic is a technology that carries on the spatial matching to a series of image which are overlapped with each other, and finally builds a seamless and high quality image which has high resolution and big eyeshot. Image mosaic has widely applications in the fields of photogrammetry, computer vision, remote sensing image processing, medical image analysis, computer graphic and so on. 。In general, the process of image mosaic by the image acquisition, image registration, image synthesis of three steps, one of image registration are the basis of the entire image mosaic. In this paper, two image registration algorithm: Based on the characteristics and transform domain-based image registration algorithm. In feature-based registration algorithm based on a robust feature-based registration algorithm points. First of all, to improve the Harris corner detection algorithm, effectively improve the extraction of feature points of the speed and accuracy. And the use of a similar measure of NCC (normalized cross correlation - Normalized cross-correlation), through the largest correlation coefficient with two-way matching to extract the feature points out the initial right, using random sampling method RANSAC (Random Sample Consensus) excluding pseudo-feature points right, feature points on the implementation of the exact match. Finally with the correct feature point matching for image registration implementation. In this paper, the algorithm adapted, in the repetitive texture, such as relatively large rotation more difficult to automatically match occasions can still achieve an accurate image registration. Key words: image mosaic, image registration, image fusion, panorama 第一章绪论

高清图像全景拼接

高清图像全景拼接 Company Document number：WTUT-WT88Y-W8BBGB-BWYTT-19998

全景拼接白皮书

目录

1 方案概述 1.1 市场需求 全景拼接系统，是以画面拼接技术为基础，将周围相邻的若干个摄像机画面拼接成一幅画面。传统视频监控系统，用户如果要实时监控一片连续的大范围区域，最常见的做法是，安装多个摄像机，每个负责一小片区域，该方案的主要缺陷是，用户没有画面整体感，很难连续追踪整个区域内的某个目标。全景拼接系统，能很好的解决上述问题。 传统意义上的全景拼接系统，虽然解决了“看的广”、“看的画面连续”的问题，但并没有解决“看的清”的问题。因此宇视的全景拼接系统中，增加了球机联动功能，以解决“看的清”的问题，一台10倍以上光学放大的球机可以看清100米甚至更远的目标。球机联动功能，是以枪球映射技术为基础，将全景画面坐标系和球机画面坐标系关联映射起来，用户只要在全景画面中拉框，球机就自动转动和变倍到指定位置，对用户来说这是一个设备，而不是孤立的两个设备。 全景拼接系统，主要应用于大范围监控，如广场、公园、景区、机场停机坪、机场大厅、物流仓库、大型生产车间、交通枢纽等。 1.2 方案特点 ●画面拼接：支持3个高清相机（最高1080P）的拼接。 ●画面拼接：拼接后最高分辨率可以达到5760×1080。 ●球机联动：支持1个球机（最高1080P）的联动。 ●球机联动：支持在全景画面中拉框放大，自动联动球机转动和变倍到指定位置。 2 组网模型 2.1 全景拼接 2.1.1 逻辑框图（或拓扑图） 2.1.2 原理描述 拼接原理： 拼接前提：用于拼接的摄像机，在图像内容上，两两相交。

图像拼接方法总结

图像拼接方法总结 图像拼接方法总结 (1) 引言 (1) 1 基于网格的拼接 (3) 2基于块匹配的拼接（也叫模板匹配） (4) 3基于比值法拼接 (6) 4 基于FFT的相位相关拼接 (7) 基于特征的图像配准方法 (9) 5 Harris角点检测算法 (10) 6基于SIFT尺度不变特征的图像拼接 (15) SIFT主要思想及特点 (16) SIFT算法详细过程 (16) SIFT匹配算法实现 (20) 7 基于surf 的图像配准 (22) SURF算法介绍 (22) 算法详细过程 (23) 8 基于最大互信息的图像配准 (24) 9 基于小波的图像拼接 (27) 10 基于轮廓特征的图像拼接技术 (27) 引言 首先研究了图像拼接的基本技术，包括图像预处理、图像配准、图像融合， 图像的预处理包括：图像预处理的主要目的是为了：降低图像配准的难度，提高图像配准精度。图像 预处理包括：图像投影、图像去噪、图像修正等。 图像配准采用的算法主要有两类： 一类是基于区域的算法，是指利用两张图像间灰度的关系来确定图像间坐标变化的参数，其中包括基于空间的像素配准算法包括（1基于块匹配，2基于网格匹配，3基于比值匹配），基于频域的算法（4既是基于FFT的相位相关拼接）等。 另一类是基于特征拼接的算法，是利用图像中的明显特征（点，线，边缘，轮廓，角点）来计算图像之间的变换，而不是利用图像中全部的信息，其中包括5 Harris角点检测算法，6 SIFT（角点）尺度不变特征转换算法，7 surf（角点，这种方法是sift方法的改进，速度提高）特征算法， 第三类是8 基于最大互信息的拼接，9 基于小波（将拼接工作由空间域转向小域波，即先对要拼接的图像进行二进小波变换，得到图像的低频、水平、垂直三个分量，然后对这

图像拼接原理及方法

图像拼接原理及方法 This model paper was revised by the Standardization Office on December 10, 2020

第一章绪论 图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制（IBR）成为结合两个互补领域——计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化场景描述（Visual Scene Representaions）的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以使IBR从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说360 度的环形图片了。但是在实际应用中，很多时候需要将360 度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360 度景物的多幅图像进行拼接，从而实时地得到超大视角甚至是360 度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360 度全景图像，用来虚拟实际场景。这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像

图像拼接算法及实现(二).

图像拼接算法及实现（二） 3.3.2 特征点匹配法 比值匹配法利用图像特征较少，而且在图像发生小角度旋转的时候容易发生误匹配。基于特征点的匹配法可以很好的解决这类问题。特征点主要指图像中的明显点，如房屋角点、圆点等。用于点特征提取得算子称为有利算子或兴趣算子。自七十年代以来出现一系列各不相同、各有特色的兴趣算子，较知名的有Moravec算子、Hannah算子与Foistner等。 本文采用Moravec算子进行特征点提取: Moravec算子的基本思想是，以像素点的四个主要方向上最小灰度方差表示该像素点与邻近像素点的灰度变化情况，即像素点的兴趣值，然后在图像的局部选择具有最大的兴趣值得点(灰度变化明显得点)作为特征点，具体算法如下: （1）计算各像素点的兴趣值IV (interest value)，例如计算像素点(c,r)的兴趣值，先在以像素点((cr)为中心的n n的影像窗口中(如图3.3.2所示的 5 5的窗口)，计算四个主要方向相邻像元灰度差的平方和。 图3.3.2 Moravec 算子特征点提取示意图 V = V = V = V = 其中k=INT(n/2)。取其中最小者为像元((c,r)的兴趣值: IV(c,r)=V=min{ V , V , V , V } (2)根据给定的阂值，选择兴趣值大于该阐值的点作为特征点的候选点。设V 为事先设定好的闭值，如果V V ，则V为特征点的候选点。 阑值得选择应以候选点中包括需要的特征点，而又不含过多的非特征点。

(3)在候选点中选取局部极大值点作为需要的特征点。在一定大小的窗口内(可不同于兴趣值计算窗口)，去掉所有不是最大兴趣值的候选点，只留下兴趣值最大者，该像素即为一个特征点。 在有了以上的特征点提取的基础上，基于特征点匹配算法主要步骤如下: (1)在参考图像T的重叠部分中选取4个区域，每个区域利用Moravec算子找出特征点。 (2)选取以特征点为中心的区域，本文大小选择7X7的区域，在搜索图S 中寻找最相似的匹配。因为有4个特征点，故有4个特征区域，找到相应的特征区域的匹配也有4块。 (3)利用这4组匹配的特征区域的中心点，也就是4对匹配的特征点，代入方程式(3-2-2)求解，所求的解即为两幅图像间的变换系数。 (3-2-2) 该算法的主要优点: (1)图像的特征信息得到了利用，能够有的放矢，不是在盲目的搜索。 (2)误匹配发生的概率小，因为利用了参考图像T包含特征点的特征区域来寻找相应匹配，因此在搜索图S中相应的特征区域容易确认。 该算法的主要缺点: (1)计算的代价高，计算量大。该算法需要计算出特征点以及特征点的匹配点，同时还要将所有4对特征点带入式3-2-2求解变换系数，计算量大。 3.4 本章小结 本章分析了现有的多种图像配准算法以及图像配准中的难点。 第四章图像融合技术 4.1 图像融合技术的基本概念 数字图像融合（Digital Image Fusion）是以图像为主要研究内容的数据融合技术，是把多个不同模式的图像传感器获得的同一场景的多幅图像或同一传感器在不同时刻获得的同一场景的多幅图像合成为一幅图像的过程。由于不同模式的图像传感器的成像机理不同，工作电磁波的波长不同，所以不同图像传感器获得的同一场景的多幅图像之间具有信息的冗余性和互补性，经图像融合技术得到的合成图像则可以更全面、更精确地描述所研究的对象。正是由于这一特点，图像融合技术现已广泛地应用于军事、遥感、计算机视觉、医学图像处理等领域中。

二维图像拼接技术

专业设计报告 设计题目：基于机器人视觉的图像处理方法研究 ——二维图像处理 姓名：学号： 学院：专业： 指导教师： 同组人姓名：

摘要： 在实际应用中，经常会用到超过人眼视野范围甚至是全方位的高分辨率图像，普通数码相机的视野范围往往难以满足要求。为了得到大视野范围的图像，人们使用广角镜头和扫描式相机进行拍摄。但这些设备往往价格昂贵、使用复杂，此外，广角镜头的图像边缘会难以避免的产生扭曲变形，不利于一些场合的应用。为了在不降低图像分辨率的条件下获取大视野范围的图像，人们提出了图像拼接技术，将普通图像或视频图像进行无缝拼接，得到超宽视角甚至360度的全景图，这样就可以用普通数码相机实现场面宏大的景物拍摄。利用计算机进行匹配，将多幅具有重叠关系的图像拼合成为一幅具有更大视野范围的图像，这就是图像拼接的目的。 图像拼接解决的问题一般式，通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。最初主要是对大量航拍或卫星的图像的整合,也可运用于军事领域网的夜视成像技术,。利用图像拼接技术，拼接机器人双目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360 度全景图像，用来虚拟实际场景。在医学图像处理方面，把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，图像拼接技术的应用也日益广泛。 通过本课题的研究，初步了解图像拼接技术的基本应用，并了解sift语言的应用，将两幅具有相同特征点的图拼接在一起，实现二维图像的初步拼接处理。 关键词： 图像获取，图像配准，图像融合，图像合成，SIFT。 一、设计的任务和目的 二维和三维图像测量方法，具有非接触,自扫描,高精度的优点，已得到广泛应用。但在保证高精度的条件下，要实现大范围,多参数测量，单纯提高摄像机性能往往受到限制，而且成本高。图像拼接技术能够实现上述测量目的，达到较高的性能价格比。二维图像拼接是利用已获得的多幅被测物图像，提取图像间的公共特性，并通过公共特征将多图数据统一到同一坐标下，从而挖掘出数据中的深层次信息。 二维图像拼接依据特征信息提取方法的不同，可以分为基于区域和基于特征两种。基于区域的拼接一般通过求相关系数实现，计算量大，运行时间长。基于特征的拼接可以提取有旋转,平移,缩放不变性的不变量，具有快速,准确的特点，在工业测量中还可人为加入特制标记，使测量更有实用性。 图像拼接的关键是精确找出相邻图像中重叠部分的位置，然后确定两张图像的变换关系，然后进行拼接和拼缝融合。但是由于照相机受环境和硬件等条件影响，所要拼接的图像往往存在平移、旋转、大小、色差及其组合的形变与扭曲等差别。本设计采用基于特征的图像拼接技术，首先对图像进行轮廓提取，然后再对提取的轮廓进行匹配，从

高清图像全景拼接

全景拼接白皮书

目录 1 方案概述 (3) 1.1 市场需求 (3) 1.2 方案特点 (3) 2 组网模型 (4) 2.1 全景拼接 (4) 2.1.1 逻辑框图（或拓扑图） (4) 2.1.2 原理描述 (4) 2.1.3 功能介绍 (5) 2.1.4 方案特点 (7) 2.1.5 典型应用 (7) 3 摄像机安装要求 (7) 3.1 安装指导（这一部分由于我不太了解，希望达到的效果是：说清楚在什么位置装，覆 盖哪些范围，摄像机要求） (7) 3.1.1 覆盖范围 (7) 3.1.2 摄像机要求 (7) 3.1.3 摄像机安装要求 (7) 3.2 全景拼接客户端要求 (14) 3.2.1 硬件要求 (14) 3.2.2 操作系统要求 (14) 4 典型应用 (15) 4.1 应用场景1 (15) 4.1.1 应用原理图 (15) 5 限制与约束 (15)

1 方案概述 1.1 市场需求 全景拼接系统，是以画面拼接技术为基础，将周围相邻的若干个摄像机画面拼接成一幅画面。传统视频监控系统，用户如果要实时监控一片连续的大范围区域，最常见的做法是，安装多个摄像机，每个负责一小片区域，该方案的主要缺陷是，用户没有画面整体感，很难连续追踪整个区域内的某个目标。全景拼接系统，能很好的解决上述问题。 传统意义上的全景拼接系统，虽然解决了“看的广”、“看的画面连续”的问题，但并没有解决“看的清”的问题。因此宇视的全景拼接系统中，增加了球机联动功能，以解决“看的清”的问题，一台10倍以上光学放大的球机可以看清100米甚至更远的目标。球机联动功能，是以枪球映射技术为基础，将全景画面坐标系和球机画面坐标系关联映射起来，用户只要在全景画面中拉框，球机就自动转动和变倍到指定位置，对用户来说这是一个设备，而不是孤立的两个设备。 全景拼接系统，主要应用于大范围监控，如广场、公园、景区、机场停机坪、机场大厅、物流仓库、大型生产车间、交通枢纽等。 1.2 方案特点 ●画面拼接：支持3个高清相机（最高1080P）的拼接。 ●画面拼接：拼接后最高分辨率可以达到5760×1080。 ●球机联动：支持1个球机（最高1080P）的联动。 ●球机联动：支持在全景画面中拉框放大，自动联动球机转动和变倍到指定位置。

一种汽车全景图像拼接算法的设计与实现

一种汽车全景图像拼接算法的设计与实现 针对传统的全景图像算法，提出一种专门应用在车载系统的车载全景图像拼接算法，并通过C#进行仿真和实现，最大限度提高算法的运行效率，满足车载系统的实时性要求，辅助驾驶员安全驾驶。 标签：计算机视觉;图像拼接;实时 1 引言 当前主流的汽车全景拼接主要通过图像像素的相似性将摄像头采集到的多幅图像拼接为一副较大的图像，最大程度反映現场的场景，降低由于拼接带来的图像失真。主要的处理流程包括图像预处理、特征提取、图像配准和图像融合等。在拼接处理过程中，上述的步骤有多种算法的计算配合，例如基于尺度空间的尺度不变特征转换，必然带来较大的计算量，对于车载设备的性能要求较高。本文从实际出发提出一种汽车全景图像拼接算法，在满足失真度小的同时提高了整体的算法效率，计算量较小，可以为全景图像拼接在汽车智能化中的应用提供一种参考。 2 预处理 为了后期图像信息的完整性和可靠性，系统可以在汽车的前端、后端和左右两侧各部署一个210°的超广角镜头。软件将四个摄像头收集到的图像信息进行预处理、畸变校正、逆投影变化和全景图像拼接融合完成对全景图像的整个拼接过程。整个预处理的关键在于超广角镜头的引入将会引入相应的图像畸变，以普通的广角镜头为例，其畸变在80°以后将会变得更加严重。参考相关算法，此处可以采用最小二乘法对曲线进行拟合。算法主要计算来自校正参数方程的系数。 另一方面，由于摄像头安装在汽车上，与地面存在一定的距离和角度，因此采集到的原始图像将会存在透视效果，而在汽车全景图像中要求的是一个90°的俯视图效果，因此必须对图像信息逆投影计算，去除透视效果。将系统图像进行小孔成像模型变化即可快速完成坐标转换。设原始图像中的坐标点A坐标为（X，Y），转换完毕后坐标点为A（x，y），摄像头在车上距离地面高度为h，整体图像的长宽尺寸为W和H，为摄像头的视场角，为摄像头安装的俯视角，转换的具体公式可以如（1）-（2）： （1） （2） 3 拼接算法的改进及设计 拼接的核心在于特征匹配，而特征匹配其主要目的在于根据图像的实际特征

球面全景图像的拼接算法研究

技术创新 中文核心期刊《微计算机信息》（测控自动化）２００６年第２２卷第５－１期 ３６０元／年邮局订阅号：８２－９４６ 《现场总线技术应用２００例》 图像处理 蔡文军：工程师 球面全景图像的拼接算法研究 ＳｔｕｄｙｏｆＳｐｈｅｒｉｃａｌＰａｎｏｒａｍａＩｍａｇｅＭｏｓａｉｃｓＡｌｇｏｒｉｔｈｍ （海军装备研究院）蔡文军 陈虎 Ｃａｉ，ＷｅｎｊｕｎＣｈｅｎ，Ｈｕ 摘要：在分析球面图像拼接算法的参数模型，基本原理和实现方法的基础上，提出了球面全景图像拼接的优化算法，取得了良好的拼接效果。 关键词：基于图像的渲染；球面全景图像；图像拼接 中图分类号：ＴＫ３９１ 文献标识码：ＡＡｂｓｔｒａｃｔ：Ｂａｓｅｄｏｎｔｈｅａｎａｌｙｓｉｓｏｆｐａｒａｍｅｔｒｉｃｍｏｄｅｌ，ｂａｓｉｃｔｈｅｏｒｙａｎｄｉｍｐｌｅｍｅｎｔａｔｉｏｎｔｅｃｈｎｉｑｕｅｏｆｓｐｈｅｒｉｃａｌｐａｎｏｒａｍａｉｍａｇｅ，ｍｏ－ ｓａｉｃｓａｌｇｏｒｉｔｈｍｏｐｔｉｍｉｚａｔｉｏｎｉｓｂｒｏｕｇｈｔｆｏｒｗａｒｄａｎｄｇｏｏｄｒｅｓｕｌｔｉｓｇａｉｎｅｄ． Ｋｅｙｗｏｒｄｓ：ＩｍａｇｅＢａｓｅｄＲｅｎｄｅｒｉｎｇ；ＳｐｈｅｒｉｃａｌＰａｎｏｒａｍａＩｍａｇｅ；ＩｍａｇｅＭｏｓａｉｃｓ 文章编号：１００８－０５７０（２００６）０５－１－０１９６－０３ １前言 基于图像渲染（ＩｍａｇｅＢａｓｅｄＲｅｎｄｅｒｉｎｇ）技术是近年虚拟现实领域的研究热点，与传统的基于几何模型的虚拟现实技术相比，具有真实感强、 绘制速度快等优点。球面虚拟空间把照相机在一个球面范围内拍摄到的图像通过球面透视投影变换无缝拼接在一起，生成球面虚拟空间全景图像，具有不受上下观察范围限制等优点，从而克服了柱面虚拟空间的不足。本文提出了球面全景图像拼接的优化算法，以期提高图像拼接的速度和可靠性。 ２球面图像拼接算法的参数模型 为了从图像中提取球面每个位置的色彩信息，需要知道图像中像素对应的球面位置，以其中某一幅图像拍摄时的方向为基准，通过计算所有图像之间的位置关系，可以确定每一幅图像所对应的拍摄方向及相机的投影模型，从而得出图像中像素在球面上的对应位置。 ２．１拍摄方向参数模型 对于以视点为原点的基准坐标系中的一点（Ｘ，Ｙ， Ｚ），其与以视点为原点的相机坐标系中的对应点（Ｘ＇，Ｙ ＇ ，Ｚ＇）的对应关系可表示为三维旋转变换： （１） 其中Ｒ为三维单位正交矩阵，由图像拍摄方向决定。 本文使用方向角来表示旋转变换矩阵Ｒ，假设相机的俯仰角为α，偏转角为β，绕相机光轴旋转角γ，则Ｒ可表示如下： （２）２．２相机投影模型 设相机的焦距为ｆ，投影中心在图像中的位置为（ｃｘ，ｃｙ），在由拍摄方向确定的相机坐标系中，空间中的一点（Ｘ＇，Ｙ＇，Ｚ＇）在图像平面中的对应点（ｘ，ｙ）之间有如下的关系： （３） 此时图像数据矩阵中的第一列表示图像最底下的那一列。如果数据的排列形式不同，则还要作进一步变换。如果是第一行表示图像最顶上的一列，则存在如下关系： （４） ２．３图像坐标变换矩阵 在不同的参数模型下，图像的变换矩阵有不同的形式，在这些表示形式中，图像的投影模型是相同的， 不同的只是旋转变换参数。用Ｉ１、Ｉ２表示两幅图像，ｆ１、ｆ２表示它们的焦距，投影中心位于图像中心（ｃｘ，ｃｙ）。用Ｍ表示Ｉ１到Ｉ２坐标变换矩阵，则： （５） ’’’X X Y R Y Z Z éùéùêúêú=êúêú êúêú???? cos sin 0cos 0sin sin cos 0sin sin cos sin cos 001cos sin sin cos cos R g g b b g g a b a a b a b a a b éùéùêúêú=--êúêúêúêú-???? 0’0’1001’x y x f c X y f c Y Z éùéùéùêúêúêú =êúêúêú êúêúêú?????? 0’’0’’1001’’x y x f c X X y f c Y K Y Z Z éùéùéù éù êúêúêúêú==êúêúêú êúêúêúêúêú???????? 11111x X y K R Y Z éùéù êúêú=êú êúêúêú?? ?? 22221x X y K R Y Z éùéù êúêú=êú êúêúêú?? ?? １９６－ －