当前位置：文档库 › 双目视觉传输系统摄像机标定与立体匹配

双目视觉传输系统摄像机标定与立体匹配

密级：

NANCHANG UNIVERSITY

学士学位论文

THESIS OF BACHELOR

（2013 —2017 年）

题目双目视觉相机标定与立体匹配算法研究学院：信息工程学院系电子系

专业班级：卓越通信131班

学生：婷学号：6102213916

指导教师：其纶职称：讲师

起讫日期：

双目视觉相机标定与立体匹配算法研究

专业：通信工程学号：6102213916

学生：婷指导教师：其纶

摘要

本文基于双目视觉图像传输系统重点研究了摄像机标定与立体匹配两个模块。在摄像机标定中，重点阐述了三大坐标系、两种摄像机模型以及正友平面标定法，基于Matlab实现了立体标定过程并对实验结果进行了分析；在立体标定中，重点阐述了基于全局误差能量最小化立体匹配算法和基于线性生长立体匹配算法的原理，基于Matlab仿真了立体匹配算法的实现过程，并就可靠度与计算量两个指标对两种匹配算法进行了比较分析。

关键词：双目视觉，摄像机标定，立体匹配，正友平面标定，摄像机坐标系三维重建，模板匹配

Binocular vision image transmission system design

Abstract

Based on the binocular visual image transmission system, this paper focuses on the camera calibration and stereo matching .In the camera calibration, this study was expounded the three coordinates, the two kinds of camera models and ilf plane calibration method, camera calibration was implemented based on Matlab and the experiment results are analyzed; In stereo calibration, this study was expounded the principle of stereo matching algorithm based the global error energy minimization and stereo matching algorithm based on linear growth, and the implementation process of the stereo matching algorithm based on Matlab, and the reliability and the amount of calculation of two indicators of the two matching algorithms are analyzed in comparison.

Keyword: Binocular vision, camera calibration, stereo matching, ilf plane calibration, the camera coordinate system of 3 d reconstruction,

template matching

摘要........................................................................................................ I Abstract .................................................................................................. I I 第一章绪论....................................................................................... - 1 -1.1背景及研究意义 ............................................................................. - 1 -1.2国外研究现状................................................................................ - 1 -1.3论文的主要工作 ............................................................................ - 2 -1.4论文的组织结构 ............................................................................ - 2 -第二章双目视觉系统 ......................................................................... - 3 -2.1双目立体视觉系统简介 .................................................................. - 3 -2.2双目立体视觉系统应用.................................................................. - 4 -2.3摄像机立体标定............................................................................ - 4 -2.3.1像平面坐标系、摄像机坐标系和世界坐标系 ................................ - 5 -2.3.2摄像机模型................................................................................ - 7 -2.3.3正友标定平面标定 ..................................................................... - 9 -2.4立体匹配 .................................................................................... - 10 -2.4.1基于全局误差能量最小化的区域匹配算法.................................. - 10 -2.4.2基于线性生长区域立体匹配算法................................................ - 11 -2.4.3从差距图生成深度图 ................................................................ - 12 -2.5本章小结 .................................................................................... - 14 -第三章立体标定与匹配.................................................................... - 14 -3.1双目摄像机标定的实现 ................................................................ - 15 -3.1.1左右两摄像机单目标定.............................................................. - 15 -3.1.2双目立体视觉标定 .................................................................... - 18 -3.1.3实验结果分析........................................................................... - 20 -3.2立体匹配仿真结果 ...................................................................... - 20 -3.2.1基于全局误差能量最小化区域匹配算法 ..................................... - 20 -3.2.2基于线性生长区域匹配算法...................................................... - 23 -3.3不同匹配算法差异分析................................................................ - 26 -3.4本章小结 .................................................................................... - 28 -第四章总结与展望 .......................................................................... - 28 -

4.1总结............................................................................................ - 28 -4.2展望 ........................................................................................... - 29 -参考文献 .......................................................................................... - 31 -致 .................................................................................................... - 33 -

第一章绪论

1.1研究背景与意义

随着图像处理，人工智能，计算机科学等相关学科的发展，计算机视觉的研究也得到了深入的发展[1]。双目视觉系统技术作为计算机视觉最重要的一个分支，在军事、医学、工业等领域都有着极其重要的作用，例如3D电影，谷歌视觉眼镜、无人驾驶以及虚拟现实网上购物等技术为我们的生产生活提供了新的技术和工具，不断改变着我们的生活。因此双目视觉的研究发展对各个领域科技创新发展具有重要的价值。

双目视觉系统的设计原理源自于人类的视觉感知系统，模拟人眼获取视觉围的物体信息。客观世界真实存在是3D的，但人眼或者摄像机获取的图像是显示场景中物体的2D信息，人类视觉系统能够通过大脑神经网络分析出空间中的物体3D信息。因此双目视觉系统最终目标是利用计算机图像处理，模式识别，人工智能等技术，对摄像机得到的图像或者图像序列进行处理，进而恢复图像中的3D信息，形成具有立体感的图像。

双目视觉系统[2]中摄像机标定的目的是求解出摄像机外参数；立体匹配过程利用求解出的参数采用特定的算法获取图像的深度信息，还原图像的立体感。因此，双目视觉系统中的利用2D图像获取3D信息过程中，摄像机标定与立体匹配具有极其重要的地位。标定的精确度与立体匹配算法的可靠度直接影响获取深度信息的准确性，后续三维重建优劣以及最终实验结果的整体效果。

1.2国外研究现状

1、国研究现状

大学完全利用透视成像原理并结合双目视觉技术设计出了机械系统。该系统可动态精准检测多自由度装置的位姿，仅需提取左右两幅图像必要的特征点，具有信息量少，速度快，无运动影响，精度高的特点[3]；东南大学电子工程系提出了一种新双目视觉立体匹配算法。该算法基于灰度相关多峰值极小化，可非接触精密测量三维不规则物体(偏转线圈)的空间坐标[4]；哈工大采用异构双目活动视觉系统实现了全自主足球机器人导航

。该系统包括一个固定在机器人顶部的摄像机和一个安装在机器人中下部可以水平旋转的摄像机，可以实现全自主足球机器人导航[5]；火星863计划课题“人体三维尺寸的非接触测量”，采用“双视点投影光栅三维测量”原理，通过对双摄

像机获取的左右图像进行图像处理，获取人体图像上任意一点的三维坐标，从而计算出服装设计所需的人体特征尺寸[6]。

2、国外研究现状

日本冈山大学研制了视觉反馈系统，该系统使用立体显微镜和双目摄像机控制微操作器对细胞进行操作，进行基因注射和微装配等微操作[7]；麻省理工学院计算机系统提出了一种新的传感器融合方式，并将其运用于智能交通上，该方法采用雷达系统和双目立体视觉得到目标深度信息，再结合改进的图像分割算法，能够在高速环境下对视频图像中的目标位置进行分割[8]；华盛顿大学与微软公司合作研制了宽基线立体视觉系统[9]。

1.3论文的主要工作

本文重点围绕双目立体视觉系统技术进行探究，其中重点阐述摄像机标定与立体匹配两个重要模块。本文通过摄像机的线性模型与非线性模型探讨出了摄像机外参数的理论求解公式，叙述了正友平面标定法[10]基本原理，提出了基于全局误差能量最小立体匹配算法[11]和基于线性生长立体匹配算法[12]两种匹配算法。并且均基于Matlab进行实验，对实验结果进行了探究，对两种算法进行了利弊分析。

1.4论文的组织结构

第一章：绪论。主要阐述双目视觉系统的研究背景与意义以及国外研究发展现状。

第二章：双目视觉系统。简单介绍双目视觉系统及其应用，重点探究了摄像机标定与立体匹配两个模块的理论知识。

第三章：立体标定与匹配。基于Matlab叙述立体标定和匹配的仿真过程，并对实验结果进行分析。

第四章：总结与展望。对论文容进行总结，对今后工作进行展望。

第二章双目视觉系统

2.1双目立体视觉系统简介

立体视觉系统设计原理仿照人类双眼工作原理：两台平行的摄像机模拟双眼；计算机图像处理相当于人脑神经系统。双眼所形成的图像信息是具有差异性的，这种图像信息的差异性通过大脑神经系统进行分析匹配，得到图像的深度信

息[13]。随着人们生产生活与科技的发展，利用立体视觉的原理设计出了双目视觉系统，让计算机分析得出2D图像中的立体信息，即获取图像的深度信息。

如图2-1是双目平行摄像机成像示意图，点

O和点

O分别是左右摄像机的

成像焦点，即左右摄像机坐标系的原点；空间任意点(,,)

W W W

p X Y Z投影在左右

两图像上的点是(,)

l l l

p x y和(,)

r r r

p x y，立体匹配算法找出(,,)

W W W

p X Y Z与点

(,)

l l l

p x y和(,)

r r r

p x y之间的关系。

图2-2 双目平行摄像机成像示意图

由投影原理的性质，有：

r l W W l W l

W W W

x x b Z f X y Y y

b Z X Y

-+---

===(2-1) 则

l l

W W W

l r l r l r

x b y b bf

X Y Z

x x x x x x

===

---

(2-2) 其中，f为左右摄像机的焦距，T表示为两平行双目摄像机的距离。在这里，

点(,,)

W W W

p X Y Z以

O为坐标中心，左摄像头成像坐标系为坐标系；由（2-2）式表示的是左右两图像的投影点与空间中点之间的关系。

2.2双目立体视觉系统应用

一个完整的双目立体视觉系统通常可划分为以下五个模块[14]：