基于视频的目标检测与跟踪技术研究(1)
南京航空航天大学
硕士学位论文
基于视频的目标检测与跟踪技术研究
姓名：王汉斌
申请学位级别：硕士
专业：检测技术与自动化装置
指导教师：姜斌
20090101
南京航空航天大学硕士学位论文
摘要
视频目标检测与跟踪技术是图像处理技术应用的重要组成部分，该技术在众多领域有着广泛应用，如：机器人导航、安全监控系统和医学图像分析等。
本文首先研究了静态背景下的目标检测与跟踪问题，考虑了目标运动与环境光照变化对检测跟踪的影响。在分析了邻帧差分法、背景相减法和光流法的优缺点后，考虑到邻帧差分检测法具有快速和易于实现的优点，选择邻帧差分法进行目标检测。为了克服邻帧差分目标检测中目标区域扩大和孔洞的缺点，结合边缘检测和形态学图像处理技术，实现运动目标的准确检测，并通过不断检测实现目标跟踪。
其次，针对视频中最一般的情形，摄像机和目标都运动的情况进行了研究。此时，目标运动和摄像机运动都会引起图像中灰度变化，如果要运用邻帧差分法检测目标，首先必须进行帧间背景补偿。在研究了摄像机运动模型的基础上，选用六参数摄像机运动模型建立相邻帧图像投影关系；然后，改进Levenberg-Marquardt算法进行运动模型参数估计，在帧间运动背景补偿后，利用邻帧差分法检测运动目标；最后采用局部模板匹配算法在下一帧中搜索目标进行目标的跟踪。
实验结果验证了本文算法的正确性和可行性。
关键词：视频图像，目标检测，目标跟踪，运动估计，运动补偿
i
基于视频的目标检测与跟踪技术研究
ii
Abstract
As an important part of Image Processing, the technology of object detection and tracking is
widely used in many fields, such as robot navigation, security monitoring system, medical image analysis, and so on.
Firstly, we do some research on object detection and tracking in static background. In this case, we consider the factors of object movement and illumination change which can affect the result of object detection and tracking. After analyzing difference method, background subtract method and optical flow method, we find that difference method has advantages on computing speed and easy to realize. So this paper applies difference to detect the object. To overcome the disadvantages of enlargements and holes of difference object detection, we integrate difference object detection algorithm, edge detection algorithm and morphological image processing technology to accomplish the detection and tracking of moving object. At last, we apply continuously detection to track object.
Secondly, we research the commonly situation in which the object and the camera move together. In this case, the variety of image intensity is brought by object movement and camera movement. Now if we want to use difference method to detect the object, we should firstly compensate the background between the frames. After studying the motion model of camera, we choose six- parameters motion model of camera to build the projection between the frames. Then we improve the Levenberg-Marquardt Algorithm to estimate parameters of motion model. After compensating the background between two frames, we use the difference algorithm to detect the object. At last, we apply template matching in partial region of next frame to track the object.
The experiment results show the availability and feasibility of our proposed algorithms.
Keywords: Video Image, Object Detection, Object Tacking, Motion Estimation, Motion Compensation
南京航空航天大学硕士学位论文
图表清单
图1.1 修正的Marr计算机视觉框架 (1)
图1.2 目标检测与跟踪框架图 (2)
图2.1 图像灰度转换 (6)
图2.2 原始图像 (7)
图2.3 边缘检测实验结果 (8)
图2.4 各算子对含噪声图像边缘检测结果 (8)
图2.5 图像二值化 (9)
图2.6 几种典型的二值结构元素 (10)
图2.7 二值图像形态学处理 (11)
图3.1 目标表示 (13)
图3.2 图像Blob分析流程 (14)
图3.3 视频目标检测跟踪流程 (14)
图3.4 邻帧差分检测 (15)
图3.5 邻帧差分目标检测流程 (16)
图3.6 背景相减法目标检测 (18)
图3.7 模板匹配 (22)
图3.8 三步搜索法 (23)
图3.9 新三步搜索法 (24)
图4.1 静态背景光照不变视频图像 (27)
图4.2 图4.1中图像灰度化后的灰度直方图 (27)
图4.3 光照发生变化的视频图像 (28)
图4.4 图4.3中图像灰度化后的灰度直方图 (28)
图4.5 People视频灰度图像直方图熵 (31)
图4.6 Plane视频灰度图像直方图熵 (31)
图4.7 People视频光照变化因子及阈值 (32)
图4.8 Plane视频光照变化因子及阈值 (32)
图4.9 Plane视频光照类型判定 (33)
图4.10 跳变光照变化检测实验 (33)
图4.11 运动目标轮廓检测 (34)
v
基于视频的目标检测与跟踪技术研究
图4.12 虚假目标消除实验 (34)
图4.13 目标检测结果 (36)
图4.14 系统原理框图 (36)
图4.15 系统总体框架 (37)
图4.16 检测跟踪系统框架 (37)
图4.17 光照影响消除模块 (37)
图4.18 目标轮廓检测模块 (37)
图4.19 目标填充模块 (38)
图4.20 Blob分析模块 (38)
图4.21 目标位置显示模块 (38)
图4.22 People视频某帧检测结果 (39)
图4.23 People视频序列跟踪结果 (39)
图4.24 People视频序列中目标中心坐标变化曲线 (40)
图4.25 Plane视频某帧检测结果一 (40)
图4.26 Plane视频某帧检测结果二 (40)
图4.27 Plane视频序列跟踪结果 (41)
图4.28 Plane视频序列中目标中心坐标变化曲线 (41)
图4.29 直接全差分Plane目标检测结果 (42)
图4.30 本文算法Plane目标检测结果 (42)
图4.31 本文算法Plane目标跟踪结果 (42)
图4.32 直接全差分检测结果 (43)
图4.33 本文算法的检测结果 (43)
图4.34 本文算法的跟踪结果 (43)
图5.1 全局运动估计补偿流程 (45)
图5.2 正交投影原理图 (46)
图5.3 透视投影原理图 (47)
图5.4 相邻帧位置关系 (51)
图5.5 变背景目标检测实验一 (56)
图5.6 变背景目标检测实验二 (56)
图5.7 样本点选择 (56)
图5.8 未进行平移矢量估计的运动补偿检测结果 (56)
图5.9 后续图像处理 (57)
vi
南京航空航天大学硕士学位论文
图5.10 模板匹配跟踪 (58)
表2.1 边缘检测运行时间 (8)
表5.1 图5.5补偿残差比较(×106) (57)
表5.2 图5.6补偿残差比较(×106) (57)
vii
承诺书
本人声明所呈交的硕士学位论文是本人在导师指导下进行的研究工作及取得的研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得南京航空航天大学或其他教育机构的学位或证书而使用过的材料。
本人授权南京航空航天大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。
（保密的学位论文在解密后适用本承诺书）
作者签名：
日 期：
南京航空航天大学硕士学位论文
1
第一章 绪 论
人出生以后第一次睁开眼睛，首先接受的就是图像信息，因此，有人说图像是与生俱来的人类生活中的最直观、最丰富和最生动的信息表达形式。
图像是其所表达物体信息的直接描述和概括表示，一般而言，一幅图像所包含的信息比原物体所包含的信息要少，因此一幅图像并非是该物体的一个完整精确的表示。以数学方法描述图像时，图像可以认为是空间各个坐标点上光照强度的集合。从物理角度考虑，一幅图像可以看作是物体辐射能量的空间分布，这个分布是空间坐标、时间和波长的函数，即：
(),,,,I f x y z t λ= (1.1)
式(1.1)对于静止图像与时间t 无关；对于单色图像与波长λ无关；对于二维平面图像与z 无关。
为了模拟人类视觉，人们通过计算机对图像进行处理，从而诞生了一门新兴的学科计算机视觉。20世纪50年代，计算机视觉主要集中在二维图像的分析和识别上；20世纪60年代，随着电子计算机的普遍应用，计算机视觉逐渐形成一门学科，1965年Roberts 通过程序从数字图像中提取出物体的三维结构，他的研究开创了以三维场景理解为目的的三维计算机视觉研究；20世纪70年代，麻省理工学院人工智能实验室开设了计算机视觉课程，吸引了一大批研究人员参与计算机视觉理论、算法和系统的研究，其中David Marr 教授创建了一个以博士为主体的研究小组，主要从事视觉理论方面的研究，并逐渐形成了关于视觉的计算理论。按照其理论，将计算机视觉分为三个层次：（1）计算理论层次，该层次主要解决计算的目的、策略等问题；
（2）表示和算法层次，该层主要回答如何实现计算理论、怎么表示输入输出数据结构和采用什么样的算法；（3）硬件层次，该层主要解决如何在物理上实现表示和算法[1]。在Marr 计算机视觉理论的基础上，研究人员提出了修正的计算机视觉框架，详见图1.1。80年代至今，研究人员按照Marr 所提出的理论框架，对上述各个层次与视觉系统的各个阶段中的各种功能模块进行了大量的研究。
图1.1 修正的Marr 计算机视觉框架
基于视频的目标检测与跟踪技术研究
2 目前，国际上以计算机视觉为主题的会议有国际计算机视觉会议（ICCV）、国际模式识别
会议和亚洲计算机视觉会议等。以计算机视觉为主题的刊物也很多，如International Journal of Computer Vision、IEEE Trans. on PAMI和IEEE Trans. on Image Processing等。
1.1 研究目的和意义
随着计算机视觉理论和算法研究的发展，以及计算机硬件性能的提高，如何让计算机具有人的理解能力受到研究人员的关注。基于视频的目标检测与跟踪技术作为计算机视觉的重要组成部分，它是要通过图像处理技术确定视野中是否存在目标和目标的位置，以及在完成目标检测的基础上实现对目标的跟踪。
视频目标检测与跟踪技术在人机交互、安防监控以及基于图像的存储和检索等领域有着巨大的应用前景和经济价值，从而激发了广大学者和研究人员的浓厚兴趣。在军事上，该技术可以应用于战斗机、坦克、舰艇等武器装备，提高飞机、车辆、船只的机动侦察能力，实现对目标的实时跟踪与打击；另外，在精确制导武器上的应用可以提高武器的命中率，增强部队的战斗能力。除了军事应用外，该技术在民用领域也有着广泛的应用，如智能制造中产品的质量检验、智能交通系统中对道路状况的实时监控与调度等[2][3]。
鉴于视频目标检测与跟踪技术在军用和民用上具有巨大的应用价值，在该领域开展研究有着极其重要的意义。
1.2 国内外研究现状
视频目标检测与跟踪框架如图1.2所示，它利用摄像机等成像设备将地理空间信息在时间空间上以单帧图像的形式记录下来，在记录图像信息的同时，对其进行相应的处理，以得到视场内的运动目标信息。因此，基于视频的目标检测与跟踪既要处理空间域内的图像信息，又要分析时间域上的图像动态变化。
图1.2 目标检测与跟踪框架图
目标检测与跟踪系统通常包括如下几部分[4]：
（1）图像信息的连续采集；
（2）降噪、提高对比度等视频图像预处理；
南京航空航天大学硕士学位论文
（3）对图像进行空域和时域内分析进行图像分割，得到前景目标，即目标的检测；
（4）目标图像的后处理以及目标的跟踪。
在目标检测与跟踪应用研究领域，美国等西方发达国家已经研制出一批成熟的目标检测与跟踪系统。1997美国国防高级研究项目署设立了以卡内基梅隆大学牵头，麻省理工学院等大学参与的视频监控系统研究，主要研究战场以及民用的自动视频理解技术，可以实现人的跟踪以及人员是否携带物品的分析；土耳其ASELSAN公司的微波及系统技术分部开发的“海上风暴”舰对空导弹，能够在全天候条件下探测目标。
我国在该领域虽然起步比较晚，但发展迅速，到目前为止，也取得了令人瞩目的成就。北京麦科纬通科技有限公司开发出的移动目标检测跟踪系统，可以自动检测出视场内的移动目标，同时通过控制摄像头实时自动跟踪锁定的目标；中国兵器工业集团公司研制的瞄导自动跟踪式火控系统，具有全天候自动跟踪目标的能力。
在理论研究上，美国等西方国家由于理论研究开展较早，处于学术研究的前沿地位。近年来，随着我国经济实力的增强、基础设施的完善和大批海外学者回国开展学术研究，使我国在该领域理论研究水平有了进一步的提高。我国从1986年开始对图像跟踪正式立项研究，并且模式识别国家重点实验室在马颂德等人的带领下已经取得了不少研究成果。
虽然在目标检测跟踪研究领域已经取得了巨大成就，但由于图像成像的特点，该技术还不够成熟。在图像的成像过程中，存在三种基本的变化：（1）三维场景被投影为二维平面图像，深度和不可见部分的信息丢失了，所以同一目标不同视角的图像不一致；（2）环境中的各种因素，包括照明和光照情况、目标的几何形状和物理特性、摄像机的特性等都被综合成图像的灰度信息；（3）成像过程中存在畸变和噪声。这三种基本变化带来的问题和难点有：目标之间的遮挡，造成目标信息不完整，从而导致目标运动跟踪困难[5]；不同视角和光照变化导致运动目标检测和跟踪十分困难[6]；场景复杂的情形下，如何对图像区域进行准确分割，如何提高算法的鲁棒性和实时性[7]。另外，运动目标检测跟踪系统大多数是针对特定的应用背景，因此有必要在该领域开展进一步研究。
1.2.1 基于视频的目标检测方法
目标是指一个待探测、定位、识别和确认的物体。目标检测分为纯检测和辨别检测，前者是指局部均匀的背景中觉察出一个物体，后者是指认出某些外形或形状，以便从背景的杂乱物体中区分出来[2]。如何从图像中检测出目标是计算机视觉的基础问题之一，目标的检测可以在静态图像中进行，也可以在视频序列中进行。对于静态图像中目标的检测，可以采用基于图像分割技术的方法，它利用目标图像的灰度、纹理等特征将目标和背景分开，再利用先验知识将两者进行分离；也可以采用基于模板匹配的方法，这种方法根据已有的模板在场景中匹配寻找最相似的目标。基于视频的运动目标检测方法主要有以下几种[8][9][10][11]：
3
基于视频的目标检测与跟踪技术研究
4 （1）背景相减法
背景相减法是利用当前帧图像与背景帧图像对应的灰度值相减，在环境亮度变化不大的情
况下，认为像素灰度差值很小时，物体是静止的；当像素灰度值变化很大时，认为该区域是由运动物体引起的。背景相减法的关键技术在于对图像背景进行建模，然后将当前帧与背景帧对应灰度值进行比较，获得运动变化区域。背景相减法算法简单，但其对光照、运动目标阴影的变化比较敏感，且当摄像机运动时该方法需要不断更新背景模型，检测效果较差[12][13]。
（2）邻帧差分法
邻帧差分图像法是将相邻帧对应的像素点灰度值相减，在环境变化不大的情况下，可以认为灰度变化大的区域是由物体运动引起的，利用这些标志像素的区域即可确定目标在图像中的大小和位置。该算法的优点是对于像素灰度变化明显的点容易检测、利于实时实现；缺点是对于像素变化较小的点难以准确检测，如纹理单一的目标往往出现空洞现象，还需要利用相关算法进行填充，其次对光照变化、背景变化和噪声干扰无能为力。因此该算法只适合背景单一或背景不变、环境干扰较小场合的目标检测。
（3）光流法
光流法运动目标检测利用运动目标随时间变化的光流特性，计算位移向量光流场来初始化基于轮廓的跟踪算法，从而提取出运动目标。与邻帧差分法和背景相减法不同的是光流法检测可以用于摄像机静止和摄像机运动两种状态下的运动目标检测，但该算法比较复杂，不利于硬件实现。
1.2.2基于视频的目标跟踪方法
基于图像的目标跟踪算法比较多，不同的跟踪算法适用于不同的目标跟踪系统。目标的跟踪与目标检测存在紧密的联系，目标跟踪是建立在目标正确检测的基础上，目标的跟踪通常与目标检测进行大量的信息交互。主要的目标跟踪方法有[14][15][16][17]：
（1）基于区域的跟踪
基于区域的跟踪方法是根据与运动目标相关的图像区域的变化来进行跟踪，如将当前帧与背景参考帧相减可以得到目标运动的区域。从本质上来讲，基于区域的跟踪是一个不断检测的过程，其缺点是不能适应复杂场景的下的目标检测，不能解决运动目标间的遮挡问题。
（2）基于特征的跟踪
基于特征的跟踪方法从图像中提取特征点、线、轮廓或区域，然后将这些特征分类到高层，最后通过在高层中进行匹配实现目标的跟踪。该方法可以跟踪部分被遮挡的目标，但不能处理全部被遮挡的情况。
（3）基于运动模型的跟踪
基于运动模型的跟踪是当已知被跟踪目标的运动规律信息后，利用它们预测目标在下一帧
南京航空航天大学硕士学位论文
中的位置，然后在预测位置附近搜索目标。这种跟踪方法优点是计算量少，缺点是需要目标先验知识。
随着图像处理技术理论上取得突破，一些新的方法如神经网络技术、遗传算法技术等也被应用到目标检测跟踪中；另外由于传感器技术的发展，扩大了信息获取的手段，信息融合技术也被应用到目标检测跟踪领域。总之，没有一种方法能够适用于所有场合的目标检测与跟踪，在实际的应用中，必须通过结合各种方法的优点，从多角度提高目标检测与跟踪的准确性。1.3 本文的主要研究工作
本文的主要研究内容如下：
（1）在静态背景环境中，进行运动目标的检测和跟踪算法研究，比较了差分法、光流法和背景相减的优缺点。并且改进差分目标检测算法，解决了目标检测中的目标区域扩大和孔洞问题，提出了一种光照鲁棒性的目标检测跟踪方法，并设计了实时检测跟踪系统。
（2）研究了变背景环境中的目标检测与跟踪问题，首先对视频序列的相邻帧进行背景全局运动估计和补偿，然后差分检测目标，在目标准确检测的基础上利用局部模板匹配技术进行目标跟踪。
（3）在理论研究的基础上，设计了总体系统进行了视频目标检测与跟踪的实验，实验结果表明本文提出的检测跟踪算法和系统结构能够实现运动目标实时检测与跟踪，因此有一定的实用价值。
1.4 本文的内容安排
第一章：绪论，主要介绍课题的研究背景以及国内外研究现状。
第二章：介绍视频图像处理的基础技术，为后续章节的目标检测与跟踪研究奠定理论基础。
第三章：对现有的视频目标检测与跟踪技术进行分析，并比较它们的优缺点。
第四章：研究了静态背景环境下的目标检测与跟踪问题，针对目标检测中的光照问题、目标扩大和目标孔洞问题，改进了邻帧差分检测算法，并进行了目标检测与跟踪系统的设计，同时验证了算法思想的正确性和可行性。
第五章：研究了变背景环境下的目标检测与跟踪问题，首先利用全局运动估计与补偿技术进行帧间背景运动补偿，然后差分检测目标并运用模板匹配技术实现目标跟踪，最后通过实验分析了算法的有效性。
第六章：总结与展望。
5
基于视频的目标检测与跟踪技术研究
6 第二章 目标检测跟踪中的图像处理技术
2.1 色彩转换
在数字图像处理中，一般都是采用面向通用硬件的RGB 模型，该模型适合大多数监视器和彩色摄像机。由于RGB 彩色图像的色彩空间由红、绿、蓝构成，图像数据量比较庞大，不利于计算机快速处理。本文实验所用的是由摄像机拍摄的基于RGB 色彩空间的视频，为了减少数据量，将彩色视频图像灰度化处理，其变换关系如下：
0.29890.58700.1140I R G B =++ (2.1) 式(2.1)中R 、G 、B 为彩色图像红绿蓝颜色分量，I 为图像像素灰度值。彩色图像转换成灰度图像如图2.1所示。
（a ）彩色图像 （b ）灰度图像
图2.1 图像灰度转换 2.2 边缘检测
根据图像的梯度，研究人员设计了很多边缘检测算子[18][19]，其中包括Sobel 算子、Prewitt 算子和Roberts 算子等；另外，John F.Canny 于1986年提出一种多级边缘检测算法，即Canny 算子，该算子除了运用图像梯度之外，还将高斯滤波技术引入边缘检测。
（1）Roberts 算子
Roberts 算子采用对角线方向相邻两像素之差计算图像梯度，其梯度幅值表示为： ()()()()(),,1,11,,1I x y I x y I x y I x y I x y ?=?++++?+ (2.2)
该边缘检测算子检测水平和垂直方向边缘的效果要好于斜向边缘。
（2）Sobel 算子
Sobel 算子的两个卷积模板分别为：
101202101x I ?????=????????
121000121y I ????=????????? (2.3) 利用式(2.3)的两个模板与图像的每个像素点作卷积，计算像素点上下、左右相邻点的加权差，
南京航空航天大学硕士学位论文
7
输出卷积绝对值的最大值作为该点梯度幅值。
（3）Prewitt 算子
Prewitt 算子的两个卷积模板分别为：
101101101x I ?????=???????? 111000111y I ????=?????????
(2.4) 与Sobel 边缘检测算子一样，图像中的每个点都用这两个模板进行卷积，并输出卷积绝对值的最大值作为该点梯度幅值，因此边缘检测效果与Sobel 算子差不多。
（4）Canny 算子
Canny 算子检测边缘的方法是寻找图像梯度幅值的局部极大值，它使用两个阈值分别检测强边缘和弱边缘，而且仅当弱边缘与强边缘相连时，弱边缘才会包含在输出边缘中。Canny 算子检测边缘的步骤为：高斯滤波平滑图像；计算图像水平、垂直以及对角线方向梯度幅值；对梯度值应用非极大值抑制，即把其它非极大值点置零以得到细化的边缘；用双阈值算法检测和
连接边缘，使用两个阈值1T 和2T （12T T >）
，1T 用来找到每条线段，2T 用来在这些线段的两个方向上延伸寻找边缘断裂处，并连接这些边缘。
各边缘检测算子检测实验结果如图2.3和图2.4所示。
图2.3是各算子对未受噪声干扰的大小为240160×的图像（图2.2）进行边缘检测的结果；表2.1是各检测算子对该图像边缘检测的运行时间；图2.4是各算子对受均值为0、方差为0.005的高斯噪声污染的图像进行的边缘检测结果。
由图2.3（d ）可知，在没有受噪声干扰的图像边缘检测中，Canny 算子提取图像边缘的效果最好，边缘定位精度比较高，但从表2.1中可以看出，其进行一次边缘检测的时间最长，是其它三种边缘检测算子运行时间的两倍左右，另外，图2.4（d ）表明，受噪声影响，Canny 算子出现过度边缘检测；Sobel 边缘检测算法和Prewitt 边缘检测算法采用的边缘检测模板相似，都是对图像先做加权平滑处理，然后作微分运算。由图2.4（b ）和图2.4（c ）可以看出，两种算法边缘检测结果受高斯噪声影响较小，边缘清晰；Roberts 算子利用局部差分算子寻找边缘，
边缘定位精度高，但容易丢失一部分边缘（图2.3（a ）
、2.4（a ）），同时由于图像没有经过平滑
处理，因此不具备抑制噪声的能力。
图2.2 原始图像
基于视频的目标检测与跟踪技术研究
8
（a）Roberts边缘检测（b）Sobel边缘检测
（c）Prewitt边缘检测（d）Canny边缘检测
图2.3 边缘检测实验结果
表2.1 边缘检测运行时间
算子
Roberts Sobel
Prewitt Canny 运算时间/秒
0.0784 0.0759 0.0772 0.1439
（a）Roberts边缘检测（b）Sobel边缘检测
（c）Prewitt边缘检测（d）Canny边缘检测
图2.4 各算子对含噪声图像边缘检测结果
综合考虑处理速度和检测效果，Sobel边缘检测算法和Prewitt边缘检测算法比较适合实时视频处理中应用。另外，考虑Sobel边缘检测过程中采用了加权处理，具有抑制噪声的性能，
南京航空航天大学硕士学位论文
9
因此本文选用Sobel 边缘检测算法作为后续视频目标检测与跟踪系统的边缘检测算法。
2.3 图像二值化
图像二值化是图像分割中的一种特殊情况，设图像(),I x y 中目标区域与背景区域的灰度或平均灰度是不同的，而且目标区域和背景区域内部灰度相关性很强，这时可以利用灰度的均一性作为依据进行分割，选取一个阈值将图像分割成二值图像(),g x y 。
()()()0,,,1,,I x y T g x y I x y T
≤??=?>?? (2.5) 式(2.5)中T 为阈值，这种方法将图像中每个像素的灰度值和阈值比较，灰度值得大于阈值的像素为一类，灰度值小于阈值的像素归为另一类[20]。
阈值的选取方法比较多，主要分为三大类：全局阈值法、局部阈值法和自适应阈值法。全局阈值法是在图像分割的过程中只使用一个阈值的方法，它将图像中每个像素的灰度值与阈值进行比较，将大于阈值的像素分为一类，其它分为另一类；局部阈值法是由当前像素灰度值与该像素周围点局部灰度特征来确定像素的阈值，如将整幅图像进行分块，然后在子区域利用全局阈值法确定阈值；自适应阈值法也叫动态阈值法，其阈值的选择不仅取决于像素及其周围的局部特征，还与像素的坐标有关。
本文选择自适应阈值法中的Ostu 阈值法确定阈值[21]，对图2.2灰度化的图像进行实验，得到归一化阈值为：0.4941
，二值化后的图像见图2.5。
图2.5 图像二值化
2.4 形态学图像处理
数学形态学(Mathematical Morphology)是由法国巴黎矿业学院博士生赛拉(J. Serra)和导师马瑟荣，在从事铁矿核的定量岩石学分析中提出的。数学形态学的基本思想是用具有一定形态的结构元素去量度和提取图像中的对应形状以达到对图像分析和识别的目的。它的应用几乎覆盖了图像处理的所有领域，包括文字识别、生物医学图像分析、机器人视觉等[22][23][24]。
数学形态学由一组形态学代数算子组成，它有四个基本运算：膨胀、腐蚀、开启和闭合。基于这些基本运算还可推导和组合各种数学形态学实用算法。在进行图像形态学处理时，要设计一种结构元素，可以采用二值结构元素或者灰度结构元素。结构元素在形态学计算中类似于
基于视频的目标检测与跟踪技术研究
10 滤波中的滤波窗口，其可以选择为方形、圆形等。结构元素的选取原则为：几何上比原图像简单且有界；最好具有某种凸性。图2.6为几种典型的二值结构元素，图2.6（a ）菱形结构元素，半径3R =；图2.6（b ）圆形结构元素，半径3R =；图2.6（c ）多边形结构元素，边长3L =；
图2.6（d ）正方形结构元素，边长7L =。
1（）表示结构元素的中心位置点。 0001000001110001111101111111011
1110001
11000001000（） 0001000
0111110
01111101111111
011111001111100001000
（）
（a ）菱形结构元素 （b ）圆形结构元素
0111000
1111101
1111111
1111111
1111110
1111100011100（） 1111111111111111111111111111111111111111111111111
（） （c ）多边形结构元素 （d ）正方形结构元素
图2.6 几种典型的二值结构元素
在集合论的基础上，令A 为二值图像矩阵，B 为结构元素矩阵。 膨胀定义为：
Z A B z B A ∧????⊕=∩≠Φ???????? (2.6)
则B 膨胀A 的过程为：对B z ，并且A 交B 的反射不为空集。
膨胀操作时，输出的像素是输入图像相应像素邻域内所有像素的最大值。在二值图像中，如果任何一个邻域像素值为1，那么对应的输出像素值为1。
腐蚀定义为：
(){}z A B B A Θ=? (2.7)
则B 腐蚀A 的过程为：所有B 中包含于A 中的点的集合用z 平移。腐蚀操作时，输出的像素是输入图像相应像素邻域内所有像素的最小值。在二值图像中，如果任何一个像素值为0，那么对应的输出像素值为0。
开启定义为：
()A B A B B =Θ⊕o (2.8)
开启操作首先用结构元素B 对A 进行腐蚀，然后用B 对腐蚀结果进行膨胀。
闭合定义为：
()A B A B B ?=⊕Θ (2.9)
南京航空航天大学硕士学位论文
11
闭合操作首先用结构元素B 对集合A 进行膨胀，然后用B 对膨胀结果进行腐蚀。
采用边长大小为1的正方形结构元素，对图2.5进行形态学处理实验，实验结果见图2.7。由图2.7（a ）膨胀结果可知，膨胀是给图像的边界添加像素，输出的图像比输入的图像亮，原始二值图中尺寸比结构元素小的暗细节在膨胀中被消减或被删除，据此，可以用膨胀处理进行目标内部孔洞填充；由图2.7（b ）腐蚀结果可知，腐蚀是减弱或删除图像中尺寸比结构元素小的亮像素，输出的图像比输入的图像暗，所以腐蚀可以用来去除二值图像中的噪声点；图 2.7（c ）开启处理是先进行二值图像腐蚀处理，然后进行膨胀处理，从图中可以看出一些比较小的亮细节被删除了，但也删除了部分大的亮细节；图2.7（d ）闭合处理是先进行二值图像膨胀处理，然后进行腐蚀处理，原始图像中比较小的亮细节被删除了，较大的亮细节得到了保留，而且对亮细节内部的孔洞也进行了填充。
（a ）膨胀处理 （b ）腐蚀处理
（c ）开处理 （d ）闭处理
图2.7 二值图像形态学处理 2.5 小结
本章主要介绍了目标检测与跟踪中的图像处理技术，包括边缘检测技术、灰度图像二值化和二值图像的形态学处理技术。首先介绍彩色图像灰度化处理；然后，简单介绍了四种边缘检测算子，并进行边缘检测实验，实验结果表明，从实时性和检测效果上考虑，Sobel 算子比较适合在视频目标检测与跟踪中应用；最后，引入形态学图像处理技术，通过实验比较了几种基本形态学的处理效果，实验结果表明形态学闭合处理具有删除分散细节和孔洞填充的效果。
基于视频的目标检测与跟踪技术研究
12 第三章 运动目标检测与跟踪
视频运动目标检测与跟踪在精确制导、视频监控和交通管理等领域有着广泛应用。在视频目标检测中，目标的大小影响着目标的检测与跟踪算法的设计。目标根据大小可以分为：点目标、普通目标和大目标。点目标是指在图像上只占一个或几个像素大小的目标，极易和图像的噪声混淆，只能结合它们在图像序列间的连续性和运动来区分；普通目标是指目标和背景相比较小，但大于点目标；大目标和背景的大小相差不大。
3.1 目标的表示
目标的几何特征是指图像中物体的位置、方向、周长和面积等特征[25]。这些特征虽然比较简单，但是在图像分析中起着很重要的作用。在目标跟踪之前，要对检测出的目标进行表示。目标的表示方法主要有点表示法、矩形框表示法、轮廓线表示法和Blob 表示等。点表示法用一个或多个能表示目标特征的点表示目标，如目标形心、重心等；矩形表示法用目标的外接矩形表示目标；轮廓线表示法用目标的轮廓线表示目标；Blob 法用具有连通性的图像块表示目标，其中每个图像块之间是不相连的，可以是相似光流、相似颜色等块。
由于本文研究的是目标的检测与跟踪，不要求对目标进行识别，所以简单地采用目标的位置和面积信息表示目标。
3.1.1 目标的位置
在图像中的物体通常不是一个点，可以采用目标的矩心、或者外接矩形中心表示目标的位置，用目标的外接矩形来表示物体的大小。
目标矩心即目标区域的重心坐标，在图像中目标图像I 中的矩表示为：
(),a b ab x I y I
m x y I x y ∈∈=∑∑ (3.1)
式(3.1)中，a 和b 分别为阶数。 目标的矩心可以表示为：
()()10000,,x I y I
x I y I xI x y m x m I x y ∈∈∈∈==∑∑∑∑ ()()01000,,x I y I x I y I yI x y m y m I x y ∈∈∈∈==∑∑∑∑ (3.2)
式(3.2)中(),I x y 表示像素点灰度值，x ，y 表示像素点坐标值。
本文在目标检测跟踪中均采用目标的外接矩形表示目标大小，矩心()00,x y 表示目标的中心
位置（如图3.1）
。
南京航空航天大学硕士学位论文
13
图3.1 目标表示
3.1.2 图像Blob 分析
Blob 分析是对图像中相同像素的连通域进行分析，该连通域称为Blob 。Blob 分析可以提取图像中图像块的数量、位置、形状和方向，还能够得到图像块之间的拓扑结构[26]。
Blob 分析主要分为两步：
（1）图像分割
Blob 分析是对闭合目标形状进行分析处理的基本方法，在分析之前必须将图像分割成前景像素和背景像素的集合。在本文中，图像分割就是将灰度图像二值化，目标像素被赋值为1，背景像素被赋值为0。
（2）连通性分析
连通性分析是当前图像被分割成目标和背景像素后，将目标图像聚合为块的结合体。连通性分析主要有三种类型：全图连通性分析，它将图像中的所有目标像素视为单一的Blob 像素，
在整幅图像中进行Blob 分析，
所有的统计和测量在图像中的目标像素间进行；连接连通性分析，它将图像中目标像素聚合为一个个Blob 连接体，一般将邻近的目标像素构成一个单独的Blob 块，因此经过这样的分析后，图像被分割成多个Blob 子块；标注连通性分析是对某些已经分割的图像进行分析，图像在分割时，并未明显被分为目标像素和背景像素，只是每一个集合代表一个标注像素范围，在分析时，连接所有具有同样标注的像素为一个子块。
在图像连通性分析时，有两种连通表示方式，一种是四邻域连通，另一种是八邻域连通。在一幅二值图像中，目标像素(),x y 周围有()8n n ≤个像素，如果这些像素中某个像素与中心目标像素灰度相同，那么称该像素与(),x y 具有连通性。当邻域像素取(),x y 周围的(),1x y +、()1,x y +、(),1x y ?和()1,x y ?四个点时称其为四邻域连通；当取中心点周围最近的八个点时，称其为八邻域连通。由上述定义可知，八邻域连通更适合情况较复杂的区域分析。
本文在视频目标检测跟踪中，基于二值图像，采用八邻域连接连通性分析方式对图像进行Blob 分析，Blob 分析流程如图3.2所示。
视频目标跟踪报告
专业硕士研究生实践训练环节视频运动目标检测与跟踪 学院：信息科学与工程学院 专业： 姓名： 学号： 授课老师： 日期：2017
目录 1 课程设计的目的和意义 (1) 1.1 课程设计的目的 (1) 1.2 课程设计的意义 (1) 2 系统简介及说明 (2) 3 设计内容和理论依据 (2) 3.1 基于Mean Shift的跟踪算法 (3) 3.1.1 RGB颜色直方图 (3) 3.1.2 基于颜色和纹理特征的Mean Shift跟踪算法 (3) 3.2 基于颜色特征的粒子滤波跟踪算法 (4) 3.2.1 贝叶斯重要性采样 (4) 3.2.2 序列重要性采样 (5) 3.2.3 粒子退化现象和重采样 (6) 3.2.4 基本粒子滤波算法 (6) 4 流程图 (7) 4.1 Mean Shift跟踪算法流程图 (7) 4.2 粒子滤波跟踪算法流程图 (7) 5 实验结果及分析讨论 (8) 5.1 基于Mean Shift的跟踪算法仿真结果 (8) 5.2 基于颜色特征的粒子滤波算法仿真结果 (9) 6 思考题 (10) 7 课程设计总结 (10) 8 参考文献 (10)
1 课程设计的目的和意义 1.1 课程设计的目的 随着计算机技术的飞速发展、信息智能化时代的到来，安防、交通、军事等领域对于智能视频监控系统的需求量逐渐增大。视频运动目标跟踪是计算机视觉领域的一个研究热点，它融合了人工智能、图像处理、模式识别以及计算机领域的其他先进知识和技术。在军事视觉制导、安全监测、交通管理、医疗诊断以及气象分析等许多方面都有广泛应用。同时，随着视频摄像机的普及化，视频跟踪有着广泛的应用前景，对城市安全起到了防范作用，并且和我们的生活息息相关。 从目前国内外研究的成果来看，对于运动目标的跟踪算法和技术主要是针对于特定环境提出的特定方案，大多数的跟踪系统不能适应于场景比较复杂且运动目标多变的场景。并且在视频图像中目标的遮挡、光照对颜色的影响、柔性刚体的轮廓变化等将严重影响目标的检测与跟踪。因此如何实现一个具有鲁棒性、实时性的视觉跟踪系统仍然是视觉跟踪技术的主要研究方向。 Mean Shift算法的主要优点体现在：计算简单、便于实现；对目标跟踪中出现的变形和旋转、部分遮挡等外界影响，具有较强的鲁棒性。缺点在于：算法不能适应光线变化等外界环境的影响；当目标尺度发生变化时，算法性能受到较大的影响。粒子滤波适用于非线性、非高斯系统，在诸如机动目标跟踪、状态监视、故障检测及计算机视觉等领域有其独到优势，并得到了广泛研究。但粒子滤波算法本身还不够成熟，存在粒子匮乏、收敛性等问题。因为跟踪机动目标需要对目标的运动特性有一定了解，因此，目标跟踪的难点之一在于目标模型的建立及其与跟踪方法的匹配上，这是提高跟踪性能的关键。 1.2 课程设计的意义 图像处理(image processing)，用计算机对图像进行分析，以达到所需结果的技术。又称影像处理。图像处理一般指数字图像处理。数字图像是指用数字摄像机、扫描仪等设备经过采样和数字化得到的一个大的二维数组，该数组的元素称为像素，其值为一整数，称为灰度值。图像处理技术的主要内容包括图像压缩，增强和复原，匹配、描述和识别3个部分。常见的处理有图像数字化、图像编码、图像增强、图像复原、图像分割和图像分析等。图像处理一般指数字图像处理。虽然某些处理也可以用光学方法或模拟技术实现,但它们远不及数字图像处理那样灵活和方便,因而数字图像处理成为图像处理的主要方面。 随着计算机的发展，数字图像处理已成为电子信息、通信、计算机、自动化、信号处理等专业的重要课程。数字图像处理课程设计是在学习完数字图像处理的相关理论后，进行的综合性训练课程。其目的是进一步巩固数字图像的基本概念、理论、分析方法和实现方法。 1
【CN109919979A】一种视频实时目标跟踪的方法【专利】
(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910174796.5 (22)申请日 2019.03.08 (71)申请人 广州二元科技有限公司 地址 510000 广东省广州市南沙区银锋一 街1号银锋广场1栋1608房 (72)发明人 容李庆 关毅 袁亚荣 (74)专利代理机构 广州凯东知识产权代理有限 公司 44259 代理人 罗丹 (51)Int.Cl. G06T 7/246(2017.01) G06K 9/00(2006.01) G06K 9/32(2006.01) (54)发明名称 一种视频实时目标跟踪的方法 (57)摘要 本发明涉及一种视频实时目标跟踪的方法， 采用目标检测与目标跟踪相结合的技术，极大地 降低视频实时目标检测的计算量，由于无需对每 一帧视频图像进行遍历检测，因此极大地提高了 视频实时目标检测的计算效率，可以达到实时视 频的帧率。本发明提供的视频实时目标跟踪的方 法使用神经网络对目标检测器检测出来的目标 框在下一帧图像中的位置进行跟踪回归，极大地 降低了视频实时目标检测的计算量，无需对每一 帧图像都采用检测器检测目标，采用检测与跟踪 相结合的技术应用于视频实时目标检测中，无需 对输入图像进行复杂的降噪等处理，对目标检测 器也无特殊需求，可以大大提升检测的速率，本 发明适用性广，可以在低端的嵌入式设备中保证 足够的计算效率。权利要求书1页 说明书2页 附图1页CN 109919979 A 2019.06.21 C N 109919979 A
权 利 要 求 书1/1页CN 109919979 A 1.一种视频实时目标跟踪的方法，其特征在于包括以下步骤： 1)、通过硬件设备摄像头采集实时的视频作为输入，或者直接输入包含多帧的视频文件； 2)、分解视频，以单帧为单位对视频进行分解； 3)、将不同的数字图像矩阵格式转化为目标检测器支持的数字图像矩阵格式； 4)、输入1帧数字图像矩阵到目标检测器中，检测器通过计算后返回的检测结果以数组的方式进行保存，数组的长度是检测到的目标数量大小； 5)、根据当前输入帧获得的目标检测框作为下一帧图像的目标基础框，采用神经网络对当前帧目标框在下一帧图像的位置进行回归计算，得到下一帧图像的目标检测框信息，如果下一帧检测框信息不为空，则在接下来的帧图像中循环执行当前步骤；若下一帧目标框信息为空，则跳转到步骤4对接下来的帧图像重新调用目标检测器进行目标检测直到视频帧处理结束。 2.根据权利要求1所述的一种视频实时目标跟踪的方法，其特征在于： 所述步骤3)在步骤1)输入视频的时候进行统一的转换。 2
动态视频目标检测和跟踪技术(入门)
动态视频目标检测和跟踪技术 传统电视监控技术只能达到“千里眼”的作用，把远程的目标图像（原始数据）传送到监控中心，由监控人员根据目视到的视频图像对现场情况做出判断。智能化视频监控的目的是将视频原始数据转化为足够量的可供监控人员决策的“有用信息”，让监控人员及时全面地了解所发生的事件：“什么地方”，“什么时间”，“什么人”，“在做什么”。将“原始数据”转化为“有用信息”的技术中，目标检测与跟踪技术的目的是要解决“什么地方”和“什么时间”的问题。目标识别主要解决“什么人”或“什么东西”的问题。行为模式分析主要解决“在做什么”的问题。动态视频目标检测技术是智能化视频分析的基础。 本文将目前几种常用的动态视频目标检测方法简介如下： 背景减除背景减除（Background Subtraction）方法是目前运动检测中最常用的一种方法，它是利用当前图像与背景图像的差分来检测出运动目标的一种技术。它一般能够提供相对来说比较全面的运动目标的特征数据，但对于动态场景的变化，如光线照射情况和外来无关事件的干扰等也特别敏感。实际上，背景的建模是背景减除方法的技术关键。最简单的背景模型是时间平均图像，即利用同一场景在一个时段的平均图像作为该场景的背景模型。由于该模型是固定的，一旦建立之后，对于该场景图像所发生的任何变化都比较敏感，比如阳光照射方向，影子，树叶随风摇动等。大部分的研究人员目前都致力于开发更加实用的背景模型，以期减少动态场景变化对于运动目标检测效果的影响。 时间差分时间差分（Temporal Difference 又称相邻帧差）方法充分利用了视频图像的特征，从连续得到的视频流中提取所需要的动态目标信息。在一般情况下采集的视频图像，若仔细对比相邻两帧，可以发现其中大部分的背景像素均保持不变。只有在有前景移动目标的部分相邻帧的像素差异比较大。时间差分方法就是利用相邻帧图像的相减来提取出前景移动目标的信息的。让我们来考虑安装固定摄像头所获取的视频。我们介绍利用连续的图像序列中两个或三个相邻帧之间的时间差分，并且用阈值来提取出视频图像中的运动目标的方法。我们采用三帧差分的方法，即当某一个像素在连续三帧视频图像上均有相
目标跟踪算法的分类
目标跟踪算法的分类
主要基于两种思路： a)不依赖于先验知识，直接从图像序列中检测到运动目标，并进行目标识别，最终跟踪感兴趣的运动目标； b)依赖于目标的先验知识，首先为运动目标建模，然后在图像序列中实时找到相匹配的运动目标。 一．运动目标检测 对于不依赖先验知识的目标跟踪来讲，运动检测是实现跟踪的第一步。运动检测即为从序列图像中将变化区域从背景图像中提取出来。运动目标检测的算法依照目标与摄像机之间的关系可以分为静态背景下运动检测和动态背景下运动检测 （一）静态背景 1.背景差 2.帧差 3.GMM 4.光流 背景减算法可以对背景的光照变化、噪声干扰以及周期性运动等进行建模，在各种不同情况下它都可以准确地检测出运动目标。因此对于固定
个关键技术： a)匹配法则，如最大相关、最小误差等 b)搜索方法，如三步搜索法、交叉搜索法等。 c) 块大小的确定，如分级、自适应等。 光流法 光流估计的方法都是基于以下假设：图像灰度分布的变化完全是目标或者场景的运动引起的，也就是说，目标与场景的灰度不随时间变化。这使得光流方法抗噪声能力较差，其应用范围一般局限于目标与场景的灰度保持不变这个假设条件下。另外，大多数的光流计算方法相当复杂，如果没有特别的硬件装置，其处理速度相当慢，达不到实时处理的要求。 二．目标跟踪 运动目标的跟踪，即通过目标的有效表达，在图像序列中寻找与目标模板最相似候选目标区位置的过程。简单说，就是在序列图像中为目标定位。运动目标的有效表达除了对运动目标建模外，目标跟踪中常用到的目标特性表达主要包括视觉特征 (图像边缘、轮廓、形状、纹理、区域)、统计特征 (直方图、各种矩特征)、变换系数特
视频运动跟踪技术
视频运动目标跟踪算法研究 摘要：视频图像中的运动物体跟踪技术是计算机视觉、计算机科学、视频监控等学术领域的一个重要课题。该技术将数字图像处理领域中对静态图像的分析扩展到动态图像中。运动物体识别和跟踪技术的研究成果不仅在社会日常生活和工作中有着广泛的应用前景，而且在军事、交通、医学和科研等领域发挥着日益重要的作用。运动物体识别与跟踪算法的设计将直接影响识别和跟踪效果的准确性及稳定性，对于精确度高、鲁棒性好的算法研究一直是计算机视觉和数字图像处理等领域的热点问题。 关键词：目标跟踪，Mean shift算法，目标检测，粒子滤波 1 研究现状 视频目标跟踪技术已经得到了广泛的应用，主要应用有以下几个方面：智能视频监控、人机交互、机器人视觉、自动驾驶。其背后存在的学术价值和蕴藏的经济价值更是得到了很多人员的青睐，很多学术机构、大型公司以及一些科研人员正在投入大量的人力和财力进行各种开发和科研。 Fukunaga等人早期就提出了Mean shift跟踪算法，他们提出了一种概率密度函数的估计方法。不过在后来相当长的时间里并未受到大家的关注，直到1995年，随着Cheng对其进行近一步的研究并成功将其推广到计算机视觉领域中，这才得到了许多专业人士和科研人员的重视。目前存在很多经改进的Mean shift 算法。另外，在算法融合方面，有许多学者也做了相应的研究，K. NuInmiaro提出了将Mean shift算法和粒子滤波算法相融合，从而提高了目标跟踪的鲁棒性和准确性。 标准卡尔曼算法是在线性系统下滤波的，对于非线性、非高斯的系统没有效果。为此，人们开发出各种非线性滤波算法。一种是扩展卡尔曼算法进行滤波与估算，只适用于滤波误差和预测误差很小的情况；另一种是粒子滤波器[1]，它是近些年出现的解决非线性问题的有效算法。粒子滤波技术通过非参数化的蒙特卡罗模拟方法来实现递推贝叶斯滤波，适用于任何能用状态空间模型以及传统的卡尔曼滤波表示的非线性系统,精度可以逼近最优估计。 在目标模型选取上,也有一些专家进行了探索。1）通过对粒子滤波的研究，将颜色作为目标模型并用粒子滤波跟踪，结果表明该方法可以增加遮挡情况下的鲁棒性。但是这种方法有些欠缺，即如果目标和背景有一定的相似度，则跟踪精度容易下降。2）将目标的边缘特征提取出来来代表目标进行跟踪，结果显示这种方法直观地增强了跟踪的鲁棒性。鉴于颜色描述目标色彩信息，边缘代表目标的轮廓，因此将这两种互补信息结合来代表目标可以改善跟踪效果。3）用局部线性嵌入流形(LLE)将问题降为二维空间，然后进行解决。4）利用一定的判别准则来有效分离目标和背景，并建立有明显区别的目标模板，最后成功用于跟踪中。5）通过Adaboost方法练习得到若干弱分类器，然后用系统集成的方法将其形成强分类器，然后用它们来区别目标和背景，以此用特定的方法获得目标的状态，并跟踪出目标运动的轨迹。 视频目标跟踪的难点主要包括以下几个方面[2]：1）目标外观变化。目标运动过程中发生形状的变化，加上相对于摄像机的视角、尺寸变化，造成目标在图像平面上复杂的外观变化，增加了目标建模的难度。2）复杂背景。变化的光照、与目标颜色相似的背景以及杂乱的变化环境使得较难将目标从背景中区分开来。3）遮挡问题。遮挡包括背景的遮挡和目标之间的遮挡。部分遮挡造成目标部分外观特征检测不到，而且引入了遮挡物的干扰；完全遮挡需要跟踪算法要有重新恢复的机制，当目标再次出现时能重新定位。4）目标的复杂运动。非线性的目标运动使得跟踪算法难以预测目标的运动状态，增加了跟踪算法的搜索计算量。 2 视频运动跟踪概述 视频目标跟踪系统的基本框架如下图，
用opencv实现对视频中动态目标的追踪
用openCV实现对视频中动态目标的追踪 第一步，是要建立一个编程环境，然后加载opencv的库路径等等。具体步骤在 https://www.wendangku.net/doc/5318457630.html,/ 的“安装”中有详细介绍。 第二步，建立一个MFC的对话框程序，做两个按钮，一个“打开视频文件”，一个“运动跟踪处理”。 具体操作： 1 建立MFC对话框程序的框架：File ->New -> MFC AppWizard(exe)，选取工程路径，并取工程名“VideoProcesssing”-> Next -> 选择Dialog based后，点Finish,点OK. 2 添加按钮：直接Delete掉界面默认的两个“确定”“取消”按钮。然后添加两个button，分别名为“打开视频”，“运动跟踪处理”，其ID分别设为IDC_OPEN_VIDEO，IDC_TRACKING. 3 添加消息响应函数：双击按钮“打开视频”，自动生成响应函数名OnOpenVideo，点Ok。然后添加如下代码： CFileDialog dlg(true,"*.avi",NULL,NULL,"*.avi|*.avi||"); if (dlg.DoModal()==IDOK) { strAviFilePath = dlg.GetPathName(); }else { return; } 同样，双击“运动跟踪处理”，选择默认的响应函数名，然后添加代码： //声明IplImage指针 IplImage* pFrame = NULL; IplImage* pFrImg = NULL; IplImage* pBkImg = NULL; CvMat* pFrameMat = NULL; CvMat* pFrMat = NULL; CvMat* pBkMat = NULL; CvCapture* pCapture = NULL; int nFrmNum = 0; //打开AVI视频文件 if(strAviFilePath=="") //判断文件路径是否为空 { MessageBox("请先选择AVI视频文件!"); return; }else { if(!(pCapture = cvCaptureFromFile(strAviFilePath))) { MessageBox("打开AVI视频文件失败!"); return;
智能机器人运动控制和目标跟踪
XXXX大学 《智能机器人》结课论文 移动机器人对运动目标的检测跟踪方法 学院（系）： 专业班级： 学生学号： 学生姓名： 成绩：
目录 摘要 (1) 0、引言 (1) 1、运动目标检测方法 (1) 1．1 运动目标图像HSI差值模型 (1) 1.2 运动目标的自适应分割与提取 (2) 2 运动目标的预测跟踪控制 (3) 2．1 运动目标的定位 (3) 2．2 运动目标的运动轨迹估计 (4) 2．3 移动机器人运动控制策略 (6) 3 结束语 (6) 参考文献 (7)
一种移动机器人对运动目标的检测跟踪方法 摘要：从序列图像中有效地自动提取运动目标区域和跟踪运动目标是自主机器人运动控制的研究热点之一。给出了连续图像帧差分和二次帧差分改进的图像HIS 差分模型，采用自适应运动目标区域检测、自适应阴影部分分割和噪声消除算法，对无背景图像条件下自动提取运动目标区域。定义了一些运动目标的特征分析和计算 ，通过特征匹配识别所需跟踪目标的区域。采用 Kalrnan 预报器对运动目标状态的一步预测估计和两步增量式跟踪算法，能快速平滑地实现移动机器人对运动目标的跟踪驱动控制。实验结果表明该方法有效。 关键词：改进的HIS 差分模型；Kahnan 滤波器；增量式跟踪控制策略。 0、引言 运动目标检测和跟踪是机器人研究应用及智能视频监控中的重要关键技术 ，一直是备受关注的研究热点之一。在运动目标检测算法中常用方法有光流场法和图像差分法。由于光流场法的计算量大，不适合于实时性的要求。对背景图像的帧问差分法对环境变化有较强的适应性和运算简单方便的特点，但帧问差分不能提出完整的运动目标，且场景中会出现大量噪声，如光线的强弱、运动目标的阴影等。 为此文中对移动机器人的运动目标检测和跟踪中的一些关键技术进行了研究，通过对传统帧间差分的改进，引入 HSI 差值模型、图像序列的连续差分运算、自适应分割算法、自适应阴影部分分割算法和图像形态学方法消除噪声斑点，在无背景图像条件下自动提取运动 目标区域。采用 Kalman 滤波器对跟踪目标的运动轨迹进行预测，建立移动机器人跟踪运动 目标的两步增量式跟踪控制策略，实现对目标的准确检测和平滑跟踪控制。实验结果表明该算法有效。 1、运动目标检测方法 接近人跟对颜色感知的色调、饱和度和亮度属性 (H ，S ，I )模型更适合于图像识别处理。因此，文中引入改进 型 HSI 帧差模型。 1．1 运动目标图像HSI 差值模型 设移动机器人在某一位置采得的连续三帧图像序列 ()y x k ,f 1-，()y x f k ,，()y x f k ,1+
运动目标图像的识别与跟踪
运动目标图像的识别与跟踪 本文主要目的是将视频摄像头中的运动目标从背景中提取出来，并加以跟踪。首先考虑的是常见的目标检测的算法，其次考虑对于噪声的滤除，最后是对运动目标的跟踪。 一、基本目标检测算法 我们主要考虑的目标检测的算法主要有三种，光流场法、背景模型法以及时域差分法。 1.1光流场法 光流主要是图像亮度模式的表现运动。而光流场则是指灰度模式的表面运动。一般条件下，我们可以根据图像的运动，进行估算相对运动。 光流场法的基本理论是光流场基本方程： 0=++t y x I vI uI (1.1) 式中我们根据亮度守恒，利用泰勒公式展开，忽略高阶项与二次项。其中x I 、y I 和t I 是图像在对数轴x 、y 两个方向和t 的的导数，()v u ,就是这个点的光流坐标。 光流场法的目标检测，在摄像机运动时候也可以做出判断，但是图像的噪声太过明显，使得计算数据庞杂，计算的公式更加复杂，这样并不适合我们的对于目标跟踪的高精度的摄像系统。 1.2背景模型法 背景模型法，也被称为背景差法，主要利用当前的图像和背景的图像的二值化做差，然后取阈值，分割运动目标。 首先根据： ()()()y x b y x f y x D t t t ,,,-= (1.2) 我们可以得到当前的图像帧数()y x f t ,和背景图像的帧数),(y x b t 做差，然后以公式对图像进行二值化的处理。 ???≤>=)(,0)(,1),(BackGround T D ForeGround T D y x P t t t (1.3) 上面),(y x P t 是二值化模板图。假设某一区域大于一个给定的面积的时候，该区域就是我们要找的目标区域。 背景模型法的算法简单，可以快速反应，并且可以提供运动目标的大略特征等数据。但是对于复杂背景下，比如人流较大的公共场所，或者有光照等干扰时，就需以其他的算法以不断更新背景信息来进行弥补。
人体目标检测与跟踪算法研究
人体目标检测与跟踪算法研究 摘要：近些年以来，基于视频中人体目标的检测与跟踪技术研究越来越被重视。然而，由于受到目标自身特征多样性和目标所处环境的复杂性和不确定性的影响，现存算法的性能受到很大的限制。本文对目前所存在的问题进行了分析，并提出了三帧差分法和改进阈值分割法相结合的运动目标检测算法和多特征融合的改进运动目标跟踪算法。这两种算法不仅可以准确有效的检测出运动目标而且能够满足实时性的要求，有效的解决了因光照变化和目标遮挡等情况造成的运动目标跟踪准确度下降或跟踪目标丢失等问题。 关键词：三帧差分，Camshift，阈值分割 Research Based on Human Target Detectionand Tracking Algorithm Abstract: In recent years, human object detection and tracking become more and more important. However the complexity, uncertainty environment and the target’s own diversity limit the performance of existing algorithms. The main works of this paper is to study and analysis the main algorithm of the human object detection and tracking, and proposes a new moving target detection method based on three-frame difference method and threshold segmentation and improved Camshift tracking algorithm based on multi-feature fusion. These algorithm can satisfy the real-time, while accurately and efficiently detect moving targets, and also effectively solves the problem of tracking object lost or misplaced under illumination change or target occlusion. Keywords: three-frame difference, Camshift, threshold segmentation 一、绪论 （一）选题的背景和意义 人类和动物主要通过眼睛来感受和认知外部世界。人类通过视觉所获取的信息占了60%[1]，因此，在开发和完善人工智能的过程中，赋予机器视觉的功能这一操作极不可缺少。完善上述功能需要以许多技术为基础，特别是运动目标的检测与跟踪技术。近些年以来，此技术受到了越来越多的关注[2]。目前，此技术也在各领域得到了充分的应用，涵盖的领域有智能交通、导航、智能视频监控、精确制导、人机交互和多媒体视频编码压缩技术等。
目标检测与跟踪实验报告3 王进
《图像探测、跟踪与识别技术》 实验报告 专业：探测制导与控制技术 学号：11151201 姓名：王进 2014 年11月
实验三复杂场景下目标的检测与跟踪 一、实验目的 1. 学习不同目标跟踪算法，对比不同算法对于复杂场景的效果； 2. 学习OpenCV与VS2010的联合编程，提高编程能力。 二、实验要求 1. 要求学生至少使用一种目标跟踪算法对视频中出现的目标进行跟踪； 2. 检验所选算法在复杂场景下的效果； 3. 使用VS2010/2012和OpenCV进行编程； 4. 本实验不要求目标检测，所以目标可以手动标出。 三、实验步骤 1. 想办法找到目标（可手动框出）。 2. 编写目标跟踪函数代码； 四、实验报告 1、CAMSHIFT算法原理 CAMSHIFT算法是利用目标的颜色直方图模型将图像转换为颜色概率分布图，初始化一个搜索窗的大小和位置，并根据上一帧得到的结果自适应调整搜索窗口的位置和大小，从而定位出当前图像中目标的中心位置。 这个算法可以分为三个部分： 1、色彩投影图（反向投影）： (1).RGB颜色空间对光照亮度变化较为敏感，为了减少此变化对跟踪效果的影响，首先将图像从RGB空间转换到HSV空间。(2).然后对其中的H分量作直方图，在直方图中代表了不同H分量值出现的概率或者像素个数，就是说可以查找出H分量大小为h的概率或者像素个数，即得到了颜色概率查找表。(3).将图像中每个像素的值用其颜色出现的概率对替换，就得到了颜色概率分布图。这个过程就叫反向投影，颜色概率分布图是一个灰度图像。 2、MEANSHIFT MEANSHIFT算法是一种密度函数梯度估计的非参数方法，通过迭代寻优找到概率分布的极值来定位目标。 算法过程为： (1).在颜色概率分布图中选取搜索窗W (2).计算零阶距： 计算一阶距：
视频目标跟踪算法综述_蔡荣太
1引言 目标跟踪可分为主动跟踪和被动跟踪。视频目标跟踪属于被动跟踪。与无线电跟踪测量相比，视频目标跟踪测量具有精度高、隐蔽性好和直观性强的优点。这些优点使得视频目标跟踪测量在靶场光电测量、天文观测设备、武器控制系统、激光通信系统、交通监控、场景分析、人群分析、行人计数、步态识别、动作识别等领域得到了广泛的应用[1-2]。 根据被跟踪目标信息使用情况的不同，可将视觉跟踪算法分为基于对比度分析的目标跟踪、基于匹配的目标跟踪和基于运动检测的目标跟踪。基于对比度分析的跟踪算法主要利用目标和背景的对比度差异，实现目标的检测和跟踪。基于匹配的跟踪主要通过前后帧之间的特征匹配实现目标的定位。基于运动检测的跟踪主要根据目标运动和背景运动之间的差异实现目标的检测和跟踪。前两类方法都是对单帧图像进行处理，基于匹配的跟踪方法需要在帧与帧之间传递目标信息，对比度跟踪不需要在帧与帧之间传递目标信息。基于运动检测的跟踪需要对多帧图像进行处理。除此之外，还有一些算法不易归类到以上3类，如工程中的弹转机跟踪算法、多目标跟踪算法或其他一些综合算法。2基于对比度分析的目标跟踪算法基于对比度分析的目标跟踪算法利用目标与背景在对比度上的差异来提取、识别和跟踪目标。这类算法按照跟踪参考点的不同可以分为边缘跟踪、形心跟踪和质心跟踪等。这类算法不适合复杂背景中的目标跟踪，但在空中背景下的目标跟踪中非常有效。边缘跟踪的优点是脱靶量计算简单、响应快，在某些场合（如要求跟踪目标的左上角或右下角等）有其独到之处。缺点是跟踪点易受干扰，跟踪随机误差大。重心跟踪算法计算简便，精度较高，但容易受到目标的剧烈运动或目标被遮挡的影响。重心的计算不需要清楚的轮廓，在均匀背景下可以对整个跟踪窗口进行计算，不影响测量精度。重心跟踪特别适合背景均匀、对比度小的弱小目标跟踪等一些特殊场合。图像二值化之后，按重心公式计算出的是目标图像的形心。一般来说形心与重心略有差别[1-2]。 3基于匹配的目标跟踪算法 3.1特征匹配 特征是目标可区别与其他事物的属性，具有可区分性、可靠性、独立性和稀疏性。基于匹配的目标跟踪算法需要提取目标的特征，并在每一帧中寻找该特征。寻找的 文章编号：1002－8692（2010）12-0135-04 视频目标跟踪算法综述* 蔡荣太1，吴元昊2，王明佳2，吴庆祥1 （1.福建师范大学物理与光电信息科技学院，福建福州350108； 2.中国科学院长春光学精密机械与物理研究所，吉林长春130033） 【摘要】介绍了视频目标跟踪算法及其研究进展，包括基于对比度分析的目标跟踪算法、基于匹配的目标跟踪算法和基于运动检测的目标跟踪算法。重点分析了目标跟踪中特征匹配、贝叶斯滤波、概率图模型和核方法的主要内容及最新进展。此外，还介绍了多特征跟踪、利用上下文信息的目标跟踪和多目标跟踪算法及其进展。 【关键词】目标跟踪；特征匹配；贝叶斯滤波；概率图模型；均值漂移；粒子滤波 【中图分类号】TP391.41；TN911.73【文献标识码】A Survey of Visual Object Tracking Algorithms CAI Rong-tai1,WU Yuan-hao2,WANG Ming-jia2,WU Qing-xiang1 （1.School of Physics,Optics,Electronic Science and Technology,Fujian Normal University,Fuzhou350108,China; 2.Changchun Institute of Optics,Fine Mechanics and Physics,Chinese Academy of Science,Changchun130033,China）【Abstract】The field of visual object tracking algorithms are introduced,including visual tracking based on contrast analysis,visual tracking based on feature matching and visual tracking based on moving detection.Feature matching,Bayesian filtering,probabilistic graphical models,kernel tracking and their recent developments are analyzed.The development of multiple cues based tracking,contexts based tracking and multi-target tracking are also discussed． 【Key words】visual tracking;feature matching;Bayesian filtering;probabilistic graphical models;mean shift;particle filter ·论文·*国家“863”计划项目（2006AA703405F）；福建省自然科学基金项目（2009J05141）；福建省教育厅科技计划项目（JA09040）
(完整版)视频目标检测与跟踪算法综述
视频目标检测与跟踪算法综述 1、引言 运动目标的检测与跟踪是机器视觉领域的核心课题之一，目前被广泛应用在视频编码、智能交通、监控、图像检测等众多领域中。本文针对视频监控图像的运动目标检测与跟踪方法，分析了近些年来国内外的研究工作及最新进展。 2、视频监控图像的运动目标检测方法 运动目标检测的目的是把运动目标从背景图像中分割出来。运动目标的有效分割对于目标分类、跟踪和行为理解等后期处理非常重要。目前运动目标检测算法的难点主要体现在背景的复杂性和目标的复杂性两方面。背景的复杂性主要体现在背景中一些噪声对目标的干扰，目标的复杂性主要体现在目标的运动性、突变性以及所提取目标的非单一性等等。所有这些特点使得运动目标的检测成为一项相当困难的事情。目前常用的运动目标检测算法主要有光流法、帧差法、背景相减法，其中背景减除法是目前最常用的方法。 2.1帧差法 帧差法主要是利用视频序列中连续两帧间的变化来检测静态场景下的运动目标，假设f k（x, y）和f（k i）（x, y）分别为图像序列中的第k帧和第k+1帧中象素点（x，y）的象素值,则这两帧图像的差值图像就如公式2-1所示： Diff ki f k（x, y） f（k 1）（x, y）（2-1）2-1式中差值不为0的图像区域代表了由运动目标的运动所经过的区域（背景象素值不变），又因为相邻视频帧间时间间隔很小，目标位置变化也很小，所以运动目标的运动所经过的区域也就代表了当前帧中运动目标所在的区域。利用此原理便可以提取出目标。下图给出了帧差法的基本流程：1、首先利用2-1式得到第k帧和第k+1帧的差值图像Diff k 1；2、对所得到的差值图像Diff k 1二值化（如 式子2-2示）得到Qk+1 ；3、为消除微小噪声的干扰，使得到的运动目标更准 确，对Q k 1进行必要的滤波和去噪处理，后处理结果为M k 1。 1
目标检测、跟踪与识别技术与现代战争
目标检测、跟踪与识别技术与现代战争 【摘要】本文讨论目标检测、跟踪与识别技术在现代战争各个领域中的应用，总结目标识别技术的发展方向，提出目标识别技术工程化实现方法，同时本文介绍了国外目标识别的现状及发展趋势，提出了现代战争应采用综合识别系统解决目标识别问题的建议。 关键词目标检测；目标跟踪；目标识别；雷达；人工神经网络；精确制导 1．引言 随着现代科学技术的飞速发展及其在军事领域内日益广泛的应用，传统的作战思想、作战方式已发生根本性的变化。从第一次海湾战争到科索沃战争，特别是刚刚结束的海湾战争，空中精确打击和空地一体化作战已经成为最重要的作战形式。集指挥、控制、通信、计算机、情报、监视侦察于一体的C ISR 已成为取得战场主动权，赢得最后胜利的关键因素。目标识别技术是雷达智能化、信息化的重要技术支撑手段。在现代化战争中，目标识别技术在预警探测、精确制导、战场指挥和侦察、敌我识别等军事领域都有广泛的应用前景，已受到了世界各国的关注。 现代战争中取得战场制信息权的关键之一是目标属性识别。现代战争的作战环境十分复杂，作战双方都在采用相应的伪装、隐蔽、欺骗和干扰等手段和技术，进行识别和反识别斗争。因此仅仅依靠一种或少数几种识别手段很难准确地进行目标识别，必须利用多个和多类传感器所收集到的多种目标属性信息，综合出准确的目标属性，进行目标检测，跟踪后进行识别。 2．目标检测、跟踪与识别技术在现代战争中的应用 2．1 目标检测、跟踪与识别技术在预警探测上的应用 目标检测、跟踪与识别技术对于弹道导弹的预警工作有重要的作用。弹道导弹一般携带多个弹头，其中可能包含核弹头或大规模杀伤的弹头以及常规弹头，预警雷达必须具备对目标进行分类和识别真假弹头的能力，将核弹头或大规模杀伤的弹头分离出来，为弹道导弹防御(BMD)系统进行目标攻击和火力分配提供依据。早期的BMD系统假设只有一个核弹头，多弹头分导技术的出现，使问题转化为雷达的多目标识别问题，加上电子对抗技术的广泛使用，给目标识别技术带来很大困难。另外，预警雷达还要对空中目标或低空目标进行探测，对来袭目标群进行分类识别。利用星载雷达以及远程光学望远镜等观测设备，可以对外空目标进行探测，对外空来袭目标进行分类和识别，达到早期预警的工作。
本科毕业设计__基于视频的目标跟踪及人群密度估计方法研究开题报告
上海交通大学 2012 级硕士学位论文开题报告登记表 学号姓名导师李建勋学科控制科学与工程学院(系、所) 电子信息与电气工程学院 学位论文题目稳健对地目标跟踪方法研究 研究课题来源国家自然科学基金、航天创新基金、中航613横向项目 课题的意义以及研究的主要内容 运动目标跟踪是视觉图像处理中的一个非常热门的话题，在多个领域有着广泛的应用。运动目标跟踪的应用领域和环境主要有：对大型公共场所进行智能化视频监控、基于视频的人机交互、交通流量监测、医疗诊断等。 本文从计算机视觉角度研究对地目标跟踪方法。由于视觉跟踪系统能在比较复杂的背景下，提取与分离市场内的目标、确定目标位置、估计目标运动趋势、实现对目标的实时跟踪，且具有跟踪精度高、跟踪状态平稳、抗干扰能力强、分辨率高和成本低等特点，在军事上很受重视。在民用领域，对地目标跟踪也有着广泛的应用：对大型公共场所进行智能化视频监控。例如在机场、商场、地铁站等场所进行智能化监控，其主要目的都是为了保障公众财产和信息安全。在人群监测、交通管理上实现智能化有非比寻常的意义。 以以上应用为背景，本文的对地目标跟踪技术包含以下几个主要技术模块：单目标跟踪技术、多目标跟踪技术、密集目标跟踪技术。分出这几个模块是为了应对不同的应用场景，或是在同一场景需要各模块的协同合作。例如地铁站的人群流量具有明显时段特征，早晚上下班高峰人流极大，而其他时段人流量明显减少，这就需要对不同时段采用不同的跟踪方法以达到最好的效果。在上下班高峰期，采用密集目标跟踪技术，而在其他时段，采用多目标跟踪技术，而在有特殊需要的时候，例如跟踪特定犯罪嫌疑人时，可采用单目标跟踪技术。 本文研究的主要内容具体有： ①粒子滤波基本方法研究，这是单目标跟踪方法的框架。在图像跟踪应用中，目标状态的后验概率分布往往是非线性非高斯多模态的，粒子滤波方法对于系统模型没有特殊要求，且能够保持状态的多模态分布，在跟踪领域得到了很大的发展。但常规粒子滤波跟踪算法存在计算量大、采样效率低等问题。 ②粒子群最优化思想研究，改进常规粒子滤波采样效率低的问题，提高采样效率。针对常规粒子滤波跟踪算法存在计算量大、采样效率低等问题，引入粒子群优化思想对目标状态后验分布进行最优搜索，找到后验分布的高似然区，并依据此高似然区来进行重采样。 ③变结构多模型的设计，以更好的表征目标的运动模型。几乎所有的方法对目标的运动状态都假定为平滑的，或者将运动限制在恒速或恒加速运动状态。而实际情况并非如此，例如机动目标的运动状态就很难用单一模型来表征。本文引入变结构多模型方法为目标建立变结构多运动模型。变结构多模型方法能够很好的表征目标的运动模型却又不增加过多的计算量，因此相比单一运动模型能够更好的估计目标的运动。
视频跟踪解决方案
AVT21自动视频跟踪模块 作者： 产品概述 AVT21是一款高性能小尺寸低功耗的嵌入式自动视频跟踪模块，该模块提供了目标捕捉、自动跟踪、平台控制、电子稳像、图像缩放平移旋转、OSD等强大功能，解决了光电跟踪系统所需要的各种算法和技术问题，从而大大缩短了光电跟踪系统的研制周期，并使系统性能大大提升。 典型应用方案示意图1，用户使用自行设计的嵌入式主控模块+ AVT21，构建自动视频跟踪系统。 典型应用方案示意图2，用户使用VTC81 + AVT21，构建自动视频跟踪系统。
典型应用方案示意图3，用户使用PC机+ AVT21，快速构建自动视频跟踪系统。 作者： 关键特征 ●内置多种图像增强预处理算法：白热、黑热、双极性、移动目标检测等。 ●视频捕获：可根据目标的亮度、尺寸、外形比例、速度、运动方向等自动获取目标。 ●视频跟踪：内置多种跟踪算法且支持多目标检测和多目标跟踪；目标短暂丢失智能 锁定和重捕获算法。 ●可编程两轴平台驱动控制（PID）；支持速率和位置控制。 ●算法的FPGA实现，使得模块具有极低的延迟：输出偏差或平台控制数据延迟小于 1场时间（PAL：20ms、NTSC：）。 ●图像处理功能：基于场景锁定的极低延迟实时电子稳像 ●OSD功能，支持标准的和用户自定义的字符和符号，如：跟踪窗口、符号标记、瞄 准线、状态等等。 ●图像平移、缩放和旋转功能，以纠正传感器安装位置对视频的影响。
●支持固定视场、可切换视场、连续变化（ZOOM）视场的摄像机。 ●结构紧凑、功耗低。 原理框图 外形图作者：
自动获取目标 可根据目标的亮度、尺寸、外形比例、速度、运动方向等自动获取目标。 跟踪算法作者： ●质心跟踪算法：这种跟踪方式用于跟踪有界目标，且目标与环境相比有明显不同灰 度等级，如空中飞机等。目标完全包含在镜头视场范围内。 ●相关跟踪算法：相关可用来跟踪多种类型的目标，当跟踪目标无边界且动态不是很 强时这种方式非常有效。典型应用于：目标在近距离的范围，且目标扩展到镜头视场范围外，如航行在大海中的一艘船。 ●相位相关算法：相位相关算法是非常通用的算法，既可以用来跟踪无界目标也可以 用来跟踪有界目标。在复杂环境下（如地面的汽车）能给出一个好的效果。 ●多目标跟踪算法：多目标跟踪用于有界目标如飞机、地面汽车等。它们完全在跟踪 窗口内。对复杂环境里的小目标跟踪，本算法能给出一个较好的性能。 ●边缘跟踪算法：当跟踪目标有一个或多个确定的边缘而同时却又具有不确定的边缘， 这时边缘跟踪是最有效的算法。典型如火箭发射，它有确定好的前边缘，但尾边缘由于喷气而不定。 ●场景锁定算法：该算法专门用于复杂场景的跟踪。适合于空对地和地对地场景。这 个算法跟踪场景中的多个目标，然后依据每个点的运动，从而估计整个场景全局运动，场景中的目标和定位是自动选择的。当存在跟踪点移动到摄像机视场外时，新的跟踪点能自动被标识。瞄准点初始化到场景中的某个点，跟踪启动，同时定位瞄准线。在这种模式下，能连续跟踪和报告场景里的目标的位置。 ●组合跟踪算法：顾名思义这种跟踪方式是两种具有互补特性的跟踪算法的组合：相 关类算法+ 质心类算法。它适合于目标尺寸、表面、特征改变很大的场景。 低延迟
目标检测与跟踪
第九章图像目标探测与跟踪技术 主讲人：赵丹培 宇航学院图像处理中心 zhaodanpei@https://www.wendangku.net/doc/5318457630.html, 电话：82339972
目录 9.1 概论 9.2 目标检测与跟踪技术的发展现状9.3 目标检测与跟踪技术的典型应用9.4 图像的特征与描述 9.5 目标检测方法的基本概念与原理9.6 目标跟踪方法涉及的基本问题
9.1 概论 1、课程的学习目的 学习和掌握目标探测、跟踪与识别的基本概念和术语，了解一个完整信息处理系统的工作流程，了解目标探测、跟踪与识别在武器系统、航空航天、军事领域的典型应用。了解目标检测、跟踪与识别涉及的关键技术的发展现状，为今后从事相关的研究工作奠定基础。 2、主要参考书： 《目标探测与识别》，周立伟等编著，北京理工大学出版社； 《成像自动目标识别》，张天序著，湖北科学技术出版社； 《动态图像分析》，李智勇沈振康等著，国防工业出版社；
引言：学习目标检测与跟踪技术的意义 ?现代军事理论认为，掌握高科技将成为现代战争取胜的重要因素。以侦察监视技术、通信技术、成像跟踪技术、精确制导技术等为代表的军用高科技技术是夺取胜利的重要武器。 ?成像跟踪技术是为了在战争中更精确、及时地识别敌方目标，有效地跟踪目标，是高科技武器系统中的至关重要的核心技术。 ?例如：一个完整的军事战斗任务大致包括侦察、搜索、监视以及攻击目标和毁伤目标。那么快速的信息获取和处理能力就是战争胜利的关键，因此，目标的实时探测、跟踪与识别也成为必要的前提条件。
?随着现代高新技术的不断发展及其在军事应用领域中的日益推广，传统的作战形态正在发生着深刻的变化。 1973年的第四次中东战争，1982年的英阿马岛之战，1991年的海湾战争及1999年的科索沃战争，伊拉克战争等都说明了这一点。西方各军事强国都在积极探索对抗武器，特别是美国更是投入了巨大的物力、人力和财力积极研制弹道导弹防御系统。而图像检测、跟踪和识别算法作为现代战场信息环境作战成败的关键，具备抗遮挡、抗丢失和抗机动鲁棒性的智能跟踪器，将是现代战场作战必备品，具有广泛的应用前景。