视频目标跟踪报告
专业硕士研究生实践训练环节视频运动目标检测与跟踪
学院：信息科学与工程学院
专业：
姓名：
学号：
授课老师：
日期：2017
目录
1 课程设计的目的和意义 (1)
1.1 课程设计的目的 (1)
1.2 课程设计的意义 (1)
2 系统简介及说明 (2)
3 设计内容和理论依据 (2)
3.1 基于Mean Shift的跟踪算法 (3)
3.1.1 RGB颜色直方图 (3)
3.1.2 基于颜色和纹理特征的Mean Shift跟踪算法 (3)
3.2 基于颜色特征的粒子滤波跟踪算法 (4)
3.2.1 贝叶斯重要性采样 (4)
3.2.2 序列重要性采样 (5)
3.2.3 粒子退化现象和重采样 (6)
3.2.4 基本粒子滤波算法 (6)
4 流程图 (7)
4.1 Mean Shift跟踪算法流程图 (7)
4.2 粒子滤波跟踪算法流程图 (7)
5 实验结果及分析讨论 (8)
5.1 基于Mean Shift的跟踪算法仿真结果 (8)
5.2 基于颜色特征的粒子滤波算法仿真结果 (9)
6 思考题 (10)
7 课程设计总结 (10)
8 参考文献 (10)
1 课程设计的目的和意义
1.1 课程设计的目的
随着计算机技术的飞速发展、信息智能化时代的到来，安防、交通、军事等领域对于智能视频监控系统的需求量逐渐增大。视频运动目标跟踪是计算机视觉领域的一个研究热点，它融合了人工智能、图像处理、模式识别以及计算机领域的其他先进知识和技术。在军事视觉制导、安全监测、交通管理、医疗诊断以及气象分析等许多方面都有广泛应用。同时，随着视频摄像机的普及化，视频跟踪有着广泛的应用前景，对城市安全起到了防范作用，并且和我们的生活息息相关。
从目前国内外研究的成果来看，对于运动目标的跟踪算法和技术主要是针对于特定环境提出的特定方案，大多数的跟踪系统不能适应于场景比较复杂且运动目标多变的场景。并且在视频图像中目标的遮挡、光照对颜色的影响、柔性刚体的轮廓变化等将严重影响目标的检测与跟踪。因此如何实现一个具有鲁棒性、实时性的视觉跟踪系统仍然是视觉跟踪技术的主要研究方向。
Mean Shift算法的主要优点体现在：计算简单、便于实现；对目标跟踪中出现的变形和旋转、部分遮挡等外界影响，具有较强的鲁棒性。缺点在于：算法不能适应光线变化等外界环境的影响；当目标尺度发生变化时，算法性能受到较大的影响。粒子滤波适用于非线性、非高斯系统，在诸如机动目标跟踪、状态监视、故障检测及计算机视觉等领域有其独到优势，并得到了广泛研究。但粒子滤波算法本身还不够成熟，存在粒子匮乏、收敛性等问题。因为跟踪机动目标需要对目标的运动特性有一定了解，因此，目标跟踪的难点之一在于目标模型的建立及其与跟踪方法的匹配上，这是提高跟踪性能的关键。
1.2 课程设计的意义
图像处理(image processing)，用计算机对图像进行分析，以达到所需结果的技术。又称影像处理。图像处理一般指数字图像处理。数字图像是指用数字摄像机、扫描仪等设备经过采样和数字化得到的一个大的二维数组，该数组的元素称为像素，其值为一整数，称为灰度值。图像处理技术的主要内容包括图像压缩，增强和复原，匹配、描述和识别3个部分。常见的处理有图像数字化、图像编码、图像增强、图像复原、图像分割和图像分析等。图像处理一般指数字图像处理。虽然某些处理也可以用光学方法或模拟技术实现,但它们远不及数字图像处理那样灵活和方便,因而数字图像处理成为图像处理的主要方面。
随着计算机的发展，数字图像处理已成为电子信息、通信、计算机、自动化、信号处理等专业的重要课程。数字图像处理课程设计是在学习完数字图像处理的相关理论后，进行的综合性训练课程。其目的是进一步巩固数字图像的基本概念、理论、分析方法和实现方法。
通过本次课程设计增强应用matlab编写熟悉图像处理的应用程序及分析问题解决实际问题的能力，同时对综合运用专业基础知识及软件设计能力也会有较大提高。
2 系统简介及说明
视频跟踪的目的就是从复杂的背景中检测出跟踪目标，通过对图像序列进行处理和分析研究，从而实现对目标的准确跟踪。目标跟踪的原理就是在每一帧的图像序列中找出目标的确切位置。一般的跟踪方法是首先提取被跟踪目标的图像，建立一个模板，然后在下一帧图像中进行全图匹配，搜索目标图像，直到找到匹配的位置。尽管不同的应用场合和需求对应了不同的跟踪系统，但是它们的基本原理、关键技术和核心算法大同小异。实现目标跟踪的关键在于如何有效的分割目标、合理的提取目标特征和准确、稳定地识别目标，同时还要考虑目标跟踪算法实现的时间，保证跟踪的实时性和鲁棒性。
一般的，视频目标跟踪系统通常包括以下几个部分：视频图像采集，运动目标检测，目标跟踪以及行为理解与分析。如图3.1所示。
视频采集设备运动目标检测目标跟踪行为理解分析
视频监控窗口
图2-1 视频目标跟踪系统
通过视频采集设备进行图像采集，并通过A/D转换将视频信号转换成数字图像序列。运动目标检测是把跟踪场景中发生变化的区域检测出来，并将运动目标从背景图像中提取出来，正确的检测对目标跟踪的后期处理非常重要。目标跟踪是指在一段序列图像中找出感兴趣的运动目标在连续帧图像中的位置序列，它是目标行为理解与分析的前提；目标行为理解与分析是指对目标模式进行分析识别，并且可以用自然语言等对其进行描述，它属于高级处理部分。
3 设计内容和理论依据
运动目标跟踪领域的两个热点算法是Mean Shift算法和粒子滤波算法，本次设计是对这两种算法进行探讨。针对基于单一颜色模型的Mean Shift跟踪算法易受复杂环境以及相似背景干扰的影响，采用一种基于颜色和纹理特征的Mean Shift跟踪算法，提高跟踪效率。将改进的Mean Shift算法与粒子滤波算法进行比较。
3.1 基于Mean Shift 的跟踪算法 3.1.1 RGB 颜色直方图
RGB 颜色直方图：在运动目标跟踪领域里，颜色直方图是一种典型的描述目标特征的手段，它应用计算和统计学规律，能够反映视频序列帧中颜色的组合结构和比例分布情况，任何一副图像都有与之唯一对应的颜色直方图。RGB 彩色模型三维坐标系的每个坐标轴分别由R 、G 、B 三基色组成，其中坐标轴最小值为0，最大值为255。任何一种颜色都能够在这个三维坐标系中找到自己的位置，坐标的原点(0，0，0)表示黑色，而坐标(255，255，255)表示白色。计算图像颜色直方图的目的是为了获取颜色概率分布图像，因此需要颜色量化过程即将颜色空间划分为若干个小的颜色区间，每个区间称为直方图的一个直方格bin ，然后计算图片颜色落在每个颜色区间内的像素数量就可以得到颜色直方图。
计算直方图的方法可以简单的描述为：给定一个图像的m 区间的直方图，
定义图像的像素位置为{}1,...,n i i x =和直方图{}1,...,?u m q =，同时给定一个表示像素*i x 的直方图索引为()*i c x 的函数{}2:1,...,c R m →，因此直方图可以用下式计算：
()*1
?n
u i i q c x u δ=??=-??∑ (3-1)
其中将直方图区间的值量化到二维概率分布图像的离散像素范围内可以用下式计算：
()1,...,255??min ,255?max u u u m p q q =??????= ??? ??????
? (3-2)
即直方图区间的值从()0,max q ????量化到新的范围[0,255]内。 3.1.2 基于颜色和纹理特征的Mean Shift 跟踪算法
颜色是一种有效的视觉特征，它对目标的旋转、物体的遮挡及非刚体变换都比较鲁棒，但是它容易受到光照变化及相似背景颜色的干扰。因此基于单一特征的跟踪算法很难适应环境的变化，而多特征联合起来可以有效的互补克服单一线索的缺陷。本文采用基于颜色和纹理特征的Mean Shift 跟踪算法，在对运动目标进行颜色特征匹配之后，进一步进行LBP 纹理统计特征匹配，有效的提高了匹配效率，避免基于单一颜色特征的Mean Shift 跟踪算法易受到光照变化及相似背景颜色干扰的缺点。
用于跟踪的Mean Shift 算法是一种半自动跟踪算法.在跟踪序列的初始帧，通过人工或其他识别算法确定目标窗并构建目标模型；然后，在序列第N 帧对应位置计算候选目标模型；比较两个模型的相似度，以相似度最大化为原则移动跟踪窗，从而定位目标的真实位置。
(3-3)
目标定位问题转化为最大化相似度函数)(Y ρ的问题，以前一帧的搜索窗中心0Y 为起始点，将)(Y ρ在0Y 附近Taylor 展开，取前两项。即：
因此要使得)(Y ρ向最大值迭代，只要Y 的搜索方向与梯度方向一致即可，通过求导可得到0Y 的梯度方向。从而可以推导出MeanShift 向量：
(3-4)
其中，1Y 是目标的新中心坐标；)()('x k x g -=，是函数)(x k 的影子核。通过反复迭代，当Mean-Shift 向量g h H m ?，)(0Y g 的模值小于给定常量ε时，则认为完成了目标定位。
3.2 基于颜色特征的粒子滤波跟踪算法
粒子滤波是蒙特卡罗方法和贝叶斯估计理论结合的产物，它通过非参数化的蒙特卡罗模拟方法从时域实现递推贝叶斯估计。粒子滤波算法其思想是利用一系列随机抽取的样本以及样本的权重来计算状态的后验概率密度。从而实现目标的跟踪。粒子滤波算法通过状态-空间模型中不断演化的具有权值的粒子来估计目标状态，不用满足系统为线性、噪声高斯分布，适用于任何能用状态空间模型表示的非线性系统,但是基本的粒子滤波算法会出现粒子退化现象，使跟踪的精确性大大降低。
3.2.1 贝叶斯重要性采样
在粒子滤波算法中，重要性采样是一个重要环节。它解决的问题是在随机变量难以采样的情况下，求取随机变量x 的数学期望值。由前面讨论可知，后验概率密度可由一组采样加权的粒子来近似，但是在实际情况中，后验概率密度是未知的，所以不能直接对后验概率密度采样获得粒子。要解决这个问题的常见做法是对一个容易获得的建议分布)(:1:0t t z x q 进行采样，于是期望的计算可以转化为：
(3-5)
其中)(:0t t x w 为重要性权值，计算公式如下：
02
1
2
0101000)(Y H Y X g w H Y X g w X Y Y Y m h i n i i
h
i n i i i H g h -???
?
?
????? ??
-????
?????? ??-=-=∑∑==?t
t t t t t t t
t t t t t t t t t t
t t t t t t t t dx z x q z p x w x g dx z x q z x q z p x p x z p x g dx z x q z x q z x p x g x g E :0:1:0:1:0:0:0:1:0:1:0:1:0:0:1:0:0:1:0:1:0:1:0:0:0)()
()
()
( )()
()()()()( )()
()()()]([???===∑
∑==+=m
u u u m u u u Y p q q Y p Y 1010)
(21)(21)(ρ
(3-6)
将)(:0t t x w 代入式(3-5)中可得：
(3-7)
其中，)(:1:0t t z x q E 表示根据建议分布获得的期望，因此期望()0:t E g x ????可以近似表示为：
()()()0:0:0:1?N
i i t t t t i E g x g x w x ==???
?∑ (3-8)
式中，0:i t x 表示从()0:1:t t q x z 中获得的独立随机样本，()0:i
t t w x 表示标准化权值，
即
()()
()
0:0:0:1
i
t t i
t t N
i
t
t
i w x w x w x ==
∑ (3-9)
3.2.2 序列重要性采样
为了序贯估计后验分布，建议分布的表达式重新写为：
()()()
0:1:0:11:10:1,1:1t t t t t t t q x z q x z q x x z ----=
(3-10)
假设状态变量与观测变量相互独立，且遵循一阶马尔科夫过程，则：
()()()
0:011
t
t j j j p x p x p x x -==∏
(3-11)
()()
1:0:1
t
t t j j j p z x p z x ==∏
(3-12)
重要性权值的递推公式可以表示为：
()()
()()()
10:10:0:11:,t t t t t t t t t t t p z x p x x w x w x q x x z ---=
(3-13)
上式表明，只要选择合适的建议分布获取采样粒子，就可以递推计算粒子重要性权值。理想的建议分布选择应该使得重要性权值的方差最小，在实际情况中，
()()
()()()0:0:0:0:1:0:1:1
t t t t t t t t E g x g x w x q x z dx p z =
?????()()()
()
()()
()
0:1:0:1:0:0:0:t t
t t
t t t q x
z t t q x
z E w x g x E w x =
)
()()()(:1:0:0:0:1:0t t t t t t t z x q x p x z p x w =
通常建议取建议分布为状态先验分布，即：
()()0:11:1,t t t t t q x x z p x x --=
(3-14)
将式(3-14)代入式(3-13)中，重要性权值的递推公式可以简化为：
()()()0:10:t t t t t t w x w x p z x -=
(3-15)
上式表明，采用状态先验先验分布作为建议分布，重要性权值正比于似然函数。
3.2.3 粒子退化现象和重采样
序贯重要性采样最大的问题就是粒子退化现象，退化现象是指经过若干次的递推之后，少数粒子会具有较大的权值，而其它的粒子的权值都变得很小，以此类推，大量的计算量就会浪费在这些权值较小的粒子上，相应的粒子权值方差会随着时间的推移不断增大，那么此时的粒子集就无法准确地对后验概率分布进行描述。为了避免这个问题，最常用的做法是重采样。重采样的核心思想是在重要性采样的基础之上，加入重采样，以淘汰权值较小的粒子，而集中于权值较大的粒子。
粒子的退化程度可以用有效粒子数eff N 来度量，有效粒子数可以用下式近似估计得到：
()2
0:1
1
?eff
n
t
t
i N w x ==????
∑
(3-16)
目前比较常用的判断准则是给定阈值th N ，一般th N 设为2/3N ，若?e f f N N ，则进行粒子重采样，否则不进行重采样。重采样的算法一般可以描述为从近似描 述()1:t t p x z 分布的粒子集() {} 1,...,i i n x =中重新抽样N 次，以产生新的粒子集 () {} *1,...,i i n x =，并且把粒子的权重全部重新设为1/N 。 3.2.4 基本粒子滤波算法 通过对以上基础知识的了解，基本粒子滤波算法一般包含初始化、状态转移、系统观测、状态估计及重采样五个步骤，具体步骤如下： （1）初始化： t=0，根据先验分布()?t p x ，采样初始粒子集(){} ()1,...,??~p i t t i N x x =； （2）重要性采样： 1t ≥时，进行重要性采样，从建议分布采样，()() () 0:11:??~,i i t t t t x q x x z -； （3）重要性加权： 1）更新粒子权值()()()10:i t t t t t w w x p z x -=； 2）对权值进行归一化处理()()()1 1?N i i i t t t i w w w -=??=???? ∑； 3）状态估计：()()1 ???N i i t t t i x w x ==∑； （4）重采样： 如果?e f f t h N N <，则进行重采样产生新的粒子集(){}()(){} 1???,~,i i i t t t x N x w -；1t t =+，返回步骤（2）。 4 流程图 4.1 Mean Shift 跟踪算法流程图 开始开始建立目标颜色和 纹理融合模型建立目标颜色和纹理融合模型建立候选目标颜色和纹理融合模型建立候选目标颜色和纹理融合模型利用MS 算法求出候选区域新位置 利用MS 算法求出候选区域新位置相似性函数递增？ 相似性函数递增？新旧位置差小于阈值？ 新旧位置差小于阈值？输出跟踪结果 输出跟踪结果结束 结束更新至新旧位置中点 更新至新旧位置中点更新值取新位置 更新值取新位置N N Y Y 图4.1 Mean Shift 跟踪算法系统框图 4.2 粒子滤波跟踪算法流程图 初始化条件：粒子数，各参数值 读取图像帧 初始化粒子，计算目标模版状态转移计算粒子区域模版计算似燃性开始 结束 是否最后一帧 更新目标模版 输出目标估计 粒子重采样 粒子权值更新 是 否 图4.2 粒子滤波跟踪算法系统框图 5 实验结果及分析讨论 5.1 基于Mean Shift 的跟踪算法仿真结果 本节分别给出基于颜色特征的Mean Shift 跟踪算法以及基于颜色和纹理特征的Mean Shift 跟踪算法的实验结果。通过自拍室外视频对不同算法在相似背景干扰的情况下进行测试，视频的大小为1280 720,视频长度为223帧，帧速率为25fps ，以频中运动的人为跟踪目标，实验结果如图5-1、图5-2所示。 图5-1 基于颜色特征的Mean Shift 跟踪算法的实验结果 图5-2 基于颜色和纹理特征的Mean Shift跟踪算法的实验结果由实验结果可以看出，在背景颜色与人物颜色相似的情况下，基于颜色特征的Mean Shift跟踪算法发生了较大偏差，无法准确地跟踪目标；而基于颜色和纹理特征的Mean Shift跟踪算法，由于加入了纹理特征，跟踪性能较为稳定，出现的偏差较小，能准确的跟踪目标。 5.2 基于颜色特征的粒子滤波算法仿真结果 为验证基于颜色特征的粒子滤波算法有效性，这里对室内运动的目标进行跟踪仿真实验。视频的大小为320 240，视频长度为132帧，帧速率为15fps。待跟踪的运动目标的参考目标模型是在视频序列帧中第一帧手动选定，粒子滤波算法的粒子数N为150个从实验结果可以看出，与背景颜色反差较大的跟踪目标在运动过程中出现物体遮挡的情况下，基于颜色的粒子滤波算法仍然可以进行准确的跟踪，因此本算法对遮挡情况下目标的跟踪有很好的适应性。 图5-3 基于颜色特征的粒子滤波算法实验结果 6 思考题 1、目标特征除了采用颜色和纹理特征还可以采用那些特征？ 对于一些形状特殊的物体，例如坦克，可以用边缘特征。 2、对于目标相似背景干扰严重，应采取什么措施？ 增强对颜色的分辨功能，尽可能的区分差别较小的颜色。 3、粒子数不同对实验结果有什么影响。 粒子数减少会减少占用内存，增快实验运行速度。粒子数减少可能就会对背景要求较高，背景干扰严重时，不能准确的识别运动物体。 4、目标外观变化或遮挡较严重时考虑采用多种算法结合的目标跟踪。 7 课程设计总结 8 参考文献 [1]马晓路,刘倩,牟海军.基于Mean Shift和粒子滤波的运动目标跟踪[J].微型机与应 用,2012,31(23):42-44. [2] 高秀斌.基于Mean Shift和粒子滤波算法的动态目标跟踪的研究[D].扬州大学,2013. [3] 何广.基于粒子滤波的目标跟踪算法研究[D].哈尔滨工业大学,2006.[2] [4] 马加庆.视频运动目标的跟踪方法[M].北京：电子工业出版社,2013:21-73. [5] 王洋.基于粒子滤波的运动目标跟踪研究[D].哈尔滨理工大学,2011:1-12. 专业硕士研究生实践训练环节视频运动目标检测与跟踪 学院：信息科学与工程学院 专业： 姓名： 学号： 授课老师： 日期：2017 目录 1 课程设计的目的和意义 (1) 1.1 课程设计的目的 (1) 1.2 课程设计的意义 (1) 2 系统简介及说明 (2) 3 设计内容和理论依据 (2) 3.1 基于Mean Shift的跟踪算法 (3) 3.1.1 RGB颜色直方图 (3) 3.1.2 基于颜色和纹理特征的Mean Shift跟踪算法 (3) 3.2 基于颜色特征的粒子滤波跟踪算法 (4) 3.2.1 贝叶斯重要性采样 (4) 3.2.2 序列重要性采样 (5) 3.2.3 粒子退化现象和重采样 (6) 3.2.4 基本粒子滤波算法 (6) 4 流程图 (7) 4.1 Mean Shift跟踪算法流程图 (7) 4.2 粒子滤波跟踪算法流程图 (7) 5 实验结果及分析讨论 (8) 5.1 基于Mean Shift的跟踪算法仿真结果 (8) 5.2 基于颜色特征的粒子滤波算法仿真结果 (9) 6 思考题 (10) 7 课程设计总结 (10) 8 参考文献 (10) 1 课程设计的目的和意义 1.1 课程设计的目的 随着计算机技术的飞速发展、信息智能化时代的到来，安防、交通、军事等领域对于智能视频监控系统的需求量逐渐增大。视频运动目标跟踪是计算机视觉领域的一个研究热点，它融合了人工智能、图像处理、模式识别以及计算机领域的其他先进知识和技术。在军事视觉制导、安全监测、交通管理、医疗诊断以及气象分析等许多方面都有广泛应用。同时，随着视频摄像机的普及化，视频跟踪有着广泛的应用前景，对城市安全起到了防范作用，并且和我们的生活息息相关。 从目前国内外研究的成果来看，对于运动目标的跟踪算法和技术主要是针对于特定环境提出的特定方案，大多数的跟踪系统不能适应于场景比较复杂且运动目标多变的场景。并且在视频图像中目标的遮挡、光照对颜色的影响、柔性刚体的轮廓变化等将严重影响目标的检测与跟踪。因此如何实现一个具有鲁棒性、实时性的视觉跟踪系统仍然是视觉跟踪技术的主要研究方向。 Mean Shift算法的主要优点体现在：计算简单、便于实现；对目标跟踪中出现的变形和旋转、部分遮挡等外界影响，具有较强的鲁棒性。缺点在于：算法不能适应光线变化等外界环境的影响；当目标尺度发生变化时，算法性能受到较大的影响。粒子滤波适用于非线性、非高斯系统，在诸如机动目标跟踪、状态监视、故障检测及计算机视觉等领域有其独到优势，并得到了广泛研究。但粒子滤波算法本身还不够成熟，存在粒子匮乏、收敛性等问题。因为跟踪机动目标需要对目标的运动特性有一定了解，因此，目标跟踪的难点之一在于目标模型的建立及其与跟踪方法的匹配上，这是提高跟踪性能的关键。 1.2 课程设计的意义 图像处理(image processing)，用计算机对图像进行分析，以达到所需结果的技术。又称影像处理。图像处理一般指数字图像处理。数字图像是指用数字摄像机、扫描仪等设备经过采样和数字化得到的一个大的二维数组，该数组的元素称为像素，其值为一整数，称为灰度值。图像处理技术的主要内容包括图像压缩，增强和复原，匹配、描述和识别3个部分。常见的处理有图像数字化、图像编码、图像增强、图像复原、图像分割和图像分析等。图像处理一般指数字图像处理。虽然某些处理也可以用光学方法或模拟技术实现,但它们远不及数字图像处理那样灵活和方便,因而数字图像处理成为图像处理的主要方面。 随着计算机的发展，数字图像处理已成为电子信息、通信、计算机、自动化、信号处理等专业的重要课程。数字图像处理课程设计是在学习完数字图像处理的相关理论后，进行的综合性训练课程。其目的是进一步巩固数字图像的基本概念、理论、分析方法和实现方法。 1 动态视频目标检测和跟踪技术 传统电视监控技术只能达到“千里眼”的作用，把远程的目标图像（原始数据）传送到监控中心，由监控人员根据目视到的视频图像对现场情况做出判断。智能化视频监控的目的是将视频原始数据转化为足够量的可供监控人员决策的“有用信息”，让监控人员及时全面地了解所发生的事件：“什么地方”，“什么时间”，“什么人”，“在做什么”。将“原始数据”转化为“有用信息”的技术中，目标检测与跟踪技术的目的是要解决“什么地方”和“什么时间”的问题。目标识别主要解决“什么人”或“什么东西”的问题。行为模式分析主要解决“在做什么”的问题。动态视频目标检测技术是智能化视频分析的基础。 本文将目前几种常用的动态视频目标检测方法简介如下： 背景减除背景减除（Background Subtraction）方法是目前运动检测中最常用的一种方法，它是利用当前图像与背景图像的差分来检测出运动目标的一种技术。它一般能够提供相对来说比较全面的运动目标的特征数据，但对于动态场景的变化，如光线照射情况和外来无关事件的干扰等也特别敏感。实际上，背景的建模是背景减除方法的技术关键。最简单的背景模型是时间平均图像，即利用同一场景在一个时段的平均图像作为该场景的背景模型。由于该模型是固定的，一旦建立之后，对于该场景图像所发生的任何变化都比较敏感，比如阳光照射方向，影子，树叶随风摇动等。大部分的研究人员目前都致力于开发更加实用的背景模型，以期减少动态场景变化对于运动目标检测效果的影响。 时间差分时间差分（Temporal Difference 又称相邻帧差）方法充分利用了视频图像的特征，从连续得到的视频流中提取所需要的动态目标信息。在一般情况下采集的视频图像，若仔细对比相邻两帧，可以发现其中大部分的背景像素均保持不变。只有在有前景移动目标的部分相邻帧的像素差异比较大。时间差分方法就是利用相邻帧图像的相减来提取出前景移动目标的信息的。让我们来考虑安装固定摄像头所获取的视频。我们介绍利用连续的图像序列中两个或三个相邻帧之间的时间差分，并且用阈值来提取出视频图像中的运动目标的方法。我们采用三帧差分的方法，即当某一个像素在连续三帧视频图像上均有相 (19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910174796.5 (22)申请日 2019.03.08 (71)申请人 广州二元科技有限公司 地址 510000 广东省广州市南沙区银锋一 街1号银锋广场1栋1608房 (72)发明人 容李庆 关毅 袁亚荣 (74)专利代理机构 广州凯东知识产权代理有限 公司 44259 代理人 罗丹 (51)Int.Cl. G06T 7/246(2017.01) G06K 9/00(2006.01) G06K 9/32(2006.01) (54)发明名称 一种视频实时目标跟踪的方法 (57)摘要 本发明涉及一种视频实时目标跟踪的方法， 采用目标检测与目标跟踪相结合的技术，极大地 降低视频实时目标检测的计算量，由于无需对每 一帧视频图像进行遍历检测，因此极大地提高了 视频实时目标检测的计算效率，可以达到实时视 频的帧率。本发明提供的视频实时目标跟踪的方 法使用神经网络对目标检测器检测出来的目标 框在下一帧图像中的位置进行跟踪回归，极大地 降低了视频实时目标检测的计算量，无需对每一 帧图像都采用检测器检测目标，采用检测与跟踪 相结合的技术应用于视频实时目标检测中，无需 对输入图像进行复杂的降噪等处理，对目标检测 器也无特殊需求，可以大大提升检测的速率，本 发明适用性广，可以在低端的嵌入式设备中保证 足够的计算效率。权利要求书1页 说明书2页 附图1页CN 109919979 A 2019.06.21 C N 109919979 A 权 利 要 求 书1/1页CN 109919979 A 1.一种视频实时目标跟踪的方法，其特征在于包括以下步骤： 1)、通过硬件设备摄像头采集实时的视频作为输入，或者直接输入包含多帧的视频文件； 2)、分解视频，以单帧为单位对视频进行分解； 3)、将不同的数字图像矩阵格式转化为目标检测器支持的数字图像矩阵格式； 4)、输入1帧数字图像矩阵到目标检测器中，检测器通过计算后返回的检测结果以数组的方式进行保存，数组的长度是检测到的目标数量大小； 5)、根据当前输入帧获得的目标检测框作为下一帧图像的目标基础框，采用神经网络对当前帧目标框在下一帧图像的位置进行回归计算，得到下一帧图像的目标检测框信息，如果下一帧检测框信息不为空，则在接下来的帧图像中循环执行当前步骤；若下一帧目标框信息为空，则跳转到步骤4对接下来的帧图像重新调用目标检测器进行目标检测直到视频帧处理结束。 2.根据权利要求1所述的一种视频实时目标跟踪的方法，其特征在于： 所述步骤3)在步骤1)输入视频的时候进行统一的转换。 2 煤矿调查工作目标及完成情况 由于××××××项目遇到一定困难，造成西沙河安全监控项目不能及时开工。对此，公司委派市场部和煤矿部前去西沙河煤矿前去协调并了煤矿施工情况。在前往西沙河煤矿之前，市场部和煤矿部制定了三点目标。即，协调×××××顺利开工、熟悉施工情况、了解煤矿需求。根据此次出差工作情况，现总结如下： 一、协调山东微感光公司顺利开工 2月21日下午到达××后，直接前往××大酒店，与××工接洽，了解××在施工中遇到的困难及西沙河煤矿的一些情况。在××工讲述项目遇到的各种情况后，市场部判断此次造成××公司未能及时开工的主要原因在于，××煤矿并未明确该项目的具体负责人，造成该项目实施时，煤矿人员相互推诿。 针对这种情况，市场部及时联系西沙河煤矿并当日拜访了××煤矿董事长××，针对项目遇到的情况与矿方进行了接洽；与矿方协商后，××董事长明确指定了煤矿负责机电的×总，全权负责该项目的实施工作，并要求项目尽快实施。次日，在落实项目集体负责人上，煤矿负责机电的×总召开了项目工作安排会议，会议上明确了以下几点： 1、电缆测温系统实施，由煤矿机电部配合；监测范围主要是10KV 主电缆；系统控制主机、解调仪等设备安置于锅炉房，并对锅炉房进行整改；机电部××部长主抓负责具体事宜。 2、皮带温度监测系统，由机电运输部负责；主要监测主井皮带和暗斜井皮带；由机电运输部部长××、××副部长负责； 3、应急广播系统，由监控室负责；井下未覆盖的地方必须全部覆盖，应急广播系统必须切实安装。由通风部长××主抓负责； 4、采空区测温及微震监测暂时不安装，设备由机电部封存备案； 5、项目各负责人积极配合厂家施工，保证厂家人员安全，及时落实项目开工，办理厂家人员下井施工所需要的手续； 此次由煤矿×总召开项目工作安排会议，指明了项目的具体负责人，确认了项目需要实施的监测系统，基本明确了项目实施日期,办理了5张入井证；对此，协调工作为××项目顺利实施奠定了基础。 二、项目施工目标 此次施工目标主要是跟踪××的施工情况。根据跟踪××施工情况，煤炭部的施工目标大致为三点；即，了解系统实施步骤；掌握分布式光纤监控系统的井下施工工艺；熟悉××设备的实际运用情况及系统使用方法； 1、实施步骤 根据对××项目实施情况的跟踪了解，施工分为施工准备阶段、现场勘查阶段、具体实施阶段、及工程验收阶段（暂不涉及）四个阶段。 （1）施工准备阶段，该阶段工作主要集中在与矿方协调施工位置上；与矿方确认，应先准备矿井平面图，在图纸上表明施工的具体层面、巷道、安装点位等。具体如下： 用openCV实现对视频中动态目标的追踪 第一步，是要建立一个编程环境，然后加载opencv的库路径等等。具体步骤在 https://www.wendangku.net/doc/3d10636916.html,/ 的“安装”中有详细介绍。 第二步，建立一个MFC的对话框程序，做两个按钮，一个“打开视频文件”，一个“运动跟踪处理”。 具体操作： 1 建立MFC对话框程序的框架：File ->New -> MFC AppWizard(exe)，选取工程路径，并取工程名“VideoProcesssing”-> Next -> 选择Dialog based后，点Finish,点OK. 2 添加按钮：直接Delete掉界面默认的两个“确定”“取消”按钮。然后添加两个button，分别名为“打开视频”，“运动跟踪处理”，其ID分别设为IDC_OPEN_VIDEO，IDC_TRACKING. 3 添加消息响应函数：双击按钮“打开视频”，自动生成响应函数名OnOpenVideo，点Ok。然后添加如下代码： CFileDialog dlg(true,"*.avi",NULL,NULL,"*.avi|*.avi||"); if (dlg.DoModal()==IDOK) { strAviFilePath = dlg.GetPathName(); }else { return; } 同样，双击“运动跟踪处理”，选择默认的响应函数名，然后添加代码： //声明IplImage指针 IplImage* pFrame = NULL; IplImage* pFrImg = NULL; IplImage* pBkImg = NULL; CvMat* pFrameMat = NULL; CvMat* pFrMat = NULL; CvMat* pBkMat = NULL; CvCapture* pCapture = NULL; int nFrmNum = 0; //打开AVI视频文件 if(strAviFilePath=="") //判断文件路径是否为空 { MessageBox("请先选择AVI视频文件!"); return; }else { if(!(pCapture = cvCaptureFromFile(strAviFilePath))) { MessageBox("打开AVI视频文件失败!"); return; 河北工业大学城市学院本科毕业设计（论文）中期报告 毕业设计（论文）题目：基于Mean-Shift的视频目标跟踪算法的设计与实现 专业(方向)：网络工程 学生信息：学号：088302 姓名：坎启娇班级：网络C081班 指导教师信息：教师号：02019 姓名：侯向丹职称：副教授 报告提交日期：2012年4月30号 1.前言 1.1选题的背景 运动目标的检测与跟踪是应用视觉领域[1]的一个重要的课题。目标跟踪涉及到图像处理、模式识别、人工智能以及自适应控制多领域问题的综合解决,其中对于复杂背景(或环境)下的图像处理一直是视觉信息处理和理解的难点。在实际应用中，复杂的现场环境以及跟踪应用的实时性要求，对算法都提出了更高的要求。因此，研究复杂背景下运动目标的检测和跟踪的课题有重要意义。本文的研究目的是建立一个视频图像监控系统，根据目标的运动方向，系统将目标锁定在视野中。目标跟踪是在一段视频序列中寻找与指定目标最相似的部分，是计算机视觉的一个重要研究内容。它在视频监控、人机界面、增强现实、基于目标的视频压缩等众多领域中有着广泛的应用。 1.2运动目标跟踪算法 1.2.1常见的运动目标跟踪算法 目前视频目标跟踪方法[2]大体上可以分为基于区域匹配的目标跟踪、基于轮廓的匹配跟踪、基于特征的匹配跟踪、基于模型的跟踪,以及基于运动特性的跟踪。下面详细介绍这五类算法。 (1)基于区域匹配跟踪 区域匹配跟踪的基本思想是:预先通过人为的方法或图像分割的方法得到包含目标的模板，然后在后续的视频序列中运用相关匹配准则进行目标的匹配跟踪。决定区域匹配跟踪效果好坏最主要的因素就是匹配度量和搜索算法的选取。最常用的相关准则是平方和准则法(SSD),颜色法、形状法等。 优点:提取了较完整的目标模板，因此相对其它跟踪算法能得到更多的图像信息，当目标未被遮挡时跟踪精度高且稳定，因而广泛应用于小目标的跟踪或对比度比较差的目标跟 1引言 目标跟踪可分为主动跟踪和被动跟踪。视频目标跟踪属于被动跟踪。与无线电跟踪测量相比，视频目标跟踪测量具有精度高、隐蔽性好和直观性强的优点。这些优点使得视频目标跟踪测量在靶场光电测量、天文观测设备、武器控制系统、激光通信系统、交通监控、场景分析、人群分析、行人计数、步态识别、动作识别等领域得到了广泛的应用[1-2]。 根据被跟踪目标信息使用情况的不同，可将视觉跟踪算法分为基于对比度分析的目标跟踪、基于匹配的目标跟踪和基于运动检测的目标跟踪。基于对比度分析的跟踪算法主要利用目标和背景的对比度差异，实现目标的检测和跟踪。基于匹配的跟踪主要通过前后帧之间的特征匹配实现目标的定位。基于运动检测的跟踪主要根据目标运动和背景运动之间的差异实现目标的检测和跟踪。前两类方法都是对单帧图像进行处理，基于匹配的跟踪方法需要在帧与帧之间传递目标信息，对比度跟踪不需要在帧与帧之间传递目标信息。基于运动检测的跟踪需要对多帧图像进行处理。除此之外，还有一些算法不易归类到以上3类，如工程中的弹转机跟踪算法、多目标跟踪算法或其他一些综合算法。2基于对比度分析的目标跟踪算法基于对比度分析的目标跟踪算法利用目标与背景在对比度上的差异来提取、识别和跟踪目标。这类算法按照跟踪参考点的不同可以分为边缘跟踪、形心跟踪和质心跟踪等。这类算法不适合复杂背景中的目标跟踪，但在空中背景下的目标跟踪中非常有效。边缘跟踪的优点是脱靶量计算简单、响应快，在某些场合（如要求跟踪目标的左上角或右下角等）有其独到之处。缺点是跟踪点易受干扰，跟踪随机误差大。重心跟踪算法计算简便，精度较高，但容易受到目标的剧烈运动或目标被遮挡的影响。重心的计算不需要清楚的轮廓，在均匀背景下可以对整个跟踪窗口进行计算，不影响测量精度。重心跟踪特别适合背景均匀、对比度小的弱小目标跟踪等一些特殊场合。图像二值化之后，按重心公式计算出的是目标图像的形心。一般来说形心与重心略有差别[1-2]。 3基于匹配的目标跟踪算法 3.1特征匹配 特征是目标可区别与其他事物的属性，具有可区分性、可靠性、独立性和稀疏性。基于匹配的目标跟踪算法需要提取目标的特征，并在每一帧中寻找该特征。寻找的 文章编号：1002－8692（2010）12-0135-04 视频目标跟踪算法综述* 蔡荣太1，吴元昊2，王明佳2，吴庆祥1 （1.福建师范大学物理与光电信息科技学院，福建福州350108； 2.中国科学院长春光学精密机械与物理研究所，吉林长春130033） 【摘要】介绍了视频目标跟踪算法及其研究进展，包括基于对比度分析的目标跟踪算法、基于匹配的目标跟踪算法和基于运动检测的目标跟踪算法。重点分析了目标跟踪中特征匹配、贝叶斯滤波、概率图模型和核方法的主要内容及最新进展。此外，还介绍了多特征跟踪、利用上下文信息的目标跟踪和多目标跟踪算法及其进展。 【关键词】目标跟踪；特征匹配；贝叶斯滤波；概率图模型；均值漂移；粒子滤波 【中图分类号】TP391.41；TN911.73【文献标识码】A Survey of Visual Object Tracking Algorithms CAI Rong-tai1,WU Yuan-hao2,WANG Ming-jia2,WU Qing-xiang1 （1.School of Physics,Optics,Electronic Science and Technology,Fujian Normal University,Fuzhou350108,China; 2.Changchun Institute of Optics,Fine Mechanics and Physics,Chinese Academy of Science,Changchun130033,China）【Abstract】The field of visual object tracking algorithms are introduced,including visual tracking based on contrast analysis,visual tracking based on feature matching and visual tracking based on moving detection.Feature matching,Bayesian filtering,probabilistic graphical models,kernel tracking and their recent developments are analyzed.The development of multiple cues based tracking,contexts based tracking and multi-target tracking are also discussed． 【Key words】visual tracking;feature matching;Bayesian filtering;probabilistic graphical models;mean shift;particle filter ·论文·*国家“863”计划项目（2006AA703405F）；福建省自然科学基金项目（2009J05141）；福建省教育厅科技计划项目（JA09040） 上海交通大学 2012 级硕士学位论文开题报告登记表 学号姓名导师李建勋学科控制科学与工程学院(系、所) 电子信息与电气工程学院 学位论文题目稳健对地目标跟踪方法研究 研究课题来源国家自然科学基金、航天创新基金、中航613横向项目 课题的意义以及研究的主要内容 运动目标跟踪是视觉图像处理中的一个非常热门的话题，在多个领域有着广泛的应用。运动目标跟踪的应用领域和环境主要有：对大型公共场所进行智能化视频监控、基于视频的人机交互、交通流量监测、医疗诊断等。 本文从计算机视觉角度研究对地目标跟踪方法。由于视觉跟踪系统能在比较复杂的背景下，提取与分离市场内的目标、确定目标位置、估计目标运动趋势、实现对目标的实时跟踪，且具有跟踪精度高、跟踪状态平稳、抗干扰能力强、分辨率高和成本低等特点，在军事上很受重视。在民用领域，对地目标跟踪也有着广泛的应用：对大型公共场所进行智能化视频监控。例如在机场、商场、地铁站等场所进行智能化监控，其主要目的都是为了保障公众财产和信息安全。在人群监测、交通管理上实现智能化有非比寻常的意义。 以以上应用为背景，本文的对地目标跟踪技术包含以下几个主要技术模块：单目标跟踪技术、多目标跟踪技术、密集目标跟踪技术。分出这几个模块是为了应对不同的应用场景，或是在同一场景需要各模块的协同合作。例如地铁站的人群流量具有明显时段特征，早晚上下班高峰人流极大，而其他时段人流量明显减少，这就需要对不同时段采用不同的跟踪方法以达到最好的效果。在上下班高峰期，采用密集目标跟踪技术，而在其他时段，采用多目标跟踪技术，而在有特殊需要的时候，例如跟踪特定犯罪嫌疑人时，可采用单目标跟踪技术。 本文研究的主要内容具体有： ①粒子滤波基本方法研究，这是单目标跟踪方法的框架。在图像跟踪应用中，目标状态的后验概率分布往往是非线性非高斯多模态的，粒子滤波方法对于系统模型没有特殊要求，且能够保持状态的多模态分布，在跟踪领域得到了很大的发展。但常规粒子滤波跟踪算法存在计算量大、采样效率低等问题。 ②粒子群最优化思想研究，改进常规粒子滤波采样效率低的问题，提高采样效率。针对常规粒子滤波跟踪算法存在计算量大、采样效率低等问题，引入粒子群优化思想对目标状态后验分布进行最优搜索，找到后验分布的高似然区，并依据此高似然区来进行重采样。 ③变结构多模型的设计，以更好的表征目标的运动模型。几乎所有的方法对目标的运动状态都假定为平滑的，或者将运动限制在恒速或恒加速运动状态。而实际情况并非如此，例如机动目标的运动状态就很难用单一模型来表征。本文引入变结构多模型方法为目标建立变结构多运动模型。变结构多模型方法能够很好的表征目标的运动模型却又不增加过多的计算量，因此相比单一运动模型能够更好的估计目标的运动。 本次实验是一种基于MATLAB的简易的从视频播放的帧图像中找出目标图像，并进行视频跟踪的实现方法。通过对图像进行阈值处理（图像分割），再对分割后的图像求取形心，以对目标图像进行定位，并最后找到各幅帧图像的目标位置的方法，从而实现对95帧视频图像的实时跟踪。 图片存于帧图片文件夹！ 程序算法为Untitled6.m文件！ 基于MATLAB的图像跟踪算法 2.1 95帧视频图像的读取 由于视频是由95帧图像通过连续播放从而达到视频的效果的，所以要达到视频放映的效果，应首先对95帧图像序列进行顺序读取。95帧图像存储在MATLAB的默认路径中，文件名为00000xxx.bmp。要达到读取它们的目的，需要使用循环算法。算法由一个名为read_seqim(i)的函数实现，以下是函数的源程序： function I=read_seqim(i) if nargin==0 i=1;min=00000001; end name=num2str(i); if i<=9 min=strcat('0000000',name,'.bmp'); elseif i<=99 min=strcat('000000',name,'.bmp'); else min=strcat('00000',name,'.bmp'); end I=imread(min); 其中i为读取图像的序号，通过以上的函数可以很方便的实现对95帧图像中任意一帧的读取，从而为后面的处理提供方便。 2.2 图像的阈值处理（图像分割） 阈值(Threshold)，也叫门限。阈值化(Thresholding),即按给定阈值进行图像的二值化处理。阈值分割法可分为以下几种： ?简单阈值分割法; ?多阈值分割法; ?最大类间方差法; ?最佳阈值法。 许多情况，图像是由具有不同灰度级的几类区域组成。如文字与纸张、地物与云层（航空照片）等，阈值分割是利用同一区域的具有某种共同灰度特性进行分割。而用阈值分割法分割图像就是选取一个适当的灰度阈值，然后将图像中的每个像素和它进行比较，将灰度值超过阈值的点和低于阈值的点分别指定一个灰度值，就可以得到分割后的二值图像，此时目标和背景已经得到了分割。阈值分割法简单，快速，特别适用于灰度和背景占据不同灰度级范围的图像。这里我们使用多阈值分割法。 AVT21自动视频跟踪模块 作者： 产品概述 AVT21是一款高性能小尺寸低功耗的嵌入式自动视频跟踪模块，该模块提供了目标捕捉、自动跟踪、平台控制、电子稳像、图像缩放平移旋转、OSD等强大功能，解决了光电跟踪系统所需要的各种算法和技术问题，从而大大缩短了光电跟踪系统的研制周期，并使系统性能大大提升。 典型应用方案示意图1，用户使用自行设计的嵌入式主控模块+ AVT21，构建自动视频跟踪系统。 典型应用方案示意图2，用户使用VTC81 + AVT21，构建自动视频跟踪系统。 典型应用方案示意图3，用户使用PC机+ AVT21，快速构建自动视频跟踪系统。 作者： 关键特征 ●内置多种图像增强预处理算法：白热、黑热、双极性、移动目标检测等。 ●视频捕获：可根据目标的亮度、尺寸、外形比例、速度、运动方向等自动获取目标。 ●视频跟踪：内置多种跟踪算法且支持多目标检测和多目标跟踪；目标短暂丢失智能 锁定和重捕获算法。 ●可编程两轴平台驱动控制（PID）；支持速率和位置控制。 ●算法的FPGA实现，使得模块具有极低的延迟：输出偏差或平台控制数据延迟小于 1场时间（PAL：20ms、NTSC：）。 ●图像处理功能：基于场景锁定的极低延迟实时电子稳像 ●OSD功能，支持标准的和用户自定义的字符和符号，如：跟踪窗口、符号标记、瞄 准线、状态等等。 ●图像平移、缩放和旋转功能，以纠正传感器安装位置对视频的影响。 ●支持固定视场、可切换视场、连续变化（ZOOM）视场的摄像机。 ●结构紧凑、功耗低。 原理框图 外形图作者： 自动获取目标 可根据目标的亮度、尺寸、外形比例、速度、运动方向等自动获取目标。 跟踪算法作者： ●质心跟踪算法：这种跟踪方式用于跟踪有界目标，且目标与环境相比有明显不同灰 度等级，如空中飞机等。目标完全包含在镜头视场范围内。 ●相关跟踪算法：相关可用来跟踪多种类型的目标，当跟踪目标无边界且动态不是很 强时这种方式非常有效。典型应用于：目标在近距离的范围，且目标扩展到镜头视场范围外，如航行在大海中的一艘船。 ●相位相关算法：相位相关算法是非常通用的算法，既可以用来跟踪无界目标也可以 用来跟踪有界目标。在复杂环境下（如地面的汽车）能给出一个好的效果。 ●多目标跟踪算法：多目标跟踪用于有界目标如飞机、地面汽车等。它们完全在跟踪 窗口内。对复杂环境里的小目标跟踪，本算法能给出一个较好的性能。 ●边缘跟踪算法：当跟踪目标有一个或多个确定的边缘而同时却又具有不确定的边缘， 这时边缘跟踪是最有效的算法。典型如火箭发射，它有确定好的前边缘，但尾边缘由于喷气而不定。 ●场景锁定算法：该算法专门用于复杂场景的跟踪。适合于空对地和地对地场景。这 个算法跟踪场景中的多个目标，然后依据每个点的运动，从而估计整个场景全局运动，场景中的目标和定位是自动选择的。当存在跟踪点移动到摄像机视场外时，新的跟踪点能自动被标识。瞄准点初始化到场景中的某个点，跟踪启动，同时定位瞄准线。在这种模式下，能连续跟踪和报告场景里的目标的位置。 ●组合跟踪算法：顾名思义这种跟踪方式是两种具有互补特性的跟踪算法的组合：相 关类算法+ 质心类算法。它适合于目标尺寸、表面、特征改变很大的场景。 低延迟 视频目标检测与跟踪算法综述 1、引言 运动目标的检测与跟踪是机器视觉领域的核心课题之一，目前被广泛应用在 视频编码、智能交通、监控、图像检测等众多领域中。本文针对视频监控图像的运动目标检测与跟踪方法，分析了近些年来国内外的研究工作及最新进展。 2、视频监控图像的运动目标检测方法 运动目标检测的目的是把运动目标从背景图像中分割出来。运动目标的有效分割对于目标分类、跟踪和行为理解等后期处理非常重要。目前运动目标检测算法的难点主要体现在背景的复杂性和目标的复杂性两方面。背景的复杂性主要体现在背景中一些噪声对目标的干扰，目标的复杂性主要体现在目标的运动性、突变性以及所提取目标的非单一性等等。所有这些特点使得运动目标的检测成为一项相当困难的事情。目前常用的运动目标检测算法主要有光流法、帧差法、背景相减法，其中背景减除法是目前最常用的方法。 2.1 帧差法 帧差法主要是利用视频序列中连续两帧间的变化来检测静态场景下的运动目标，假设(,)k f x y 和(1)(,)k f x y +分别为图像序列中的第k 帧和第k+1帧中象素点(x ，y)的象素值,则这两帧图像的差值图像就如公式2-1 所示： 1(1)(,)(,)k k k Diff f x y f x y ++=- (2-1) 2-1式中差值不为0的图像区域代表了由运动目标的运动所经过的区域（背景象素值不变），又因为相邻视频帧间时间间隔很小，目标位置变化也很小，所以运动目标的运动所经过的区域也就代表了当前帧中运动目标所在的区域。利用此原理便可以提取出目标。下图给出了帧差法的基本流程：1、首先利用2-1 式得到第k 帧和第k+1帧的差值图像1k Diff +；2、对所得到的差值图像1k Diff +二值化（如式子2-2 示）得到Qk+1；3、为消除微小噪声的干扰，使得到的运动目标更准确，对1k Q +进行必要的滤波和去噪处理，后处理结果为1k M +。 111255,,(,)0,,(,)k k k if Diff x y T Q if Diff x y T +++>?=?≤? （T 为阈值） （2-2） 第36卷第12期 2010年12月北京工业大学学报J OURNA L O F BE IJI NG UN I V ERS I TY OF TEC HNOLOGY V o.l 36N o .12D ec .2010基于视频监控的运动目标跟踪算法 胡宏宇1,2,王殿海1,3,李志慧1,杨希锐1,4,王庆年2 (1 吉林大学交通学院,长春 130022;2 吉林大学汽车工程学院,长春 130022; 3 浙江大学建筑工程学院,杭州 310058; 4 解放军汽车管理学院,安徽蚌埠 233011) 摘 要:利用K a l m an 滤波思想对运动目标的前时刻状态信息进行预测,获取重心位置与形态紧密度估计值;将 估计值与当前时刻观测值进行匹配,根据匹配误差修正运动目标的速度与紧密度变化值,通过递归算法实现常 态下运动目标的准确、快速跟踪.针对复杂场景下由于运动遮挡造成无法准确估计目标运动轨迹,采用灰色模 型GM (1,1)保证了跟踪过程的连续、稳定.最后,通过不同交通场景的视频序列对本文算法进行了验证,结果表 明本文方法具有较好的适应性、鲁棒性,可实现复杂遮挡情况下连续、稳定、实时的目标运动跟踪. 关键词:智能交通;视频监控;运动跟踪;特征匹配;K a l m an 滤波;灰色模型 中图分类号:TP 391;U 121文献标志码:A 文章编号:0254-0037(2010)12-1683-08 收稿日期:2008 11 03. 基金项目:国家 863 计划项目资助(2009AA 11Z210),国家自然科学基金青年科学基金项目(50808092),吉林省科技发 展计划项目(20080432).作者简介:胡宏宇(1982!),男,长春人,讲师. 交通流中运动物体的运动行为是研究交通流特性与交通流管制的基础.视频监控技术为研究混合交通运动物体的运动特性与交通行为提供了有力工具,运动目标跟踪技术是其重要组成部分.而目标的特征匹配与遮挡处理决定了目标跟踪的性能. 目前,运动目标跟踪算法是国内外研究的热点与重点内容之一.Ko ller [1]利用3D 模型跟踪运动车辆,但该方法依赖物体三维几何模型,计算复杂度较高,难以满足实时要求;Co if m an [2]提取车辆的角点,根据运动约束对物体进行跟踪,但是角点易受光照强度的变化及噪声等因素的干扰;Parag ios [3]采用自动更新的封闭主动轮廓曲线实现车辆的跟踪,但轮廓曲线初始化较为复杂且容易受到运动状态变化的影响;K ato [4]利用马尔科夫随机场模型提出了运动目标跟踪算法,而模型参数难以确定是其面临的主要问题;Rad [5]利用重心、速度对物体进行跟踪,但该方法仅考虑了物体的运动特性,匹配精度难以保证.另外,文献[6 9]对运动目标跟踪算法进行了一定研究,但跟踪过程中遮挡处理的局限性和实验场景的单一性限制了其应用的普适性.由于物体运动状态、周围环境的复杂多变以及可能发生的运动遮挡对跟踪造成严重影响,因此建立复杂交通场景下连续、快速、稳定的运动目标跟踪算法尤为重要. 作者结合运动物体的运动特征与形态特征,基于K al m an 滤波(KF)思想实现跟踪目标的运动特征与形态特征的快速匹配.针对跟踪过程中可能发生的运动遮挡现象,提出了基于灰色预测模型的遮挡处理方法,保证了跟踪算法的连续、稳定,同时对于运动目标进出检测区域边界时特征匹配的不稳定性给出了解决办法.跟踪实验表明,本文方法具有实时性好、鲁棒性强的特点,可实现复杂环境下的运动目标跟踪.1 运动检测 运动目标的检测与分割是实现运动跟踪的前提.本文采用文献[10]中基于聚类识别的背景初始化方法获取背景.该方法首先利用滑动可变窗口检测每个像素的时间训练序列所有不重叠平滑子序列,获取可能背景;然后选择每个平滑子序列的中值样本点构建分类序列集,根据未知类别的无监督聚类识别思想,获取背景子集实现背景初始化.该方法具有良好的鲁棒性,可满足车流较大条件下背景初始化的要 。 目标跟踪算法综述 大连理工大学卢湖川一、引言 目标跟踪是计算机视觉领域的一个重 要问题，在运动分析、视频压缩、行为识 别、视频监控、智能交通和机器人导航等 很多研究方向上都有着广泛的应用。目标 跟踪的主要任务是给定目标物体在第一帧 视频图像中的位置，通过外观模型和运动 模型估计目标在接下来的视频图像中的状 态。如图1所示。目标跟踪主要可以分为5 部分，分别是运动模型、特征提取、外观 模型、目标定位和模型更新。运动模型可 以依据上一帧目标的位置来预测在当前帧 目标可能出现的区域，现在大部分算法采用的是粒子滤波或相关滤波的方法来建模目标运动。随后，提取粒子图像块特征，利用外观模型来验证运动模型预测的区域是被跟踪目标的可能性，进行目标定位。由于跟踪物体先验信息的缺乏，需要在跟踪过程中实时进行模型更新，使得跟踪器能够适应目标外观和环境的变化。尽管在线目标跟踪的研究在过去几十年里有很大进展，但是由被跟踪目标外观及周围环境变化带来的困难使得设计一个鲁棒的在线跟踪算法仍然是一个富有挑战性的课题。本文将对最近几年本领域相关算法进行综述。 二、目标跟踪研究现状 1. 基于相关滤波的目标跟踪算法 在相关滤波目标跟踪算法出现之前，大部分目标跟踪算法采用粒子滤波框架来进行目标跟踪，粒子数量往往成为限制算法速度的一个重要原因。相关滤波提出了 一种新颖的循环采样方法，并利用循环样 本构建循环矩阵。利用循环矩阵时域频域 转换的特殊性质，将运算转换到频域内进 行计算，大大加快的分类器的训练。同时， 在目标检测阶段，分类器可以同时得到所 有循环样本得分组成的响应图像，根据最 大值位置进行目标定位。相关滤波用于目 标跟踪最早是在MOSSE算法[1]中提出 的。发展至今，很多基于相关滤波的改进 工作在目标跟踪领域已经取得很多可喜的 成果。 1.1. 特征部分改进 MOSSE[1] 算法及在此基础上引入循 环矩阵快速计算的CSK[2]算法均采用简单 灰度特征，这种特征很容易受到外界环境 的干扰，导致跟踪不准确。为了提升算法 性能，CN算法[3]对特征部分进行了优 化，提出CN（Color Name）空间，该空 间通道数为11（包括黑、蓝、棕、灰、绿、 橙、粉、紫、红、白和黄），颜色空间的引 入大大提升了算法的精度。 与此类似，KCF算法[4]采用方向梯度 直方图（HOG）特征与相关滤波算法结合， 同时提出一种将多通道特征融入相关滤波 的方法。这种特征对于可以提取物体的边 缘信息，对于光照和颜色变化等比较鲁棒。 方向梯度直方图（HOG）特征对于运 动模糊、光照变化及颜色变化等鲁棒性良 好，但对于形变的鲁棒性较差；颜色特征 对于形变鲁棒性较好，但对于光照变化不 够鲁棒。STAPLE算法[5]将两种特征进行 有效地结合，使用方向直方图特征得到相 关滤波的响应图，使用颜色直方图得到的 统计得分，两者融合得到最后的响应图像 并估计目标位置，提高了跟踪算法的准确 度，但也使得计算稍微复杂了一些。 图1 目标跟踪算法流程图 ××××公司绩效管理体系试运行情况跟踪分析报告 ××××公司绩效考核项目组 （2015年×月） （一）绩效考核体系的建立 按照××××电力建设公司全面实施绩效考核的总体安排，2015年五月份公司建立了绩效考核推进组织，明确了责任和目标，召开了动员会并且开展了多层面的培训和调研，为全面实施绩效考核做好了充分的准备工作。 为了建立一套适合于××公司并且科学有效的绩效管理和绩效考核体系，首先进行了系统调研，全面了解了××公司基本情况、管理现状、生产和经营实际以及企业管理者对实施绩效考核的基本需求，对照GB/T19004《追求组织的持续成功中组织成熟度模型》，对××公司组织能力和流程成熟度进行评估,为全面实行绩效考核，不断提升公司管理水平和整体业绩，建立××公司基于流程成熟度模型，构建新型绩效考核体系做好了基础性工作。 ××××电建公司基于流程成熟度模型构建新型绩 效考核体系，考核体系由绩效考核管理办法、绩效考核 指标架构和绩效考核评价改进机制构成。其中：绩效考 核管理办法包括绩效考核管理流程、绩效考核各阶段管 理要求和各部门职责分工以及相关表单；绩效考核指标 体系包括指标关系图和指标库，指标关系图依据流程体 系建立，指标库在原先同业对标以及考核指标基础上， 依据流程和现有业绩指标建立指标初始库，并根据考核 体系成熟度，逐步完善调整；借鉴流程成熟度理论，建 立××电建绩效考核成熟度评估和持续改进机制。 七月份公司新型绩效考核体系进入试运行阶段，重 新明确了各部门职责核定了岗位，并按照确定的奖惩标 准进行了考核。图一：××公司绩效考核体系框架 （二）试运行阶段的跟踪调查 为了更加深入的了解绩效考核实施效果和员工对于实施绩效考核的意见反馈，项目组采用调研访谈的形式，对项目运行情况进行跟踪，深入一线倾听大家的心声，为进一步优化体系做好了准备。 调研访谈是全面跟踪公司推行绩效管理和绩效考核试运行阶段状况的基本途径，对于下一阶段进一步调整绩效考核办法和KPI的设定，以及纠正执行中的偏差有着重要的意义。从10月14日到10月21日，项目组按照《调研计划》分别对公司领导、职能部门、项目部和基层班长及员工进行了走访调研，特别是通过和公司主要领导以及基层一线员工座谈进一步了解了公司深入贯彻××供电公司领导的要求，以全面提升公司管理水平为目标，以服务××发展和加快电网建设为己任，坚持安全发展、确保生产稳定，不断提高经济效益，各项工作呈现出良好发展态势。同时跟踪访谈，也了解了公司领导对于持续改进和不断发展的深刻思考，以及进一步优化绩效管理方法，深化绩效管理的期望和要求。 调研访谈同时也是宣传和培训的过程。在调研访谈中通过对《绩效考核管理办法》的讲解和讨论进一步加深了公司各层面对制度的理解，为依据办法进一步开展绩效评价工作铺平了道路。 试运行阶段的调研访谈同时也了解实施过程中存在的问题，为进一步修订制度，调整KPI，改善管理中的环节积累了第一手资料。 1、调查访谈目的 （1）通过跟踪企业实施绩效考核的过程，全面了解《绩效考核管理办法》和变电项目部、输电项目部《实施细则》的落实情况，和部门及岗位职责（岗位说明书）与实际工作的匹配度，运用跟踪调研访谈和数据的搜集整理等措施查找问题，进一步优化实施方案，提升管理绩效，有的放矢的开展咨询工作。 （2）通过系统调研和全面跟踪，进一步了解企业各级组织和员工对于绩效考核模式和基本流程的了解程度，有针对性的开展相关培训，促进员工深入了解绩效模式，提升整体绩效水平。 （3）通过跟踪调研了解和查找企业在在绩效管理中的短板，有针对性的制定整改方案，不断持续改进，全面提升管理水平，促进绩效的全面改善。 小目标跟踪报告Prepared on 21 November 2021 基于粒子滤波的红外弱小目标的检测与跟踪 一、弱小目标检测与跟踪的发展 1 弱小目标检测与跟踪的背景 在现代高科技战争中，为了能尽早地发现敌方卫星、导弹、飞机、坦克、车辆等军事目标，增大作战距离，要求在远距离处就能发现目标，只有及时地发现目标、跟踪目标、捕获和锁定目标，才能实现有效的攻击。然而，对于获得的远距离图像，目标成像面积小，可检测到的信号相对较弱，特别是在复杂背景干扰下，目标被大量噪声所淹没，导致图像的信噪比（SNR）很低，小目标检测工作变得困难起来。因此，低信噪比条件下序列图像运动小目标的检测问题成了一个亟待解决的关键问题，探索和研究新的小目标检测理论以及如何将现有的检测理论应用于小目标仍是一项重要的课题，对现代战争以及未来战争具有深远的意义。 2 弱小目标的含义 “弱”和“小”指的是目标属性的两个方面。 所谓“弱”是指目标红外辐射的强度，反映到图像上是指目标的灰度，即低对比度的目标，也称灰度小目标； 所谓“小”是指目标的尺寸，反映到图像上是指目标所占的像素数，即像素点少的目标，也称能量小目标。 3 弱小目标检测与跟踪的难点 在低信噪比情况下检测和跟踪未知位置和速度的运动小目标是红外搜索和跟踪系统中的一个重要问题，其主要困难在于： (1) 缺少关于背景的统计先验信息； (2) 目标的信噪比非常低以至于很难从单幅图像中检测出目标； (3) 目标可能会在未知时间点上出现或消失； (4) 无法得到形状、纹理等有用的目标特征； (5) 仅有的检测信息是目标的未知的亮度和移动速度。 4 红外弱小目标的检测与跟踪算法 1）算法分类： ◆ DBT（Detect before Track）----跟踪前检测； ◆ TBD (Track before Detect) ----检测前跟踪。 2）DBT算法视频目标跟踪报告
动态视频目标检测和跟踪技术(入门)
【CN109919979A】一种视频实时目标跟踪的方法【专利】
项目跟踪报告
用opencv实现对视频中动态目标的追踪
关于mean shift视频目标跟踪算法的设计与实现-----中期报告
视频目标跟踪算法综述_蔡荣太
本科毕业设计__基于视频的目标跟踪及人群密度估计方法研究开题报告
视频跟踪实验报告
视频跟踪解决方案
视频目标检测与跟踪算法综述
基于视频监控的运动目标跟踪算法
目标跟踪算法综述
公司绩效考核跟踪分析报告
小目标跟踪报告