帧差法、光流法、背景减除法

帧差法、光流法、背景减除法

运动目标检测是指在序列图像中检测出变化区域并将运动目标从背景图像中提取出来。通常情况下，目标分类、跟踪和行为理解等后处理过程仅仅考虑图像中对应于运动目标的像素区域，因此运动目标的正确检测与分割对于后期处理非常重要然而，由于场景的动态变化，如天气、光照、阴影及杂乱背景干扰等的影响，使得运动目标的检测与分割变得相当困难。根据摄像头是否保持静止，运动检测分为静态背景和运运动目标检测是指在序列图像中检测出变化区域并将运动目标从背景图像中提取出来。通常情况下，目标分类、跟踪和行为理解等后处理过程仅仅考虑图像中对应于运动目标的像素区域，因此运动目标的正确检测与分割对于后期处理非常重要然而，由于场景的动态变化，如天气、光照、阴影及杂乱背景干扰等的影响，使得运动目标的检测与分割变得相当困难。根据摄像头是否保持静止，运动检测分为静态背景和运动背景两类。大多数视频监控系统是摄像头固定的，因此静态背景下运动目标检测算法受到广泛关注，常用的方法有帧差法、光流法、背景减除法等。

(l)帧差法

帧差法是最为常用的运动目标检测和分割方法之一，基本原理就是在图像序列相邻两帧或三帧间采用基于像素的时间差分通过闭值化来提取出图像中的运动区域。首先，将相邻帧图像对应像素值相减得到差分图像，然后对差分图像二值化，在环境亮度变化不大的情况下，如果对应像素值变化小于事先确定的阂值时，可以认为此处为背景像素:如果图像区域的像素值变化很大，可以认为这是由于图像中运动物体引起的，将这些区域标记为前景像素，利用标记的像素区域可以确定运动目标在图像中的位置。由于相邻两帧间的时间间隔非常短，用前一帧图像作为当前帧的背景模型具有较好的实时性，其背景不积累，且更新速度快、算法简单、计算量小。算法的不足在于对环境噪声较为敏感，闽值的选择相当关键，选择过低不足以抑制图像中的噪声，过高则忽略了图像中有用的变化。对于比较大的、颜色一致的运动目标，有可能在目标内部产生空洞，无法完整地提取运动目标。

(2)光流法

光流法的主要任务就是计算光流场，即在适当的平滑性约束条件下，根据图像序列的时空梯度估算运动场，通过分析运动场的变化对运动目标和场景进行检测与分割。通常有基于全局光流场和特征点光流场两种方法。最经典的全局光流场计算方法是L-K(Lueas&Kanada)法和H-S(Hom&Schunck)法，得到全局光流场后通过比较运动目标与背景之间的运动差异对运动目标进行光流分割，缺点是计算量大。特征点光流法通过特征匹配求特征点处的流速，具有计算量小、快速灵活的特点，但稀疏的光流场很难精确地提取运动目标的形状。总的来说，光流法不需要预先知道场景的任何信息，就能够检测到运动对象，可处理背景运动的情况，但噪声、多光源、阴影和遮挡等因素会对光流场分布的计算结果造成严重影响;而且光流法计算复杂，很难实现实时处理。

(3)背景减除法

背景减除法是一种有效的运动对象检测算法，基本思想是利用背景的参数模型来近似背景图像的像素值，将当前帧与背景图像进行差分比较实现对运动区域的检测，其中区别较大的像素区域被认为是运动区域，而区别较小的像素区域被认为是背景区域。背景减除法必须要有背景图像，并且背景图像必须是随着光照或外部环境的变化而实时更新的，因此背景减除法的关键是背景建模及其更新。针对如何建立对于不同场景的动态变化均具有自适应性的背景模型，减少动态场景变化对运动分割的影响，研究人员已提出了许多背景建模算法，但总的来讲可以概括为非回归递推和回归递推两类。非回归背景建模算法是动态的利用从某一时刻开始到当前一段时间内存储的新近观测数据作为样本来进行背景建模。非回归背景建模方法有最简单的帧间差分、中值滤波方法、Toyama等利用缓存的样本像素来估计背景模型

的线性滤波器、Elg~al等提出的利用一段时间的历史数据来计算背景像素密度的非参数模型等。回归算法在背景估计中无需维持保存背景估计帧的缓冲区，它们是通过回归的方式基于输入的每一帧图像来更新某个时刻的背景模型。这类方法包括广泛应用的线性卡尔曼滤波法、Stauffe:与Grimson提出的混合高斯模型等

背景差分法MATLAB实现

程序1 背景差分法MA TLAB实现 function temp3 d=60; b='d\6\capfile3.avi'; e='.bmp'; for i=0:13 u=d+1; m=int2str(d); n=int2str(u); s=strcat(b,m,e); %连接字符 m=imread(s); m=rgb2gry(m); %灰度值 % imshow(m); if(d>=61) s=strcat(b,n,e); n=imread(s); n=rgb2gry(n); q=im2double(m); figure(18);imshow(q); w=in2double(n); figure(19);imshow(w) c=q-w; %进行差分处理 figure(20);imshow(c) figure(99);imshow(c);%绘制直方图 t=100;%此値可以调节（阈值调整） t=t/255; k=find(abs(c)>=t); c(k)=1; k=find(abs(c)

f0=imread('capfile3.avi61.bmp'); g=rgb2gray(f0);%图像灰度化 imshow(g); g2=imnoise(g,'salt & pepper',0.05);%加淑盐噪声 figure(3);imshow(g2); g3=medfilt2(g2,[3,3],'symmtric');%以3*3窗口中值滤波 figure(4);imshow(g3); g1=im2bw(g);%图像二值化 figure(2);imshow(g1); 程序3 % “高速公路汽车阴影”视屏的阴影去除的方法 clc; clear all; close all; % 打开视频文件对话框 h1=figure('toolbar','name','Shadow Removal'); [FileName.PathName]=uigetfile({'*.avi','avi(*.avi)','*.*', 'All Files(*.*)'},'Open video sequence'); if isequal([FileName,PathName],[0,0]) return else pic_path=fullfile(PathName,FileName); mov=aviread(pic_path); end n=100; % 读取视频帧数 s=1; % 起始为1 e=n; % 结束为n for i=s:e mov_gray(i).image=mov(i).cdate; % mov_gray(i).image 为第i帧图像 end [ih,iw,id]=size(mov_gray(1).image); % 取得视频帧的大小 % 计算1到第n帧的各个像素的均值 for i=s:e u=mov_gray(i).image; h=u(:)'; t(i,:)=h(:); end tmp=median(t); % 对t数组各列取均值 mean=reshape(tmp,ih,iw,id); % 将n帧均值图像恢复成h*w*d的图像矩阵，得到背景 figure,imshow(uint8(mean));title('背景图像');

运动目标检测光流法

摘要 运动目标检测方法是研究如何完成对视频图像序列中感兴趣的运动目标区域的“准确定位”问题。光流场指图像灰度模式的表面运动，它可以反映视频相邻帧之间的运动信息，因而可以用于运动目标的检测。MATLAB这种语言可移植性好、可扩展性强，再加上其中有丰富的图像处理函数，所以利用MATLAB 软件来用光流法对运动目标的检测中具有很大的优势。本设计主要可以借助matlab软件编写程序，运用Horn-Schunck算法对图像前后两帧进行处理，画出图像的光流场。而图像的光流场每个像素都有一个运动矢量，因此可以反映相邻帧之间的运动，分析图像的光流场就可以得出图像中的运动目标的运动情况。 关键字：光流法；Horn-Schunck算法；matlab

目录 1光流法的设计目的 (1) 2光流法的原理 (1) 2.1光流法的介绍 (1) 2.1.1光流与光流场的概念 (1) 2.1光流法检测运动目标的原理 (2) 2.1.1光流场计算的基本原理 (2) 2.2.2基于梯度的光流场算法 (2) 2.2.3Horn-Schunck算法 (3) 2.2.4光流法检测运动目标物体的基本原理概述 (5) 3光流法的程序具体实现 (6) 3.1源代码 (6) 3.1.1求解光流场函数 (6) 3.1.2求导函数 (9) 3.1.3高斯滤波函数 (9) 3.1.4平滑性约束条件函数 (10) 3.1.5画图函数 (10) 4仿真图及分析 (12) 结论 (13) 参考文献 (14)

1 光流法的设计目的 数字图像处理，就是用数字计算机及其他有关数字技术，对图像进行处理，以达到预期的目的。随着计算机的发展，图像处理技术在许多领域得到了广泛应用，数字图像处理已成为电子信息、通信、计算机、自动化、信号处理等专业的重要课程。 数字图像处理课程设计是在学习完数字图像处理的相关理论后，进行的综合性训练课程，其目的是：使学生进一步巩固数字图像处理的基本概念、理论、分析方法和实现方法；增强学生应用Matlab编写数字图像处理的应用程序及分析、解决实际问题的能力；尝试所学的内容解决实际工程问题，培养学生的工程实践能力。 运动目标检测是数字图像处理技术的一个主要部分，近些年来，随着多媒体技术的迅猛发展和计算机性能的不断提高，动态图像处理技术日益受到人们的青睞，并且取得了丰硕的成果，广泛应用于交通管理、军事目标跟踪、生物医学等领域。 因此，基于光流法，实现运动目标的检测是本文的研究对象。结合图书馆书籍、网上资料以及现有期刊杂志，初步建立起运动目标检测的整体思路和方法。 2 光流法的原理 2.1 光流法的介绍 2.1.1 光流与光流场的概念 光流是指空间运动物体在观测成像面上的像素运动的瞬时速度，它利用图像序列像素强度数据的时域变化和相关性来确定各自像素位置的“运动”，即反映图像灰度在时间上的变化与景物中物体结构及其运动的关系。将二维图像平面特定坐标点上的灰度瞬时变化率定义为光流矢量。视觉心理学认为人与被观察物体

视频处理算法

视频处理算法1.背景提取的算法 1.1原理框图 图1.背景提取原理图

1.2背景提取与更新算法 1.2.1手动背景法 手动背景法需要人观察到没有前景物体时启动该帧图像，作为背景图像。 这种背景提取方法增加了人力和物力的需求，而且在很多情况下很难在没有前景的情况下获得背景图像，比如高速公路的车辆监测系统、小区的门禁系统等等。这种方法不能实现自适应背景更新的功能，需要使用其他方法修正由于光线，亮度等的变化带来的背景误差。 1.2.2Surendra 算法 Surendra算法能够自适应地获取背景图像。该算法提取背景的思想是通过当前帧帧差图像找到物体的运动区域，对运动区域内的背景保持不变，而非运动区域的背景用当前帧进行替换更新，这样经过一段时间就可以提取出背景图像。 在仿真研究中发现，maxSteps很大程度地决定了背景建立时的速度，α则决定背景更新的速度。这种背景建模和更新的方法，能够很好地解决物体长时间停留对背景的影响，因为背景的更新会将它逐步地作为背景像素点更新到背景中。但是由于它的基本处理方式是帧间差分，使得它不能将色彩、亮度相似的，大面积的运动物体完整的检测出来。这种情况下，运动物体的某些部分将作为背景区域更新到背景中。 1.3动目标检测算法 1.3.1帧间差分运动检测 基于帧间差分的运动检测即帧差法，它根据相邻帧或隔帧图像间亮度变化的大 小来检测运动目标。这种算法虽然能实现实时处理且对光线变化不敏感，不过其分割出的运动目标容易出现拉伸、空洞的现象；而且当前景运动很慢且时间间隔选择不合适时，

容易出现根本检测不到物体的情况。 图2.帧间差分运动检测 1.3.2背景差分运动检测 背景差分算法的实质是：实时输入的场景图像与背景图像进行差分，可以较准确的分割出运动目标。但是背景差分算法也有其天然的缺陷，随着时间的推移，场景的光线、树叶的遮挡、或者运动物体滞留都会很大程度的破坏已经建立好的背景图像。为了解决这些问题，最好的方法便是使用背景建模和背景更新算法来弥补。 实验结果表明：背景差分算法也可以有效地检测出运动目标。由于背景建模算法的引入，使得背景对噪声有一定的抑制作用，在差分图像中“雪花”。较帧间差分算法有所减少。同时，使用背景差分算法检测出的运动物体轮廓，比帧间差分法的检测结果更清晰。因此，在背景建模与背景更新处于比较理想的状态下，背景差分算法得到的差分结果略好于帧间差分的结果。

三帧差分法

三帧差分法的问题 大家帮忙看看这个三帧差分法的代码哪里出了问题？参照论坛上的相邻帧差法，改造成三帧差分法。 clc; clear; targetavi='SampleVideo.avi'; %%原始视频 resultavi='result.avi'; %%检测结果视频%%%%%%%%%%%%%%%%%%%%%%读取视频 mov=aviread(targetavi); %mov=mmreader(targetavi); fnum=size(mov,2); %%%%%%%%%%%%%%%%%%%%%%建立结果视频 aviobj = avifile(resultavi); aviobj.Quality = 100; aviobj.Fps = 15; %https://www.wendangku.net/doc/8812635943.html,pression='Indeo5'; https://www.wendangku.net/doc/8812635943.html,pression='None'; %%%%%%%%%%%%%%%%%%%%%%帧间差分法 for i=2:fnum x=mov(i-1).cdata(:,:,:); y=mov(i).cdata(:,:,:); z=mov(i+1).cdata(:,:,:); m=rgb2gray(x); m=medfilt2(m); n=rgb2gray(y); n=medfilt2(n); o=rgb2gray(z); o=medfilt2(o); q=im2double(n); w=im2double(m); p=im2double(o); c=q-w;%%前两帧差分 b=p-q;%%后两帧差分 t=40; %%阈值，此值可以调节 t=t/256;%%转化为double型数据 k=find(abs(c)>=t);%%find函数作用是找到图c中的值大于t的点坐标

背景差法是 3种

背景差法是3种 方法中最直接、最简单的一种方法．这种方法事先把背景图像存储下来，然后将前景图像与背景图像作差．一般情况下，由于运动物体在灰度上与背景灰度存在着很明显的差异，这样作差过后的差值图像只是在运动物体出有较大的灰度值．选取适当的阈值，差值图像的灰度值大于，视为前景物体，灰度值小于，视为背景点．运用背景差法通常会遇到背景的获取背景的更新和背景的扰动 1 问: Pluto对波长650纳米的激光校准，即上载一幅灰度值在0-255之间的图，施加的相位调制对应在0-2pi之间。如果改用波长532纳米的激光，上载灰度值范围为多少时，可以达到0-2pi之间的相位调制。 答: 若改用532nm激光，相位调制范围比650nm会大些。一般来说,SLM相位调制范围在短波长上会增加。 2 问: LC-R2500等型号对微机系统有什么具体要求？ 答: 目前的PC配置一般都能满足要求. 3 问: 说明书中提到相位校准过程中要加入起偏器和检偏器，请问SLM使用中是否要还要加入起偏器和检偏器？ 答: 正常使用中也需要加入起偏器和检偏器。并且，一般要求起偏器的偏振方向与SLM微显示板的长边方向一致，基本不影响入射偏振态，达到只改变相位的目的。 4 问: 入射光束和SLM法线的夹角有何限制，最大夹角大约为多少？ 答: 入射角度一般控制在6度以内，对相应偏振光的影响较小。 5 问: SLM调制时有时中心光斑仍比较强，导致衍射效果变差，请问何种原因？如何消除？ 答: 一般来说，衍射效果受填充因子和入射偏振态影响。使用中，应通过插入起偏器和检偏器来消除非相干光的影响。 6 问: Holoeye空间光调制器使用中应注意哪些问题？ 答: 一、防静电措施，特别是安装液晶显示面板时，应带防静电手套，防静电手腕；二、液晶显示面板与控制器之间的连线，应避免频繁插拔；三、空间光调制器部件的连接，应在断电状态下进行； 四、使用环境，应避免高温、高湿，并保证一定的洁净度。 7 问: Holoeye空间光调制器能否用于脉冲光？ 答: Holoeye空间光调制器可用于飞秒脉冲整形，具体损伤阈值取决于脉冲能量，重复频率、光斑大小等。一般连续光功率密度为2W/cm2,制冷状态下可承受更高功率。 8 问: Pluto系列的响应时间？ 答: VIS: ~25ms；NIR: ~30ms；TELCO:~ 40ms。 9 问: SLM Pluto和HEO 1080P的区别？ 答: Pluto与1080P采用相同的液晶显示面板，但Pluto的控制器体积小，是厂家改进的型号。而HEO1080P多应用于多通道 1.控制空间光调制器程序

FPGA论文背景差分法论文

FPGA论文背景差分法论文 摘要：视频图像处理对处理器的数据处理能力和实时性要求都非常高。设计基于fpga和背景差分算法的静态背景下运动目标检测系统，并详细介绍了系统的设计过程。采用fpga硬件实现系统设计，极大的提高了系统的实时性，能准确的检测出运动目标。 关键词：fpga；目标检测；视频处理；背景差分法 moving target real-time detection of fpga-based static background chen quanjin,zhang yide (school of optoelectronic information,university of electronic science and technology of china,chengdu610054,china) abstract:a video detection system of moving objects based on fpga and background difference algorithm is designed.and introduces the realization in detail.the system processing speed has been enhanced greatly,and the moving object can be detected in realtime and accurately under the staticbackground. keywords:fpga; object detection;video processing;background differencing

帧差法代码讲课稿

% By lyqmath @ Matlab中文论坛 clc; clear all; close all; avi = mmreader('samplevideo.avi'); for i = 1 : avi.NumberOfFrames img = read(avi, i); pixels(:, :, :, i) = img; figure(1); imshow(img, []); text(1, 15, sprintf('原视频：%d帧By lyqmath', i), 'FontWeight', 'Bold', 'Color', 'r'); end tracking(pixels); function d = tracking(video) if ischar(video) % 载入视频数据 for i = 1 : avi.NumberOfFrames img = read(avi, i); pixels(:, :, :, i) = img; end else pixels = video; end nFrames = size(pixels, 4); rows = size(pixels, 1); cols = size(pixels, 2); % 转换成灰度图像 for i = 1 : nFrames pixel(:, :, i) = (rgb2gray(pixels(:,:,:,i))); end for i = 2 : nFrames d(:, :, i) = (abs(pixel(:,:,i) - pixel(:,:,i-1))); bw(:, :, i) = im2bw(d(:, :, i), 0.2); % 寻找上下边界 cou=1; for h = 1:rows for w = 1:cols if bw(h, w, i) > 0.5 bottomEdge = h; if cou == 1 topEdge = bottomEdge; end cou = cou+1; break;

基于背景减法和帧差法的运动目标检测算法研究

分类号：密级 硕士学位论 文 论文题 目:基于背景减法和帧差法的运动目标检测算法研 究 研究方向图像处理 专业名称通信与信息系统 研究生姓名余启明 导师姓名、职称任克强教授 2013年6月5日 江西?赣州

运动目标检测是计算机视觉领域的一个重要课题，在航空航天、视频监控以及智能交通等领域有着广泛的应用前景。研究视频图像序列中运动目标检测算法具有重要的理论价值和实践意义。本文在分析几种常见运动目标检测算法的基础上，着重研究了背景减法和帧差法。本文所做的主要工作如下： (1)分析了运动目标检测的应用背景、研究现状和目标检测中要用到的一些视频图像处理理论。对视频序列中常用的光流法、帧差法和背景减法等运动目标检测算法进行研究，分别介绍了它们的基本原理和一些改进算法。特别是针对背景减法，分析了常见的几种背景减法的建模方法。 ⑵在分析现有背景建模方法的基础之上，发现采用传统混合高斯模型建模进行目标检测时，其学习速率不可根据背景的改变而改变，影响了背景的更新效率，本文提出了一种改进的运动目标检测算法。改进的算法把学习速率分成背景建模初期和背景形成以后这两个阶段，在这两个阶段里均采用自适应的学习速率，使得模型可以更即时地更新，从而能够及时更新背景，消除运动目标的残影，提高检测准确率。实验结果表明，本文算法可以更准确地检测出运动目标，较好地消除阴影，并具有较好的自适应性和稳健性。 ⑶在分析传统帧差法进行目标检测的基础之上，针对运动目标颜色与背景灰度值相似情况下出现检测的目标轮廓不完整的问题，本文进行了改进。先用改进的帧差法进行运动目标检测，再将Canny算子作用于此目标，以提取出边缘信息，最后将目标边缘与原目标取“或”操作。此方法能够较好地解决运动目标和背景颜色差别较小时，检测的运动目标轮廓不完整的问题，从而得到更加准确的运动目标。实验结果表明，本文提出的改进的基于边缘检测与帧差法的运动目标检测算法可用于比较复杂的环境，对目标色彩的局限性小，具有较好的实用性。 关键词：目标检测；背景减法；混合高斯模型；边缘检测；帧差法 Abstract The detection of moving targets is an important topic in the field of computer vision, and has a wide range of applications in the aerospace, video surveillance, intelligent transportation and other fields. Studying moving target detection algorithm of video image sequence has important theoretical value and practical significance. This paper focuses on the analysis of several common moving target detection algorithms which based on background subtraction and frame difference. The main work of this paper is as follows: (1)Analyzed the background of moving object detection, the current situation and video image processing theory of target detection. Studied three moving target detection algorithms, which are optical flow method, the frame difference method and background subtraction. The principles of these algorithms and improved algorithms are analyzed. At last, this paper studied the modeling methods of the background subtraction. (2)The fixed learning rate is adopted by traditional Gaussian mixture model, in other words,

基于帧间差分图像处理技术在电梯门系统应用

基于帧间差分图像处理技术在电梯门系统应用 摘要：电梯门系统作为电梯中的门户，其更好的安全性，智能性一直是研究人员追求的。本文采用ARM 处理器，运用图像处理技术对动态目标进行检测，跟踪和简单的预测，从而实时得检测需要使用电梯的人的情况，快速响应。实验结果证明，所设计的系统能实时性，适应性都基本满足要求，具有较大的实用价值。 关键词：电梯门；帧间差分；图像处理 中图分类号：TP273.5 Application of elevator door system based on inter-frame difference image processing technology XING Hai-xiao, ZHAO Guo-jun,Wangfei ,ZENG Guo-wei, LU Xin-sen (College of Mechanical Engineering, Zhejiang University of Technology, Hangzhou 310014, China) Abstract:As a gateway to elevator, door system’s security, inte lligence has always been pursued by researchers. In this paper, the use of ARM processors and the image processing technology for dynamic target detection, tracking and predicting easily, so get real-time detection of people who need to use the elevator, then rapid response. Experimental results show that this system real-time performance, adaptability to meet all basic requirements, greater application value. Keywords: elevator door; Inter-frame Difference; image processing 0. 引言 随着现代化城市的高速发展，高层建筑的日益增多，电梯需求量越来越大，同时，人们对电梯的要求也越来越高。作为进出电梯轿厢安全保证，门保护装置一直是用户最关心的产品之一，也是衡量电梯质量的一个重要指标。目前，电梯门保护装置主要分2大类：机械门保护，光电门保护。 1. 本课题研究的主要内容 随着图像识别技术的日新月异，提出了基于ARM的嵌入式图像识别智能电梯门安全保护系统。通过硬件的设计和运用，以及算法的研究，开发出一套智能的通过图像识别的电梯门安全保护系统（以下简称系统）。主要实现两大功能：（1）在电梯门即将关闭时有人在一定角度走向电梯门时，本系统能通过这个人的运动轨迹识别其是要乘电梯还是仅仅路过，从而控制电梯门的开启或关闭，达到“闻香识客”功能。（2）在电梯门关闭时，通过拍摄电梯轿厢门间的图像，判断门间是否有物体，当有物体挡住时，则电梯门开启；反之，则关闭。 2. 系统的组成 本系统总体设计思路是用CMOS摄像头采集转换视频信号，用ARM作主控芯片进行采集图像的缓存控制，并用动态检测算法对图像进行判别，识别有无运动目标出现，并进行轨迹分析。 主要以S3C2440为核心构建主板的硬件系统和软件。硬件系统包括基于CMOS摄像头OV9650的图像采集模块，存储模块，图像处理模块，通信模块，电源模块等子模块。

背景差分法

背景差分法又称背景减法，背景差分法的原理是将当前帧与背景图像进行差分来得到运动目标区域，这种方法较帧差法能更好的识别和提取运动目标，是目前运动分割中最常用的一种方法。但是需要构建一幅背景图像，这幅背景图像必须不含运动目标，并且应该能不断的更新来适应当前背景的变化，构建背景图像的方法有很多，比较常用的有基于单个高斯模型的背景构建，基于混合高斯模型的背景构建，基于中值滤波器的背景构造，基于卡尔曼滤波器的背景构造，基于核函数密度估计的背景模型构造。 背景差分法法是静止背景下运动目标识别和分割的另一种思路。如不考虑噪音n(x ，y ，t)的影响，视频帧图像I(x ，y ，t)可以看作是由背景图像b(x ，y ，t)和运动目标m(x ，y ，t)组成： (,,)(,,)(,,)I x y t b x y t m x y t =+ （4-14） 由式(4-14)可得运动目标m(x ，y ，t)： (,,)(,,)(,,)m x y t I x y t b x y t =- （4-15） 而在实际中，由于噪音的影响，式(4-15)不能得到真正的运动目标，而是由运动目标区域和噪音组成的差分图像d(x ，y ，t)，即： (,,)(,,)(,,)(,,)d x y t I x y t b x y t n x y t =-+ （4-16） 得到运动目标需要依据某一判断原则进一步处理，最常用的方法为阈值分割的方法： (,,)(,,)(,,)0 (,,)I x y t d x y t T m x y t d x y t T ≥?=?

光流法运动目标跟踪论文

研究生课程论文 《光流法运动目标跟踪》 课程名称s 姓名 学号 专业 任课教师 教师评阅意见： 论文成绩评阅日期 课程论文提交时间：年月日

摘要本文实现了对运动目标的跟踪检测，重点研究金字塔Lucas-Kanade算法，在研究基于特征点的目标跟踪的一般方法，即采用改进的Harris角点提取点的方法。实验结果表明先采用Shi-Tomasi算法比Harris算法提取角点效果更好，之后用金字塔光流进行跟踪。 关键词运动目标跟踪Lucas-Kanade Shi-Tomasi 改进Harris 1.引言 近些年，模式识别领域的图像处理已经成为一个支柱，其中，动态目标的识别跟踪已经被研究者应用到工程上，而运动目标跟踪算法的优劣直接影响着运动目标跟踪的稳定性和精确性。本文主要是运动光流法等算法对运动目标进行跟踪。目标特征点的跟踪是计算机视觉中的一个基本而极具挑战性的研究课题，该课题在人机互动（HCI），目标识别，目标运动等领域有着非常重要的应用。虽然对运动目标跟踪算法能够完成对运动目标的可靠跟踪，大多数都存在处理数据量大，运算复杂等问题。因此，研究具有高精度且运算简单的目标检测与跟踪算法是图形跟踪迫切需要解决的问题，目前基于特征和光流的图像跟踪方法受到了极大的关注。 2.运动目标检测算法 运动目标检测技术是目标自动检测、识别与跟踪的基础，也是实现进一步处理视频编码、目标跟踪、目标分类及行为理解等的关键技术。基于视频或序列图像的分析一般可分为四个步骤：(1)运动目标的检测与提取，(2)运动目标的分类，(3)运动目标的跟踪，(4)运动目标的行为理解与分析，如图1所示。 图像序列运动检测目标分类目标跟踪行为理解 图1 分析过程 在计算机视觉处理中，运动目标检测技术处于中层处理级别，它是指在一个视频或者图像中，对需要研究的并且是处于运动状态的目标和背景进行分离，对于行为理解，行为分析等其他技术的研究，运动目标检测也是一种有效的方法。 目标检测要依据运动目标的主要特性，例如时间特性、边缘形状特性、颜色灰度特性、矢量特性等等。时间特性、区域作为视频序列时间差分和图像分割的基础，是运动目标最基本的特性。目标运动时在形状、大小、刚度等方面的差异称为形态特征，利用形态特征对运动目标检测，难点是对小目标的检测。 3.光流法 1950年，Gibuson首先提出了光流的概念，所谓光流就是指图像表现运动的速度。物体在运动的时候之所以能被人眼发现，就是因为当物理运动时，会在人的视网膜上形成一系列的连续变化的图像，这些变化信息在不同时间，不断的流过眼睛视网膜，就好像一种光流过一

背景减除法

背景消减法_OpenCV_详解 一.基本概念 背景消减法可以看作一种特殊的帧差法。 基本思想：利用当前帧图像与背景图像对应象素点的灰度差值来检测车辆。如果当前图像的象素点和背景图像的象素点灰度值差别很大，就认为此象素点有车通过；相反，如果当前图像的象素点和背景图像的象素点灰度值差别较小，在一定的阈值范围内，我们就认为此象素点为背景象素点。 背景差值法假定图像背景是静止不变的，即图像背景不随图像帧数而变，可表示为 b(x,y)，定义图像序列为f(x,y,i)，其中(x,y)为图像位置坐标，i为图像帧数，将每一帧图像的灰度值减去背景的灰度值可得到一个差值图像：id(x,y,i)=f(x,y,i)-b(x,y) 背景差值法检测运动目标速度快，检测准确，易于实现，其关键是背景图像的获取与背景更新。在实际应用中，静止背景是不易直接获得的，同时，由于背景图像的动态变化，需要通过视频序列的帧间信息来估计和恢复背景，即背景重建，所以要选择性的更新背景。然而它对于动态场景的变化，例如光照的变化和阴影的干扰等特别敏感。因此，选取一个可靠的背景模型进行背景的提取与动态更新以适应环境的变化是必要的。 使用背景差分法进行运动检测通常会遇到如下一些问题： （1）背景获取：最简单的方法是在场景中没有运动目标的情况下进行，但在现实中肯定是无法满足的，如高速公路和城市交通的监控，需要一种方法能在场景存在运动目标的情况下获得背景图像。 （2）背景的扰动：如树叶、树枝等各种东西的摇动 （3）外界光照条件的变化 （4）背景中固定对象的移动 （5）背景的更新 （6）阴影的影响 背景消减法根据其背景模型的不同又可分为：直方图法、平均值法、单分布高斯背景模型、混合高斯分布背景模型、Kalman滤波器法，HMM模型法。

基于FPGA的帧间差分算法实现调研报告

基于FPGA的帧间差分算法调研报告 一、背景与重要意义： 帧间差分法是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法，它可以很好地适用于存在多个运动目标和摄像机移动的情况。当监控场景中出现异常物体运动时，帧与帧之间会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析视频或图像序列的运动特性，确定图像序列中有无物体运动。图像序列逐帧的差分，相当于对图像序列进行了时域下的高通滤波。 帧间差分法的优点是：算法实现简单，程序设计复杂度低；对光线等场景变化不太敏感，能够适应各种动态环境，稳定性较好。Altera公司推出的FPGA内部含有可以编程的输入/输出单元、可编程逻辑单元、嵌入式块RAM、丰富的布线资源、底层嵌入式功能单元 和内嵌专用内核,利用这些资源可以方便的搭建系统,所以本设计采用FPGA作为主控芯片。随着FPGA技术的不断创新和发展,其必定会在计算机视觉领域发挥越来越重要的作用。 二、国内外研究现状(2009~2014)： 课题相关国内论文调研： 期刊论文： 1肖丽君 肖丽君（1969-），女，副教授，硕士，主要从事人工智能、计算机视觉研究. [1]肖丽君.基于背景减与帧间差分结合的视频运动目标分割[J].北华大学报（自然科学版），2010,05:1009-4822 2郑锵 郑铿(1988-)，男，硕士研究生。研究方向：图像处理，机器视觉. [1]郑铿，李榕.基于FPGA的视频跟踪系统设计与实现[J]，激光杂志，2014,3:0523-2743 3李金屏 李金屏( 1968－)，男，教授，博士，硕士生导师．研究方向: 人工智能模式识别和图像处理[1]李金屏,王磊,张中方. 利用FPGA实现视频移动目标的有效检测[J]. 计算机工程与应用,2010,26:162-165. [2]王磊,张中方,李金屏. 基于FPGA的静态背景下移动目标检测[J]. 济南大学学报(自然科学版),2009,04:342-346. 硕士生毕业论文： 4姜宇 姜宇，男，工学硕士，研究方向：电子科学与技术 [1]姜宇.基于FPGA的运动目标检测系统的研究[D].大连海事大学，2012. 5廖马腾 廖马腾，男，工学硕士，研究方向：图像识别 [1]廖马腾. 基于基于FPGA的运动车辆检测算法研究[D].五邑大学,2013 6黄宇 黄宇，男，工学硕士，研究方向：电路与系统

帧差法目标识别

本文展示了一种自动识别视频中移动目标的方法。论文中提取移动目标通过帧序列，这种方法不需要先验知识，比如：时间阈值调整。基于相邻帧的连续对称差分，我们能得到全分辨率显著图；然后利用最大熵方法计算阈值决定候选区域和获得兴趣点的种子；最后用修改的模糊生长方法获得最终的结果。本文中提出的算法是有效的、具有鲁棒性的。实验结果也证明它具有很好的效果。 移动目标检测在计算机视觉中有广泛应用，但是在研究过程中也有很多 挑战。通常目标检测方法被分为三类： （1）基于时间信息。例如：帧差法能很快检测出目标，但很难得到整个物体的轮廓，并且易受背景的影响。 （2）基于空间信息的。 （3）基于时间和空间信息的。有较好的效果，计算复杂度高。 本文提出了一种基于时间信息的方法。 （1）通过相邻帧对称差分获得显著图； （2）使用最大熵模型得到一个阈值去二值化时间显著图和获得候选区域。然后选择候选区域最显著的点作为兴趣种子点。 （3）对于每一兴趣种子点，在显著图上应用模糊生长方法直到没有点能被聚集和能获得移动物体的轮廓 A.移动显著图的产生 ①获得一段连续帧 ②相邻帧做差分得到移动目标。 ③对得到的差分显著图做开运算。作用：消除小的和亮的细节。 ④为了去除噪声和背景运动的影响，对差分得到的显著图做和再平均 。 B.兴趣种子选择 由于图像是连续变化的，一个固定的阈值不能很好的二值化显著图，本文采用最大熵方法得到一个变化的阈值去二值化显著图和提取候选兴趣区域。然后选择兴趣种子点。

C.移动目标检测 为了提取移动的目标，本论文应用模糊生长方法去使兴趣点的种子生长成一 片区域。如果像素值满足下列条件，对兴趣点的种子使用模糊生长算法。a和u表示如下图 实验 数据集：PETS2000, PETS2001 and Dataset2014 设备：The algorithm is implemented with C++ on a personal computer with Core i3 3.3 GHz CPU and 2G RAM. 评价标准： 假负率(False Negative Rate , FNR) ：FNR = FN /(TP + FN) ，即被预测为负的正样本结果数/正样本实际数 假正率(False Positive Rate , FPR) ：FPR = FP /(FP + TN) ，即被预测为正的负样本结果数 /负样本实际数 Specificity (负例的覆盖率，True Negative Rate) =正确预测到的负例个数/实际负例总数 PBC ：Percentage of Bad Classifications 召回率（Re、recall）：预测为真实正例除以所有真实正例样本的个数 准确率(Precision) ：预测为真实正例除以所有被预测为正例样本的个数 F-measure：查准率和查全率的调和平均值, 更接近于P, R两个数较小的那个: F=2* P* R/(P + R) 实验结果如下图

帧差法、光流法、背景减除法

帧差法、光流法、背景减除法 运动目标检测是指在序列图像中检测出变化区域并将运动目标从背景图像中提取出来。通常情况下，目标分类、跟踪和行为理解等后处理过程仅仅考虑图像中对应于运动目标的像素区域，因此运动目标的正确检测与分割对于后期处理非常重要然而，由于场景的动态变化，如天气、光照、阴影及杂乱背景干扰等的影响，使得运动目标的检测与分割变得相当困难。根据摄像头是否保持静止，运动检测分为静态背景和运运动目标检测是指在序列图像中检测出变化区域并将运动目标从背景图像中提取出来。通常情况下，目标分类、跟踪和行为理解等后处理过程仅仅考虑图像中对应于运动目标的像素区域，因此运动目标的正确检测与分割对于后期处理非常重要然而，由于场景的动态变化，如天气、光照、阴影及杂乱背景干扰等的影响，使得运动目标的检测与分割变得相当困难。根据摄像头是否保持静止，运动检测分为静态背景和运动背景两类。大多数视频监控系统是摄像头固定的，因此静态背景下运动目标检测算法受到广泛关注，常用的方法有帧差法、光流法、背景减除法等。 (l)帧差法 帧差法是最为常用的运动目标检测和分割方法之一，基本原理就是在图像序列相邻两帧或三帧间采用基于像素的时间差分通过闭值化来提取出图像中的运动区域。首先，将相邻帧图像对应像素值相减得到差分图像，然后对差分图像二值化，在环境亮度变化不大的情况下，如果对应像素值变化小于事先确定的阂值时，可以认为此处为背景像素:如果图像区域的像素值变化很大，可以认为这是由于图像中运动物体引起的，将这些区域标记为前景像素，利用标记的像素区域可以确定运动目标在图像中的位置。由于相邻两帧间的时间间隔非常短，用前一帧图像作为当前帧的背景模型具有较好的实时性，其背景不积累，且更新速度快、算法简单、计算量小。算法的不足在于对环境噪声较为敏感，闽值的选择相当关键，选择过低不足以抑制图像中的噪声，过高则忽略了图像中有用的变化。对于比较大的、颜色一致的运动目标，有可能在目标内部产生空洞，无法完整地提取运动目标。 (2)光流法 光流法的主要任务就是计算光流场，即在适当的平滑性约束条件下，根据图像序列的时空梯度估算运动场，通过分析运动场的变化对运动目标和场景进行检测与分割。通常有基于全局光流场和特征点光流场两种方法。最经典的全局光流场计算方法是L-K(Lueas&Kanada)法和H-S(Hom&Schunck)法，得到全局光流场后通过比较运动目标与背景之间的运动差异对运动目标进行光流分割，缺点是计算量大。特征点光流法通过特征匹配求特征点处的流速，具有计算量小、快速灵活的特点，但稀疏的光流场很难精确地提取运动目标的形状。总的来说，光流法不需要预先知道场景的任何信息，就能够检测到运动对象，可处理背景运动的情况，但噪声、多光源、阴影和遮挡等因素会对光流场分布的计算结果造成严重影响;而且光流法计算复杂，很难实现实时处理。 (3)背景减除法 背景减除法是一种有效的运动对象检测算法，基本思想是利用背景的参数模型来近似背景图像的像素值，将当前帧与背景图像进行差分比较实现对运动区域的检测，其中区别较大的像素区域被认为是运动区域，而区别较小的像素区域被认为是背景区域。背景减除法必须要有背景图像，并且背景图像必须是随着光照或外部环境的变化而实时更新的，因此背景减除法的关键是背景建模及其更新。针对如何建立对于不同场景的动态变化均具有自适应性的背景模型，减少动态场景变化对运动分割的影响，研究人员已提出了许多背景建模算法，但总的来讲可以概括为非回归递推和回归递推两类。非回归背景建模算法是动态的利用从某一时刻开始到当前一段时间内存储的新近观测数据作为样本来进行背景建模。非回归背景建模方法有最简单的帧间差分、中值滤波方法、Toyama等利用缓存的样本像素来估计背景模型

光流算法

它是一种运动模式，这种运动模式指的是一个物体、表面、边缘在一个视角下由一个观察者（比如眼睛、摄像头等）和背景之间形成的明显移动。光流技术，如运动检测和图像分割，时间碰撞，运动补偿编码，三维立体视差，都是利用了这种边缘或表面运动的技术。 光流的概念:(Optical flow or optic flow)二维图像的移动相对于观察者而言是三维物体移动的在图像平面的投影。 有序的图像可以估计出二维图像的瞬时图像速率或离散图像转移。 光流算法： 它评估了两幅图像的之间的变形，它的基本假设是体素和图像像素守恒。它假设一个物体的颜色在前后两帧没有巨大而明显的变化。基于这个思路，我们可以得到图像约束方程。不同的光流算法解决了假定了不同附加条件的光流问题。 Lucas–Kanade算法： 这个算法是最常见，最流行的。它计算两帧在时间t 到t + δt之间每个每个像素点位置的移动。由于它是基于图像信号的泰勒级数，这种方法称为差分，这就是对于空间和时间坐标使用偏导数。 图像约束方程可以写为I(x,y,z,t) = I(x+ δx,y+ δy,z+ δz,t+ δt) I(x, y,z, t)为在（x,y,z）位置的体素。 我们假设移动足够的小，那么对图像约束方程使用泰勒公式，我们可以

得到： H.O.T. 指更高阶，在移动足够小的情况下可以忽略。从这个方程中我们可以得到： 或者 我们得到： V x,V y,V z分别是I(x,y,z,t)的光流向量中x，y，z的组成。, , 和则是图像在(x,y,z,t)这一点向相应方向的差分。 所以 I x V x + I y V y + I z V z= ?I t。 写做： 这个方程有三个未知量，尚不能被解决，这也就是所谓光流算法的光圈问题。那么要找到光流向量则需要另一套解决的方案。而Lucas-Kanade算法是一个非迭代的算法： 假设流(Vx,Vy,Vz)在一个大小为m*m*m(m>1)的小窗中是一个常数，那么从像素 1...n, n = m3中可以得到下列一组方程： 三个未知数但是有多于三个的方程，这个方程组自然是个超定方程，也就是说方程组内有冗余，方程组可以表示为：