一种改进的光流算法
三种光流算法的实现源码及测试结果
基于OpenCV的三种光流算法实现源码及测试结果 本文包括三种基于OpenCV的光流算法实现源码及测试结果。具体为HS算法，LK算法，和ctfLK算法，算法的原实现作者是Eric Yuan，这里是作者的博客主页：http://eric-yuan.me。本文对这三种光流算法进行了相关调试及结果验证，供大家在自己的项目开发中参考。 1.第一种：HS光流法（作者HORN 和SCHUNCK） #include"opencv2/core/core.hpp" #include"opencv2/imgproc/imgproc.hpp" #include"opencv2/highgui/highgui.hpp" #include
运动目标检测光流法详解
摘要 运动目标检测方法是研究如何完成对视频图像序列中感兴趣的运动目标区域的“准确定位”问题。光流场指图像灰度模式的表面运动，它可以反映视频相邻帧之间的运动信息，因而可以用于运动目标的检测。MATLAB这种语言可移植性好、可扩展性强，再加上其中有丰富的图像处理函数，所以利用MATLAB 软件来用光流法对运动目标的检测中具有很大的优势。本设计主要可以借助matlab软件编写程序，运用Horn-Schunck算法对图像前后两帧进行处理，画出图像的光流场。而图像的光流场每个像素都有一个运动矢量，因此可以反映相邻帧之间的运动，分析图像的光流场就可以得出图像中的运动目标的运动情况。 关键字：光流法；Horn-Schunck算法；matlab
目录 1光流法的设计目的 (1) 2光流法的原理 (1) 2.1光流法的介绍 (1) 2.1.1光流与光流场的概念 (1) 2.1光流法检测运动目标的原理 (2) 2.1.1光流场计算的基本原理 (2) 2.2.2基于梯度的光流场算法 (2) 2.2.3Horn-Schunck算法 (3) 2.2.4光流法检测运动目标物体的基本原理概述 (5) 3光流法的程序具体实现 (6) 3.1源代码 (6) 3.1.1求解光流场函数 (6) 3.1.2求导函数 (9) 3.1.3高斯滤波函数 (9) 3.1.4平滑性约束条件函数 (10) 3.1.5画图函数 (10) 4仿真图及分析 (12) 结论 (13) 参考文献 (14)
1 光流法的设计目的 数字图像处理，就是用数字计算机及其他有关数字技术，对图像进行处理，以达到预期的目的。随着计算机的发展，图像处理技术在许多领域得到了广泛应用，数字图像处理已成为电子信息、通信、计算机、自动化、信号处理等专业的重要课程。 数字图像处理课程设计是在学习完数字图像处理的相关理论后，进行的综合性训练课程，其目的是：使学生进一步巩固数字图像处理的基本概念、理论、分析方法和实现方法；增强学生应用Matlab编写数字图像处理的应用程序及分析、解决实际问题的能力；尝试所学的内容解决实际工程问题，培养学生的工程实践能力。 运动目标检测是数字图像处理技术的一个主要部分，近些年来，随着多媒体技术的迅猛发展和计算机性能的不断提高，动态图像处理技术日益受到人们的青睞，并且取得了丰硕的成果，广泛应用于交通管理、军事目标跟踪、生物医学等领域。 因此，基于光流法，实现运动目标的检测是本文的研究对象。结合图书馆书籍、网上资料以及现有期刊杂志，初步建立起运动目标检测的整体思路和方法。 2 光流法的原理 2.1 光流法的介绍 2.1.1 光流与光流场的概念 光流是指空间运动物体在观测成像面上的像素运动的瞬时速度，它利用图像序列像素强度数据的时域变化和相关性来确定各自像素位置的“运动”，即反映图像灰度在时间上的变化与景物中物体结构及其运动的关系。将二维图像平面特定坐标点上的灰度瞬时变化率定义为光流矢量。视觉心理学认为人与被观察物体
Farneback光流场算法数学推导
3.2.1 Farneback 算法原理剖析 该算法的总体思想就是首先通过多项式展开变换逼近两帧图像中的每个像素，然后通过观察一个多项式如何在平移下进行精确变换，最终从多项式展开系数中推导得到位移场。 1.多项式展开 多项式展开的思想[5]是将每个像素点的邻域近似表示为多项式，我们可以构造 f x ~x T Ax +b T x +c (4-1) 其中x 是该像素点的位置坐标 m ,n ，A 是一个对称矩阵 a 1a 2 a 2a 1 ， b 是一个二维向量 b 1,b 2 ， c 是一个标量，系数要根据加权最小二乘法对相邻信号值进行估计。 将f x 展开 f x ~c +b 1m +b 2+a 1m 2+a 2m 2+2a 2mn (4-2) 这里实际上将二维信号空间转换成了以 1,a ,b ,a 2,b 2,ab 作为基函数的六维信号空间，我们表示图像就需要一个六维向量。在编程中，为了简化计算，我们舍弃了其中的常数项，六维空间便转化为五维空间。 2.位移估计 由于多项式展开的结果是每个邻域近似表示为多项式，因此我们首先分析多项式经过理想平移的情况。 初始图像信号 f 1 x =x T A 1x +b 1T x +c 1 (4-3) 经过全局位移d ，构建得到新的信号f 2 f 2 x =f 1 x ?d (4-4) = x ?d T A 1(x ?d )+b 1T (x ?d )+c 1 =x T A 1x + b 1?2A 1d T x +d T A 1d ?b 1T d +c 1 将多项式中的系数等效 A 2=A 1 (4-5) b 2=b 1?2A 1d (4-6) c 2=d T A 1d ?b 1T d +c 1 (4-7) 得 f 2(x )=x T A 2x +b 2T x +c 2 (4-8) 通过方程(4-6)，我们可以求解得到d 2A 1d =?(b 2?b 1) (4-9) d =?12 A 1?1 (b 2?b 1) (4-10) 3.结合实际考虑
LK光流算法总结-精选.doc
运动目标检测之Lucas-Kanade 光流算法读书笔记 视觉是人类感知自身周围复杂环境最直接有效的手段之一，而在现实生活中大量有意义的视觉信息都包含在运动中，人眼对运动的物体和目标也更敏感，能够快速的发现运动目标。随着计算机技术、通信技术、图像处理技术的不断发展，计算机视觉己成为目前的热 点研究问题之一。而运动目标检测是计算机视觉研究的核心课题之一，融合了图像处理、模式识别、人工智能、自动控制、计算机等众多领域的先进技术，在军事制导、视觉导航、视频监控、智能交通、医疗诊断、工业产品检测等方面有着重要的实用价值和广阔的发展 前景。 一目标检测 运动目标检测运动目标检测是指从序列图像中将运动的前景目标从背景图像中提取出 来。目前,已有的运动目标检测方法按照算法的基本原理可以分为三类:背景差分法，帧间差 分法和光流法。 1 背景差分法 背景差分法又称背景减除法，背景差分法的原理是将当前帧与背景图像进行差分来得到 运动目标区域，但是需要构建一幅背景图像，这幅背景图像必须不含运动目标，并且应该能不断的更新来适应当前背景的变化，构建背景图像的方法有很多，比较常用的有基于单个高 斯模型的背景构建，基于混合高斯模型的背景构建，基于中值滤波器的背景构造，基于卡尔曼滤波器的背景构造，基于核函数密度估计的背景模型构造。 缺点：因为要求背景是静止的，所以背景的变化，场景中有很多干扰，比如场景中 有树枝和叶子在风中晃动、水面的波动等等，还有照明的变化和天气的变化等都可能影响检 测的结果 2 帧间差分法 帧间差分法是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的 方法，它可以很好地适用于存在多个运动目标和摄像机移动的情况。当监控场景中出现异常 物体运动时，帧与帧之间会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，
行人检测与目标跟踪算法研究
基于opencv中光流法的运动 行人目标跟踪与检测 一、课题研究背景及方法 行人检测具有极其广泛的应用：智能辅助驾驶，智能监控，行人分析以及智 能机器人等领域。从2005年以来行人检测进入了一个快速的发展阶段，但是也存在很多问题还有待解决，个人觉得主要还是在性能和速度方面还不能达到一个权衡。 早期以静态图像处理中的分割、边缘提取、运动检测等方法为主。例如 （1）以Gavrila为代表的全局模板方法：基于轮廓的分层匹配算法，构造了将近2500个轮廓模板对行人进行匹配, 从而识别出行人。为了解决模板数量众多而引起的速度下降问题，采用了由粗到细的分层搜索策略以加快搜索速度。另外，匹配的时候通过计算模板与待检测窗口的距离变换来度量两者之间的相似性。 （2）以Broggi为代表的局部模板方法：利用不同大小的二值图像模板来对人头和肩部进行建模，通过将输入图像的边缘图像与该二值模板进行比较从而识别行人，该方法被用到意大利Parma大学开发的ARGO智能车中。 （3）以Lipton为代表的光流检测方法：计算运动区域内的残余光流； （4）以Heisele为代表的运动检测方法：提取行人腿部运动特征； （5）以Wohler为代表的神经网络方法：构建一个自适应时间延迟神经网络来判断是否是人体的运动图片序列； 以上方法，存在速度慢、检测率低、误报率高的特点。 2、行人检测的研究现状
（1）基于背景建模的方法：分割出前景，提取其中的运动目标，然后进一步 提取特征，分类判别；在存在下雨、下雪、刮风、树叶晃动、灯光忽明忽暗等场 合，该方法的鲁棒性不高，抗干扰能力较差。且背景建模方法的模型过于复杂，对 参数较为敏感。 （2）基于统计学习的方法：根据大量训练样本构建行人检测分类器。提取的 特征一般有目标的灰度、边缘、纹理、形状、梯度直方图等信息，分类器包括神经 网络、SVM，adaboost等。该方法存在以下难点： （a）行人的姿态、服饰各不相同； （b）提取的特征在特征空间中的分布不够紧凑； （c）分类器的性能受训练样本的影响较大； （d）离线训练时的负样本无法涵盖所有真实应用场景的情况； 尽管基于统计学习的行人检测方法存在着诸多的缺点，但依然有很多人将注 意力集中于此。 行人检测国外研究情况： 法国研究人员Dalal在2005的CVPR发表的HOG+SVM的行人检测算法(Histograms of Oriented Gradients for Human Detection, Navneet Dalel,Bill Triggs, CVPR2005)。 Dollar 在 2010 年 BMVC 的《The fastest pedestrian detector in the west》一文中提出了一种新的思想，这种思想只需要训练一个标准 model,检测N/K（K ≈10）然后其余的 N-N/K 种大小的图片的特征不需要再进行这种复杂的计算，而是跟据这 N/K 次的结果，由另外一种简单的算法给估计出来，这种思 想实现的基础是大小相近的图像的特征可以被足够精确的估计出来；同年，德国
光流算法
它是一种运动模式，这种运动模式指的是一个物体、表面、边缘在一个视角下由一个观察者（比如眼睛、摄像头等）和背景之间形成的明显移动。光流技术，如运动检测和图像分割，时间碰撞，运动补偿编码，三维立体视差，都是利用了这种边缘或表面运动的技术。 光流的概念:(Optical flow or optic flow)二维图像的移动相对于观察者而言是三维物体移动的在图像平面的投影。 有序的图像可以估计出二维图像的瞬时图像速率或离散图像转移。 光流算法： 它评估了两幅图像的之间的变形，它的基本假设是体素和图像像素守恒。它假设一个物体的颜色在前后两帧没有巨大而明显的变化。基于这个思路，我们可以得到图像约束方程。不同的光流算法解决了假定了不同附加条件的光流问题。 Lucas–Kanade算法： 这个算法是最常见，最流行的。它计算两帧在时间t 到t + δt之间每个每个像素点位置的移动。由于它是基于图像信号的泰勒级数，这种方法称为差分，这就是对于空间和时间坐标使用偏导数。 图像约束方程可以写为I(x,y,z,t) = I(x+ δx,y+ δy,z+ δz,t+ δt) I(x, y,z, t)为在（x,y,z）位置的体素。 我们假设移动足够的小，那么对图像约束方程使用泰勒公式，我们可以
得到： H.O.T. 指更高阶，在移动足够小的情况下可以忽略。从这个方程中我们可以得到： 或者 我们得到： V x,V y,V z分别是I(x,y,z,t)的光流向量中x，y，z的组成。, , 和则是图像在(x,y,z,t)这一点向相应方向的差分。 所以 I x V x + I y V y + I z V z= ?I t。 写做： 这个方程有三个未知量，尚不能被解决，这也就是所谓光流算法的光圈问题。那么要找到光流向量则需要另一套解决的方案。而Lucas-Kanade算法是一个非迭代的算法： 假设流(Vx,Vy,Vz)在一个大小为m*m*m(m>1)的小窗中是一个常数，那么从像素 1...n, n = m3中可以得到下列一组方程： 三个未知数但是有多于三个的方程，这个方程组自然是个超定方程，也就是说方程组内有冗余，方程组可以表示为：
LK光流算法
光流的概念是Gibson于1950年首先提出的。所谓光流是指图像中模式运动的速 。1981年，Horn等人在相邻图像间的时间间隔很小，并且图像灰度变化也很小的 提下，推导出灰度图像光流场计算的基本等式，这是经典光流方法[18,24]。 光流的算法多种多样，其用于目标跟踪常用的算法有：检测和跟踪特征点[25]、跟 好的特征点[26]、金字塔图像的Lucas Kanade特征点跟踪算法（因为其跟踪过程是迭 的光流法计算过程，因此，为了更好的体现光流的作用，本文将其简称为：Lucas nad光流法）[27]。在这三种光流跟踪方法中，跟踪性能最优的是Lucas Kanade光流 –26–第四章目标跟踪 法，由于该算法仅跟踪少量的特征点、迭代法收敛速度也很快而且算法的计算量不大， 已被广泛的应用于运动车辆跟踪和人脸特征点跟踪[47,48]；下面介绍文献[27]，并对其 进行相关实验。 §4.3.1问题提出 用I和J来代表两个灰度图像。那么I(x)=I(x,y)和J(x)=J(x,y)代表了这两个灰度图 像在点X=[x,y]T的灰度值，x和y是图像的点X坐标。称图像I为第一幅图像，称J为 第二幅图像。从实际的图像来说，I和J是两个离散的函数，并且左上角的像素点坐标 是[0,0]T。用nx和ny表示图像的宽度和高度，右下端图像的坐标是[nx?1,ny?1]T。 考虑第一幅图像I(X)=I(x,y)上的一点，跟踪的目的就是在第二幅图像J(X)= J(x,y)上找到与之相对应的一点，d=[d x ,d y ] T 是在点X处图像的速度，即点X处图像的 光流。令ωx和ωy表示两个整数，假定图像速度d是使得下面的残差函数ε最小的函数：ε(d)=ε(dx,dy)= ux+ωx x=ux?ωx uy+ωy y=uy?ωy (I(x,y)?J(x+dx,y+dy)) 2 (4-3-5) 根据上面的定义，相似度的函数被在(2ωx+1,2ωy+1)的区域内定义。这个区域也 称之为积分窗口。典型的ωx、ωy是2、3、4、5、6、7个像素。 §4.3.2跟踪算法描述 基于特征点的跟踪的两个关键问题是准确度和鲁棒性。准确度是从直觉上来说， 为了不抹去图像中的细节，需要小的积分窗口。鲁棒性因素需要考虑光照变化，图像 运动时对尺寸变化的敏感性。特别的，为了了解大矢量运动的问题需要一个大的积分 窗口。实际上，仅仅考虑等式(4-3-5)，理想的情况是dx<ωx,dy<ωy。这样我们就必 须兼顾准确度和鲁棒性来选择积分窗口。为了更好的解决这个问题，采用了基于金字 塔图像的光流跟踪方法。这个方法对局部跟踪的准确性提出了一个很好的解决方案。 一、金字塔图像表示 描述一个nx×ny的图像I，令I0=I表示第0层图像（原始图像），那么金字塔图
LK光流算法总结
运动目标检测之Lucas-Kanade光流算法读书笔记 视觉是人类感知自身周围复杂环境最直接有效的手段之一，而在现实生活中大量有意义的视觉信息都包含在运动中，人眼对运动的物体和目标也更敏感，能够快速的发现运动目标。随着计算机技术、通信技术、图像处理技术的不断发展，计算机视觉己成为目前的热点研究问题之一。而运动目标检测是计算机视觉研究的核心课题之一，融合了图像处理、模式识别、人工智能、自动控制、计算机等众多领域的先进技术，在军事制导、视觉导航、视频监控、智能交通、医疗诊断、工业产品检测等方面有着重要的实用价值和广阔的发展前景。 一目标检测 运动目标检测运动目标检测是指从序列图像中将运动的前景目标从背景图像中提取出来。目前,已有的运动目标检测方法按照算法的基本原理可以分为三类:背景差分法，帧间差分法和光流法。 1背景差分法 背景差分法又称背景减除法，背景差分法的原理是将当前帧与背景图像进行差分来得到运动目标区域，但是需要构建一幅背景图像，这幅背景图像必须不含运动目标，并且应该能不断的更新来适应当前背景的变化，构建背景图像的方法有很多，比较常用的有基于单个高斯模型的背景构建，基于混合高斯模型的背景构建，基于中值滤波器的背景构造，基于卡尔曼滤波器的背景构造，基于核函数密度估计的背景模型构造。 缺点：因为要求背景是静止的，所以背景的变化，场景中有很多干扰，比如场景中有树枝和叶子在风中晃动、水面的波动等等，还有照明的变化和天气的变化等都可能影响检测的结果 2帧间差分法 帧间差分法是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法，它可以很好地适用于存在多个运动目标和摄像机移动的情况。当监控场景中出现异常物体运动时，帧与帧之间会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，
光流法
光流法 光流是一种简单实用的图像运动的表达方式，通常定义为一个图像序列中的图像亮度模式的表观运动，即空间物体表面上的点的运动速度在视觉传感器的成像平面上的表达。 中文名：光流法属于:简单实用的图像运动 表示:一种几何变化分为:匹配的方法频域的方法梯度的方法 人类主要通过眼睛，耳朵和大脑来获取、处理与理解获得的信息。然而图像具有最直观、明了、让人一看就懂的特质，因为人们获取信息70%以上依靠视觉，20%左右依靠听觉，10%左右依靠触觉和嗅觉，这就是为什么“百闻不如一见”，一幅图像说明一切问题，胜过千言万语。 计算机视觉这一领域的先驱可追溯到很早的时候，但是直到20世纪70年代后期，当计算机的性能提高到足以处理诸如图像这样的大规模数据时，计算机视觉才得到了正式的关注和发展。计算机视觉就是用各种成象系统代替视觉器官作为输入敏感手段，由计算机来代替大脑完成处理和解释，也包括对视觉信息的采集，传输，处理，存储与理解等过程。计算机视觉最终研究目标就是使计算机能像人那样通过视觉观察和理解世界，具有自主适应环境的能力，要经过长期的努力才能达到的目标。因此，在实现最终目标以前，人们努力的中期目标是建立一种视觉系统，这个系统能依据视觉敏感和反馈的某种程度的智能完成一定的任务。计算机视觉应用领域较广泛，包括航空航天、卫星照片、军事导弹精确制导、移动机器人视觉导航、工业自动化系统、医学辅助诊断等。 计算机视觉系统的结构形式很大程度上依赖于其具体应用方向。有些是独立工作的，用于解决具体的测量或检测问题，也有些作为某个大型复杂系统的组成部分出现，比如工业控制系统，汽车导航系统。计算机视觉系统的具体实现方法同时也由其功能决定，有些是预先固定的，有些是在运行过程中自动学习调整。尽管如此，以下几个功能却几乎是每个计算机系统都需要具备的。 图像获取，一幅数字图像是由一个或多个图像感知器产生的，例如摄像机，红外遥感摄像仪，雷达，超声波接收器等，所产生的图片包括二维图像，三维图像或者一个图像序列。 预处理，在对图像实施具体的计算机视觉方法来提取某种特定的信息前，首先通过一种或一些方法预先对图像进行处理，以满足后继图像处理的要求，包括二次取样，平滑去噪，提高对比度等。 特征提取，是使用计算机提取图像信息，检查每个像素确定该像素是否代表一个特征，例如边缘提取，边角检验，斑点检验。图像分割，对图像进行分割来提取有价值的信息用于后继处理的部分。 光流法的基本原理
运动目标检测算法研究综述
2017年第1期 信息通信2017 (总第 169 期）INFORMATION&COMMUNICATIONS(Sum.N o169) 运动目标检测算法研究综述 程爱灵，黄昶，李小雨 (华东师范大学，上海200241) 摘要:运动目标检测技术是计算机视觉的基础，是一个十分有研究意义且很有挑战性的问题。文章从当前运动目标检测 问题的相关方法进行分析研究。首先详细介绍了光流法、帧差法和背景差法的算法原理。然后对比了几种算法的优缺 点，介绍各算法的适用场景。最后针对研究过程面临的难题，展望了运动目标检测技术新的发展趋势。 关键词：图像处理;光流;运动目标检测；巾贞差法；背景差法 中图分类号:TP391 文献标识码:A文章编号：1673-1131(2017)01-0012-03 〇引言 计算机视觉的最终目的就是使用计算机等智能设备来代 替人去对周围环境进行感知、解释及应答。随着科学技术的 发展，计算机视觉在越来越多的领域内得到了使用。其中智 能视频监控更是在军事、安保、医学和科研等领域被广泛地使 用。在智能视频监控中，运动目标的检测与跟踪算法是系统 的核心。视频图像的目标检测技术则更是理解图像的基础。 运动目标检测就是在寻找存在运动的区域，检测到的运 动区域可以为后续的目标识别和跟踪，行为分析等任务提供 可参考的区域[1]。通常视频图像被分为两种:一种是背景是静 态的视频，比如监视某一个固定场景;另一种是背景是动态的 视频，比如对目标进行跟踪运动的摄像机拍到的视频。在实 际生活中其实不会存在完全静止的背景，由于天气和光照的 变化，运动目标阴影、干扰物等的影响背景也是动态变化的，这使得运动目标检测在实现过程中有很多的制约和挑战。主 要的检测算法有光流法、帧差法和背景差法三种。 1光流法 1.1基本概念 光流是空间运动物体被观测面上的像素点运动产生的瞬 时速度场，包含了物体表面结构和动态行为的重要信息[2]。视 觉心理学认为人与被观测物体存在相对运动时，被观察物体 表面带光学特征(如亮度/灰度信息)部位的运动能提供物体的 运动和结构信息，即当人眼（摄像机）与场景中物体存在相对 运动时，物体带光学特征部分的移动投影到视网膜平面(成像 平面)上就形成了光流场。 光流法的基本原理是：为图像中的每一个像素点赋予一 个运动矢量。动态分析各像素点的速度矢量。如果图像中没 有目标运动时光流矢量在整个图像中是连续变化的；当图像 中存在运动目标时，运动目标形成的矢量场必定与背景的速 度矢量场不同，由此即可求出运动目标的位置。 1.3几种常见的光流法 常见的光流法有微分法中的H S算法、L K算法和基于块 匹配的模板匹配算法。 (1)H S算法。 Horn和Schunck在基于亮度恒定的光流基本约束方程的 基础上假设光流在整个图像上平滑变化，提出了全局平滑性约 束。即假设光流场满足光流基本方程的同时也要满足全局平 滑性[3]。这就要保证光滑性的误差尽可能的小，误差由下式求得: 保证亮度恒定要求光流基本约束方程的误差尽可能小，误差由下式求得： Ec(w,v)= \^I x u+1 y v+1]2dxdy(2) 联立公式(1)和(2)，HS光流法中的光流应该满足取下式 的最小值： 心加)=>[(|(/，+^+’,)2+乂〔-)+〔轰〕+图+〔|)卜 式中A为平滑控制参数，决定着E c和E s两种误差之间 的权重。 (2)L K算法。 由Lucas和Kanade提出的LK算法与H S算法不同，它 1.2算法原理 光流中包含了物体的运动信息，因此可以用来检测图像 序列的运动目标。光流法的核心就是求解运动物体的光流信 息，即速度。物体在三维空间的运动一般都是相对连续的，因此物体在运动过程中在成像平面所投影的图像也是连续变化 的。假设：相邻帧图像的亮度恒定；相邻帧的获取时间连续; 保持空间一致性，即同一物体成像的像素有相同的运动。由此可以推导出光流的基本方程。 设t时刻图像坐标为(x，y)的点P的灰度值是I(x,y,t)，经过 d t后，有水平方向和垂直方向的运动分量分别为u和V，则有 w=去，v=泰P点的灰度值为I(x+dx，y+dy,t+dt)。当dt—0时，灰度值保持不变，即I(x,y,t)= I(x+dx，y+dy，t+dt)，用泰勒公式展开，忽略二阶无穷小量得到光流约束的基本方程：引入了局部平滑性约束，假设在局部空间n上运动矢量保持恒 定，使用加权最小二乘法估计光流。 L K算法的误差ELK可由下式求得： Enc v) =j j w 2 (x,y)?(Ixu + I yv + I t f dxdy(3) 式中，W(x,y)= {W i|i=l，2,…,n}是邻域Q内n个点的权重，靠 近中心的加权要比周围大。求解(x，y)处L K光流的过程就是 求解上式最小值的过程。 (3)模板匹配法。 模板匹配法在给定的两帧图像L和L中以I I的像素点(X，y)为中心建立(2n+l)*(2n+l)的区域Wi，在12图像中对应的以 像素点(x，y)为中心建立(2N+1)*(2N+1)的区域w2中搜索最佳 匹配位置(N>n)。定义归一化相关系数公式： n ^l i x+ hy+ J^xI^x+ u+ Uy+ v+ j) ^ I n J( X Ji2(x+^y+^x Y,I2(x+u+i^y+v+J) V i，卜_n 1 2
光流法
光流的概念是Gibson在1950年首先提出来的。它是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。一般而言，光流是由于场景中前景目标本身的移动、相机的运动，或者两者的共同运动所产生的。其计算方法可以分为三类：（1）基于区域或者基于特征的匹配方法； （2）基于频域的方法； （3）基于梯度的方法； 简单来说，光流是空间运动物体在观测成像平面上的像素运动的“瞬时速度”。光流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”。研究光流场的目的就是为了从图片序列中近似得到不能直接得到的运动场。 光流法的前提假设： （1）相邻帧之间的亮度恒定； （2）相邻视频帧的取帧时间连续，或者，相邻帧之间物体的运动比较“微小”；（3）保持空间一致性；即，同一子图像的像素点具有相同的运动 这里有两个概念需要解释： 运动场，其实就是物体在三维真实世界中的运动； 光流场，是运动场在二维图像平面上的投影。
如上图所示，H中的像素点(x,y)在I中的移动到了(x+u,y+v)的位置，偏移量为(u,v)。 光流法用于目标检测的原理：给图像中的每个像素点赋予一个速度矢量，这样就形成了一个运动矢量场。在某一特定时刻，图像上的点与三维物体上的点一一对应，这种对应关系可以通过投影来计算得到。根据各个像素点的速度矢量特征，可以对图像进行动态分析。如果图像中没有运动目标，则光流矢量在整个图像区域是连续变化的。当图像中有运动物体时，目标和背景存在着相对运动。运动物体所形成的速度矢量必然和背景的速度矢量有所不同，如
光流法c++完整代码
光流法是比较经典的运动估计方法，本文不仅叙述简单明了，而且附代码，故收藏． 在空间中，运动可以用运动场描述。而在一个图像平面上，物体的运动往往是通过图像序列中不同图象灰度分布的不同体现的。从而，空间中的运动场转移到图像上就表示为光流场，光流场反映了图像上每一点灰度的变化趋势。 光流可以看作带有灰度的像素点在图像平面运动产生的瞬时速度场。下面我们推导光流方程： 假设E(x,y,t)为(x,y)点在时刻t的灰度（照度）。设t+dt时刻该点运动到(x+dx,y+dy)点，他的照度为 E(x+dx,y+dy,t+dt)。我们认为，由于对应同一个点，所以 E(x,y,t) = E(x+dx,y+dy,t+dt) ——光流约束方程 将上式右边做泰勒展开，并令dt->0，则得到：Exu+Eyv+Et = 0，其中： Ex = dE/dx Ey = dE/dy Et = dE/dt u = dx/dt v = dy/dt 上面的Ex,Ey,Et的计算都很简单，用离散的差分代替导数就可以了。光流法的主要任务就是通过求解光流约束方程求出u,v。但是由于只有一个方程，所以这是个病态问题。所以人们提出了各种其他的约束方程以联立求解。但是由于我们用于摄像机固定的这一特定情况，所以问题可以大大简化。 摄像机固定的情形 在摄像机固定的情形下，运动物体的检测其实就是分离前景和背景的问题。我们知道对于背景，理想情况下，其光流应当为0，只有前景才有光流。所以我们并不要求通过求解光流约束方程求出u,v。我么只要求出亮度梯度方向的速率就可以了，即求出sqrt(u*u+v*v)。 而由光流约束方程可以很容易求到梯度方向的光流速率为V = abs(Et/sqrt(Ex*Ex+Ey*Ey))。这样我们设定一个阈值T。 V(x,y) > T 则(x,y)是前景，反之是背景 C++实现 在实现摄像机固定情况的光流法时，需要有两帧连续的图像，下面的算法针对RGB24格式的图像计算光流： void calculate(unsigned char* buf) { int Ex,Ey,Et; int gray1,gray2; int u; int i,j; memset(opticalflow,0,width*height*sizeof(int)); memset(output,255,size); for(i=2;i 光流的概念、HS 算法及应用 一、光流的概念 运动物体的亮度模式运动叫做光流，或者说光流运动物体在成像面上的像素运动的速度。光流场是2D 瞬时速度场。其中，2D 瞬时速度矢量是图像中运动物体的3D 速度矢量在成像面的投影。 图1 Pi 为三维运动物体上的点P0在成像面上的二维投影 P0的运动在成像面内表现为Pi 的运动，而Pi 的运动速度就是P0的光流。 光照的变化必然引起光流的变化，有些运动不产生光流，如光照不变时，均匀亮度的球体绕中心轴自转的运动。 二、光流的H-S 算法 假定：1、图像的灰度始终不变，2、光流在整个图像中满足一定的约束条件，即全局性约束，3光流在整个图像中均匀变化，即平滑性约束，4不考虑图像中物体的重叠。 光流基本约束方程0x y t I u I v I ++= 其中I （x ，y ，t ）为图像上点（x ，y ）在时刻t 的灰度值，x I I x ?=?， y I I y ?=?，t I I t ?=?，dx u dt =，dy v dt =。 迭代方程 ()()(1)()22 2k k x y t k k x x y I u I v I u u I I I λ+++=-++，()()(1)()22 2k k x y t k k y x y I u I v I v v I I I λ+++=-++ 其中k 是循环数，可取0， u 和v 是光流局部平均值，λ为权重系数。 三、利用光流对图像中运动物体的检测和提取 光流法检测运动物体的原理：首先给图像中每个像素点赋予一个速度矢量（光流），这样就形成了光流场。如果图像中没有运动物体，光流场连续均匀，如果有运动物体，运动物体的光流和图像的光流不同，光流场不再连续均匀。从而可以检测出运动物体及位置。 利用光流对图像中运动物体的检测和提取的步骤：1、获取图像，2、图像预处理滤波，3、计算图像各点光流，并转化为二进制数据，3、进一步处理滤波， 4、将滤波过程切断的运动物体区域连通， 5、将运动物体在图像区域中水平垂直投影定位，5、提取运动物体。 四、光流法的实际应用 利用光流场可以有效地对图像目标进行检测和分割，这对地对空导弹火控系统的精确制导，自动飞行器精确导航和着陆，战场动态分析，军事侦察航天或卫星图片的自动分析系统，医学上异常器官细胞分析与诊断，气象中对云图的运动分析和城市交通的车流量监管等都有重要意义。 光流法基本原理 从二维图像序列中检测物体的运动、提取运动参数并且分析物体运动的相关规律是运动图像序列分析的主要研究内容。光流法是进行运动图像分析的重要方法，在视觉运动研究中具有举足轻重的作用。 光流（optical flow ）表达了图像的变化，由于它包含了图像的运动信息，因此可被观察者用来确定目标的运动情况[32]。如图3-8所示，光流是图像中亮度图案的表观运动，而运动场是三维物体的实际运动在图像平面上的投影，在理想情况下二者相互吻合[33]。 光流场可以简单的理解为物体的速度矢量场，包含两个分量(,)u v 。假设相邻两帧图像之间的时间间隔很小，而且图像的灰度变化很小时，可以推导出基本的光流约束方程[34]： 0x y t I u I v I ++= (3-3) 其中，dx u dt = ，dy v dt =分别是该点的光流沿,x y 方向上的分量；(,)I x y 是像素点(,)x y 在时刻 t 的灰度值，x I I x ?= ?,y I I y ?=?,t I I t ?=?分别是灰度值I 对x 、y 和t 的偏导数，可从图像序列中直接估计出来[35]： 1,,1,,11,1,1,1,1,,,,1,1,,1,11[()()]4x i j k i j k i j k i j k i j k i j k i j k i j k I I I I I I I I I x ++++++++++++=+++-+++? (3-4) 1,,,1,11,1,1,1,1,,,,11,,1,,11 [()()]4y i j k i j k i j k i j k i j k i j k i j k i j k I I I I I I I I I y ++++++++++++=+++-+++? (3-5) ,1,,1,11,,11,1,1,,,1,1,,1,1,1 [()()]4t i j k i j k i j k i j k i j k i j k i j k i j k I I I I I I I I I t ++++++++++++= +++-+++? (3-6) 光流约束方程与u 和v 呈线性关系，如图3-9所示，把以u 和v 为横、纵轴的二维空间称为速度空间，则该方程定义了一条直线，且此直线与图像点灰度的空间梯度I ?垂直。所有满足约束方程的(,)u v 值都位于此直线上，但局部的测量无法识别实际的光流(,)u v 位于约束线上的哪一点，因此仅可确定光流在梯度方向上的分量⊥V ： 2/122) (y x t t I I I I I V +-=?- =⊥ (3-7) 却无法确定光流在与梯度垂直方向（即沿等亮度线）上的分量。因此，只使用一点信息是不能完全确定光流的，这种不确定问题就是孔径问题（aperture problem ）[36]。 基于前—后向光流点匹配运动熵的视频抖动检测算法 1问题描述 本文主要研究的是视频监控诊断系统中的视频画面抖动检测问题。正常情况下，运动图像序列的连续多帧之间过渡是平滑的，画面相关性比较连续，但是如果它们之间的相关性出现大波动，视频就会出现抖动的情况。在视频监控中，摄像头一般都是固定在某个位置，因此造成视频画面抖动现象的原因主要有: 1)摄像头受到环境的干扰( 比如强风) 发生有规律的摆动从而造成图像的上下或左右抖动; 2) 摄像头正在被人移动，造成画面抖动。任何一种情况，都会导致画面出现周期性振颤或不规则扭曲，都意味着摄像头工作出现了异常。 2问题分析 常见的运动参数估计算法主要有灰度投影法、块匹配法、特征点匹配和光流法。针对视频监控画面抖动检测问题，本文提出一种实时有效、具有较高精度的检测算法。算法采用稀疏型的光流特征和ORB 特征点匹配相融合的策略，采用前向—后向误差作为检验标准过滤错误匹配的光流点，然后根据正确匹配的点集合估计视频帧之间的全局运动方向和幅度等参数。在一个时间段内，利用运动熵衡量连续帧的运动混乱程度，判断视频画面是否发生抖动异常现象。 本文针对视频质量诊断的抖动异常检测问题:1)提出融合光流点与特征点匹配，利用前-后向误差的方式验证并获取有效匹配点集的策略，可以缓解大位移抖动的影响，增强匹配点的可靠性;2)引入运动熵衡量连续帧间运动一致性程度，用于判断是否发生抖动，方法简单有效，实际可操作性比较好。最后面向实际应用，搜集了各种在实际中发生抖动异常的视频监控录像数据，在数据集上测试了本文算法的 性能，并进行了比较。实验证明，本文算法达到了实时性要求，具备较高的检测精度，能够满足现实监控系统视频质量诊断的工作要求。 3算法描述 视频发生抖动，意味着整个画面都将发生运动，同一帧画面上的点总体运动趋势保持一致。基于这个假设前提，可以通过计算画面的全局运动参数来估计画面的整体运动情况。鉴于光流特征能够较好地反映视频画面丰富的运动信息，特征点匹配对于环境适应性较好，本文提出将稀疏型光流特征与特征点匹配相融合的策略用于估计运动过程参数，有效互补它们各自的优点。 在视频的整个画面空间上进行快速Harris 角点检测，将画面均匀划分成若干栅格区域( 如3* 3的划分)，然后在每个栅格区域随机选取若干个角点，形成均匀分布于画面空间的角点点集，计算它们的光流特征。由于采样的点数远小于图像的像素个数，其稀疏型光流特征的计算量将大大降低。根据光流特征，可以粗略估计当前点在下一帧的大致位置。为了避免光流受大位移抖动的影响，减少匹配误差，算法在光流点估计位置的局部邻域范围内进行特征点匹配，一方面可以利用特征点匹配的良好适应性，同时可以避免特征点全局画面匹配的计算量。最后算法根据前-后向误差的标准，选取更为可靠的匹配点对估计全局运动参数。 金字塔LK光流算法 constint MAX_CORNERS = 500; void CImageExampleDlg::OnBnClickedButton8() { // TODO: Add your control notification handler code here IplImage* imgA = cvLoadImage("F://program//Book//Chapter4//OpticalFlow0.jpg",CV_LOAD_IMAGE_GRAYSCALE); IplImage* imgB = cvLoadImage("F://program//Book//Chapter4//OpticalFlow1.jpg",CV_LOAD_IMAGE_GRAYSCALE); CvSizeimg_sz = cvGetSize( imgA ); int win_size = 10; IplImage* imgC = cvLoadImage("F://program//Book//Chapter4//OpticalFlow1.jpg",CV_LOAD_IMAGE_UNCHANGED); // The first thing we need to do is get the features // we want to track. // IplImage* eig_image = cvCreateImage( img_sz, IPL_DEPTH_32F, 1 ); IplImage* tmp_image = cvCreateImage( img_sz, IPL_DEPTH_32F, 1 ); int corner_count = MAX_CORNERS; CvPoint2D32f* cornersA = new CvPoint2D32f[ MAX_CORNERS ]; cvGoodFeaturesToTrack( imgA, eig_image, tmp_image, cornersA, &corner_count, 0.01, 5.0, 0, 3, 0, 0.04 ); cvFindCornerSubPix( imgA, cornersA, corner_count, cvSize(win_size,win_size), cvSize(-1,-1), cvTermCriteria(CV_TERMCRIT_ITER|CV_TERMCRIT_EPS,20,0.03) ); // Call the Lucas Kanade algorithm // char features_found[ MAX_CORNERS ]; float feature_errors[ MAX_CORNERS ]; CvSizepyr_sz = cvSize( imgA->width+8, imgB->height/3 ); IplImage* pyrA = cvCreateImage( pyr_sz, IPL_DEPTH_32F, 1 ); IplImage* pyrB = cvCreateImage( pyr_sz, IPL_DEPTH_32F, 1 ); CvPoint2D32f* cornersB = new CvPoint2D32f[ MAX_CORNERS ]; cvCalcOpticalFlowPyrLK( imgA,光流的概念、HS算法及应用
光流法原理详细
光流法
金字塔LK光流算法