文档库 最新最全的文档下载
当前位置:文档库 › 人体行为识别技术

人体行为识别技术

人体行为识别技术
人体行为识别技术

人体行为识别技术

在计算机视觉领域中,人体运动行为识别是一个被广泛关注的热点问题,在智能监控、机器人、人机交互、虚拟现实,智能家居,智能安防,运动员辅助训练等方面有巨大应用价值。行为识别问题一般遵从如下基本过程:数据图像预处理,运动人体检测、运动特征提取、特征训练与分类、行为识别。着重从这几方面逐一回顾了近年来人体行为识别的发展现状和常有方法。并对当前该研究方向上待解决的问题和未来趋势做了分析。行为理解可以简单地认为是时变数据的分类问题,即将测试序列与预先标定的代表典型行为的参考序列进行匹配。通过对大量行为理解研究文献的整理发现:人行为理解研究一般遵从特征提取与运动表征、行为识别、高层行为与场景理解等几个基本过程。

特征提取与运动表征是在对目标检测、分类和跟踪等底层和中层处理的基础上,从目标的运动信息中提取目标图像特征并用来表征目标运动状态;行为识别则是将输入序列中提取的运动特征与参考序列进行匹配,判断当前的动作处于哪种行为模型;高层行为与场景理解是结合行为发生的场景信息和相关领域知识,识别复杂行为,实现对事件和场景的理解。【2】

1、行为识别的应用

从应用领域的分类来讲,可以将人体运动分析的应用分成如下几个领域:

①智能监控

这里所指的“智能”包含两个方面的含义。一种“智能”是指系统能够在一定的场景中检测是否有人的出现(如通过检测人脸的方法)防止只是简单的通过

运动目标检测所造成的错误报警(例如因为动物活动或者刮风摇动树枝等等而造

成误报)。另外一种“智能”是指系统能够监视一定场所中人的活动,并对其行为进行分析和识别,跟踪可疑行为(如经常在重要地点徘徊等等行为)从而采取相应的报警措施。通常把报警系统设置于银行、机场、车站、码头、超市、办公大楼、住宅小区等地,以实现对这些场所的智能监控。

②虚拟现实

跟踪现实世界人的姿态,从而创建一个虚拟的仿真场景,实现人与这个虚拟世界的交互。该领域的具体应用涉及视频游戏、虚拟摄影棚、计算机动画等方面。

③高级用户接口

指可以通过对用户手势的识别来代替传统的鼠标和键盘输入,从而实现人与计算机之间的智能交互。此外,通过对手势语言的理解,还可以进行聋人与计算机之间的手语交流。

④运动分析

人体运动分析可以运用于基于容的视频检索领域。例如可以检索在运动会上单杠比赛中运动员的杠上动作。这样可以节省用户大量的查询视频资料的时间和精力。另外一种应用是用于各种体育项目中,提取运动员的各项技术参数(如关节位置、角度和角速度,等等),通过分析这些信息,可以为运动员的训练提供指导和建议,有助于提高运动员的训练水平。此外,还可以用于体育舞蹈动作的分析,以及临床矫形术的研究等领域。

⑤基于模型的视频编码

通过提取一定的静态场景中人物的形态特征参数和3D姿态参数,以较低的数据量对视频数据流加以描述,实现视频数据的压缩和低比特率传送。可以用于在因特网上展开远程视频会议以及VOD(Video-On-Demand)视频点播。

总之,人体运动跟踪的研究已涉及到计算机视觉、模式识别、视频图像处理等方面的理论问题和实际应用问题,对人体这一带有关节旋转运动的非刚体目标的跟踪与分析将会促进这些领域在理论上产生新的处理方法,并将对诸多应用领域产生潜在的影响。

2、行为识别研究难点

行为识别发展至今,取得了很大的进展,在低层,中层和高层都取得了一定的突破,但是行为识别算法并不成熟,目前不存在一个算法适合所有的行为分类,3个视觉层次中都还有很多严峻的问题有待解决。其研究的难点主要体现在以下几个方面:

1)动作类类间的变化太大

对于大多数的动作,即使是同一动作都有不同的表现形式。比如说走路,可以在不同的背景环境中完成,走路的速度也可以从慢到快,走路的步长亦有长有短。其它的动作也有类似的结果,特别是一些非周期的运动,比如过马路时候的走路,这与平时周期性的走路步伐明显不同。由此可见,动作的种类本身就很多,再加上每一种类又有很多个变种,所以给行为识别的研究带来了不少麻烦。

2)环境背景等影响

环境问背景等因素的影响可谓是计算机视觉各个领域的最大难点。主要有视角的多样性,同样的动作从不同的视角来观察会得到不同的二维图像;人与人之间,人与背景之间的相互遮挡也使计算机对动作的分类前期特征提取带来了困难,目前解决多视觉和遮挡问题,有学者提出了多摄像机融合通过3维重建来处理;另外其影响因素还包括动态变化和杂乱的背景,环境光照的变化,图像视频的低分辨率等。

3)时间变化的影响

人体的行为离不开时间这个因素。而我们拍摄的视频其存放格式有可能不同,其播放速度有慢有快,这就导致了我们提出的系统需对视频的播放速率不敏感。

4)数据的获取和标注

既然把行为识别问题当成一个分类问题,就需要大量的数据来训练分类模型。而这些数据是视频数据,每一个动作在视频中出现的位置和时间都不确定,同时要考虑同一种动作的不同表现形式以及不同动作之间的区分度,即数据的多样性和全面性。这一收集过程的工作量不小,网上已经有一些公开的数据库供大家用来实验,这将在本文的第3部分进行介绍。

另外,手动对视频数据标注非常困难。当然,有学者也提出了一些自动标注的方法,比如说利用网页图片搜索引擎,利用视频的字幕,以及利用电影描述的文本进行匹配。

5)高层视觉的理解

上面一提到,目前对行为识别的研究尚处在动作识别这一层。其处理的行为可以分为2类,一类是有限制类别的简单规则行为,比如说走、跑、挥手、弯腰、跳等。另一类是在具体的场景中特定的行为,如检测恐怖分子异常行为,丢包后突然离开等。在这种场景下对行为的描述有严格的限制,此时其描述一般采用了运动或者轨迹。这2种行为识别的研究都还不算完善,遇到了不少问题,且离高层的行为识别要求还相差很远。因此高层视觉的理解表示和识别是一个巨大的难题。

3人体行为分析研究

一般的运动人体行为分析主要包括一下几个流程:1)数据库建立;2)运动人体检测;3)运动特征提取;4)行为理解与识别。在我们的运动人体行为分析研究中,重点研究运动人体检测和运动特征提取。如图1所示是运动行为分析研究的整体框架:

图1

3.1运动目标检测

对于不依赖先验知识的目标跟踪来讲,运动检测是实现跟踪的第一步,运动检测即为从序列图像中将变化区域从背景图像中提取出来。目前,已有的运动目标检测方法按照算法的基本原理可以分为三类:帧间差分法、背景减除法和光流法。三类方法各有其优缺点。

(1)背景减除法

背景减除法是预先选取不含前景运动目标的背景图像,然后将当前图像帧与背景图像相减得到前景目标。最常用且有效的是背景减除法。

此类算法的缺点是由于通常需要缓冲若干帧来学习背景,因此往往需要消耗大量的存,

这使其使用围受到了限制。此外,对于大围的背景扰动,此类算法的检测效果也不理想。Stauffer和Grimson提出的高斯混合模型是使用最为广泛的背景建模方法。高斯混合模型通过多个高斯分布对背景建模,每个分布对应一种背景像素的模态,从而能够适应像素层面上

的背景扰动问题,并能通过对背景的不断更新,使系统能对背景的变化自适应。但是,高斯混合模型对于全局光照变化、阴影非常敏感,对于缓慢的运动目标检测效果也不理想。

(2) 帧间差分法

帧间差分法的主要思想就是利用视频图像序列中连续两帧或三顿的差异来检测发生运动的区域。Lipton等人提出的用于实时视频流中运动冃标检测的算法就是顿间差分的方法[Lipton98]。顿间差分法的特点是动态性强,能够适应动态背景下的运动目标检测。但是,这类算法检测出的目标轮廓非常不理想,在目标部会留有许多空洞,在目标运动较快时目标的

轮廓会被扩大,在目标运动较慢时甚至有可能无法得到目标的边界。

(3)基于光流的运动目标检测算法

基于光流的运动目标检测算法是利用光流方程计算出每个像素点的运动状态矢量,从而发现运动的像素点,并且能够对这些像素点进行跟踪。在摄像机运动、背景变化时,光流法也能检测出运动目标,并且它能同时完成运动目标检测和跟踪,但是该方法的计算复杂度高,在

没有专用硬件支持的情况下很难做到实时检测,同时,光流场的计算非常容易受到噪声、光照变化和背景扰动的影响。采用光流场计算的方法也很难将运动目标的轮廓完整地提取出来。

3.2运动目标分类

目标分类是指从运动目标检测到的前景运动区域中提取感兴趣目标区域。复杂场景小检测到的前景区域可能包含不同种类的目标,如行人、车辆、飞鸟、云、摇动的树枝等,在人体运动分析系统中,只对运动人体感兴趣,因此需要对运动目标的类型进行分析识别,提取人体目标。目前常用的目标分类方法有如图2:

图2

3.3运动目标跟踪

依据运动目标的表达和相似性度量, 运动目标跟踪算法可以分为四类: 基于主动轮廓的跟踪、基于特征的跟踪、基于区域的跟踪和基于模型的跟踪。跟踪算法的精度和鲁棒性很大程度上取决于对运动目标的表达和相似性度量的定义, 跟踪算法的实时性取决于匹配

搜索策略和滤波预测算法。

1)基于主动轮廓的跟踪

Kass等人提出的主动轮廓模型, 即Snake模型, 是在图像域定义的可变形曲线, 通过对其能量函数的最小化, 动态轮廓逐步调整自身形状与目标轮廓相一致, 该可变形曲线又称

为Snake曲线。Snake技术可以处理任意形状物体的任意形变,首先将分割得到的物体边界作为跟踪的初始模板, 然后确定表征物体真实边界的目标函数, 并通过降低目标函数值, 使初始

轮廓逐渐向物体的真实边界移动。基于主动轮廓跟踪的优点是不但考虑来自图像的灰度信息, 而且考虑整体轮廓的几何信息, 增强了跟踪的可靠性。

由于跟踪过程实际上是解的寻优过程, 带来的计算量比较大,而且由于Snake模型的盲目性, 对于快速运动的物体或者形变较大的情况, 跟踪效果不够理想2)基于特征的跟踪基

于特征匹配的跟踪方法不考虑运动目标的整体特征, 只通过目标图像的一些显著特征来进

行跟踪。假定运动目标可以由惟一的特征集合表达, 搜索到该相应的特征集合就认为跟踪上了运动目标。除了用单一的特征来实现跟踪外, 还可以采用多个特征信息融合在一起作为跟踪特征。

2)基于特征的跟踪

基于特征的跟踪主要包括特征提取和特征匹配两个方面。(1)特征提取,特征提取是指从景物的原始图像中提取图像的描绘特征,理想的图像特征应具备的特点是a)特征应具有直观意义,符合人们的视觉特性; b)特征应具备较好的分类能力, 能够区分不同的图像容; c)特

征计算应该相对简单,以便于快速识别; d)特征应具备图像平移、旋转、尺度变化等不变性。目标跟踪中常用的运动目标的特征主要包括颜色、纹理、边缘、块特征、光流特征、周长、面积、质心、角点等。提取对尺度伸缩、形变和亮度变化不敏感的有效特征至今仍是图像处理研究领域中一个比较活跃的方面。(2)特征匹配,特征提取的目的是进行帧间目标特征的匹配, 并以最优匹配来跟踪目标。常见的基于特征匹配的跟踪算法有:基于二值化目标图像匹配的跟踪、基于边缘特征匹配或角点特征匹配的跟踪、基于目标灰度特征匹配的跟踪、基于目标颜色特征匹配的跟踪等。基于特征的跟踪算法的优点在于对运动目标的尺度、形变和亮度等变化不敏感, 即使目标的某一部分被遮挡, 只要还有一部分特征可以被看到, 就可以完成跟踪任务; 另外, 这种方法与K al man滤波器联合使用, 也具有很好

的跟踪效果。但是其对于图像模糊、噪声等比较敏感, 图像特征的提取效果也依赖于各种提取算子及其参数的设置, 此外, 连续帧间的特征对应关系也较难确定, 尤其是当每一帧图像的特征数目不一致、存在漏检、特征增加或减少等情况。

3)基于区域的跟踪

基于区域的跟踪算法基本思想是: a)得到包含目标的模板, 该模板可通过图像分割获得或预先人为确定, 模板通常为略大于目标的矩形, 也可为不规则形状; b)在序列图像中, 运

用相关算法跟踪目标。这种算法的优点在于当目标未被遮挡时, 跟踪精度非常高、跟踪非常稳定。但其缺点首先是费时, 当搜索区域较大时情况尤其严重; 其次, 算法要求目标变形不大, 且不能有太大遮挡, 否则相关精度下降会造成目标的丢失。近年来, 对基于区域的跟踪方法关注较多的是如何处理模板变化时的情况, 这种变化是由运动目标姿态变化引起的, 如果能正确预测目标的姿态变化, 则可实现稳定跟踪。

4)基于模型的跟踪

基于模型的跟踪是通过一定的先验知识对所跟踪目标建立模型, 然后通过匹配跟踪目

标进行模型的实时更新。对于刚体目标来说, 其运动状态变换主要是平移、旋转等, 可以利用该方法实现目标跟踪。但是实际应用中跟踪的不仅仅是刚体, 还有一大部分是非刚体, 目标确切的几何模型不容易得到。这种方法不易受观测视角的影响, 具有较强的鲁棒性, 模型匹配跟踪精度高, 适合于机动目标的各种运动变化, 抗干扰能力强, 但由于计算分析复

杂、运算速度慢, 模型的更新较为复杂, 实时性较差。准确建立运动模型是模型匹配能否成功的关键。

3.4运动目标的特征

运动目标的特征,是判断一个目标区别于另外一个目标的重要依据。有效的运动目标特征集可以准确地区分不同目标。运动目标特征的提取是实现运动目标分类的重要步骤。

运动目标分类方法概述

目前,基于视频的运动目标分类方法已经有很多,主要有3类:基于静态特征的分类,基于动态特征的分类和基于静态、动态特征相结合的分类。

1)基于静态特征的分类

基于静态信息的分类,即利用检测出来的运动区域的形状、颜色等物理特征进行目标分类的方法。Lipton 等利用离散度和面积信息对运动区域进行分类,区分人、车、及混乱扰动,并利用时间一致性约束使分类更准确,把除人、车外的目标当成干扰物,实现简单。Zang 等人利用长宽比、角点特征对运动区域进行分类,区分人、汽车。Rivlin、Bogomolov 等利用外接椭圆的长宽比以及星形骨架等形状特征,区分人、动物、汽车。Hu 等定义了目标轮廓上的点与几何中心的距离为“中距离”,利用中距离的离散度、最大中距离与最小中距离的比值作为分类特征,区分人、自行车、汽车。方帅等利用最大互信息获得一组可靠、独立且具辨认力的目标特征集,并用有向无环图的多类支持向量机进行分类,区分人、汽车。Otoom 等人以角点的个数、圆的个数、离散度为分类特征,区分机场周围的人、人群、包裹、手推车,该文分类效果较差,主要是因为同一个目标角点的个数与离摄像头远近差别很大,而且圆的个数判断人、人群依赖目标姿势。

2)基于动态特征的分类

基于动态特征的分类,即利用人体运动的周期性或其他与运动相关的特征进行目标分类的方法。采用静态特征往往会造成在特征提取上对姿势依赖的问题,而有效的动态特征可以减少对姿势的依赖。Cutler 与Davis 对目标随着时间变化的自相关特性进行计算,再通过时频化方法分析目标是否存在周期性的运动特征而将人识别出来。Yang Ran 与Tsaac Weiss,基于周期性分类人和车辆,对目标较小、图像分辨率低的航空和红外图片有比较好的分类效果。Javed、Shah 等利用是否有人体周期性运动特征、圆的个数等特征,分类人、人群和车辆。

3)基于静态与动态特征相结合的分类

Bogomolov、Dror 等的系统是基于目标静态特征和动态运动特性相结合进行目标分类的,采用了属于同类目标的静态轮廓的相似性和身体的倾斜角、脚之间的距离等运动特征,用支持向量机分类器进行分类,提高了精确度和鲁棒性。Aggarwal 等利用紧凑度值以及运动方向的变化量,区分人、人群、汽车、自行车,运动方向的变化量区分度不是很好。Li 等使用速度、长宽比、离散度等特征,以BP 神经网络作为分类器,区分交通场景中的人、自行车,较好地对复杂场景下人、自行车进行分类。

常见的运动目标特征分析

基于骨骼数据的人体行为识别

基于骨骼数据的人体行为识别 摘要 人体动作姿态识别是计算机视觉研究领域中最具挑战的研究方向,是当前的研究热点。对人体动作姿态进行自动识别将带来一种全新的交互方式,通过身体语言即人体的姿态和动作来传达用户的意思,如在机场、工厂等喧闹的环境下,采用手势、动作姿态识别等人机交互技术能够提供比语音识别更加准确的信息输入。总之,在智能监控、虚拟现实、感知用户接口以及基于内容的视频检索等领域,人体动作姿态的识别均具有广泛的应用前景。该文首先简单介绍了人体动作姿态序列的分割,然后对人体动作姿态识别的方法进行了分类介绍,并对一些典型的算法的研究进展情况及其优缺点进行了重点介绍。 关键词:人体动作姿态识别; 人工智能; 隐马尔可夫模型; 动态贝叶斯网络; 模板匹配前言 人体姿态识别是计算机视觉的一个重要研究方向,它最终目的是输出人的整体或者局部肢体的结构参数,如人体轮廓、头部的位置与朝向、人体关节点的位置或者部位类别。姿态识别的研究方法应该说,几乎涵盖了计算机视觉领域所有理论与技术,像模式识别、机器学习、人工智能、图像图形、统计学等。到目前为止,已经有众多识别方法被提出,并且也取得了许多重要的阶段性的研究成果,但是以往的方法都是基于普通光学图像,比如常见的RGB 图像,这类图像容易受光照、阴影等外界变化的影响,尤其在环境黑暗的情况下无法来识别人体姿态,并且由于人体关节自由度大,及人的体型、着装较大差异性,常导致姿态识别系统识别率低。尽管有研究者利用多个摄像机获取采集的图像来获取人体深度信息以克服以上问题[1],但是该类方法恢复的深度信息不是唯一的,而且计算量非常大,尤其是这种方法要求事先用人工对传感设备进行标定,而在选取场景中的标定物时,往往又会遇到实际环境操作困难的问题。 随着光电技术的快速发展,深度传感设备的成本逐渐降低,人们获取深图像的途径及方法也越来越多。该方向的研究也逐渐成为计算机视觉领域的研究趋势。具体原因包括:一方面,深度传感设备不仅操作简单,并且极大简化了普通摄像机的标定过程;另一方面,得到的深度图像由于直接包含了人体的深度信息,能够有效的克服普通光学图像遇到的上述问题。到目前为止,较有影响力的基于该类图像的人体姿态识别算法,应该是 Shotton 等人利用一种深度传感器 Kinect 来实时捕捉人体运动的算法,该算法虽然能够满足人们对识别系统实时性的要求,但其对硬件要求特别高,并且不适合低分辨率图像中的人体关节点提取,容易导致人体骨架扭曲。下文将具体陈述人体运动分析的主要用途和前人在不同时期对这些难题的处理办法。 主题 基于计算机视觉的人体运动分析不仅在智能监控、人机交互、虚拟现实和基于内容的视频检索等方面有着广泛的应用前景,更是成为了未来研究的前瞻性方向之一。Gavrila 总结了它的一些主要应用领域[2,3,4],下面据此对其典型应用做出进一步的介绍。 智能监控(Smart Surveillance) 所谓“智能监控”是指监控系统能够监视一定场景中人的活动,并对其行为行分析和识别,跟踪其中的可疑行为(例如在一些重要地点经常徘徊或者人流密集的场合下突发的人群拥挤等状况)从而采取相应的报警措施。智能监控系统应用最多的场合来自于那些对安全

(最新版)人体行为检测和识别毕业设计

本科生毕业设计(论文) 题目:人体行为检测与识别 姓名: 学号: 系别: 专业: 年级: 指导教师: 2015 年 4 月20日 独创性声明 本毕业设计(论文)是我个人在导师指导下完成的。文中引用他人研究成果的部分已在标注中说明;其他同志对本设计(论文)的启发和贡献均已在谢辞中体现;其它内容及成果为本人独立完成。特此声明。 论文作者签名:日期: 关于论文使用授权的说明 本人完全了解华侨大学厦门工学院有关保留、使用学位论文的规定,即:学院有权保留送交论文的印刷本、复印件和电子版本,允许论文被查阅和借阅;学院可以公布论文的全部或部分内容,可以采用影印、缩印、数字化或其他复制手段保存论文。保密的论文在解密后应遵守此规定。 论文作者签名:指导教师签名:日期:

人体行为检测与识别 摘要 人体行为检测与识别是当前研究的重点,具有很高的研究价值和广阔的应用前景。主要应用在型人机交互、运动分析、智能监控和虚拟现实也称灵境技术(VR)领域,对于研究人体检测和识别有着重要的意义。因为人的运动的复杂性和对外部环境的多变性,使得人们行为识别和检测具有一些挑战。对人类行为和检测的研究目前处于初级阶段,有待进一步研究和开发。 本文基于matlab人体行为识别和检测的研究,本文主要研究的是从图像中判断出目标处于何种行为,例如常见的走、坐、躺、跑、跳等行为的识别。从现有的很多主流研究成果来看,最常见的行为识别系统结构包括几个模块:目标检测、目标跟踪、行为识别。本文首先对图像进行判断是否有人体目标,识别出人体后对图像进行灰度化,在对灰度图像用背景差法与背景图像比对,最后,比对提取出的人体来判断人体处于何种行为。 关键词:matlab,肤色识别,行为检测

人体行为识别技术

人体行为识别技术 在计算机视觉领域中,人体运动行为识别是一个被广泛关注的热点问题,在智能监控、机器人、人机交互、虚拟现实,智能家居,智能安防,运动员辅助训练等方面有巨大应用价值。行为识别问题一般遵从如下基本过程:数据图像预处理,运动人体检测、运动特征提取、特征训练与分类、行为识别。着重从这几方面逐一回顾了近年来人体行为识别的发展现状和常有方法。并对当前该研究方向上待解决的问题和未来趋势做了分析。行为理解可以简单地认为是时变数据的分类问题,即将测试序列与预先标定的代表典型行为的参考序列进行匹配。通过对大量行为理解研究文献的整理发现:人行为理解研究一般遵从特征提取与运动表征、行为识别、高层行为与场景理解等几个基本过程。 特征提取与运动表征是在对目标检测、分类和跟踪等底层和中层处理的基础上,从目标的运动信息中提取目标图像特征并用来表征目标运动状态;行为识别则是将输入序列中提取的运动特征与参考序列进行匹配,判断当前的动作处于哪种行为模型;高层行为与场景理解是结合行为发生的场景信息和相关领域知识,识别复杂行为,实现对事件和场景的理解。【2】 1、行为识别的应用 从应用领域的分类来讲,可以将人体运动分析的应用分成如下几个领域: ①智能监控 这里所指的“智能”包含两个方面的含义。一种“智能”是指系统能够在一定的场景中检测是否有人的出现(如通过检测人脸的方法)防止只是简单的通过 运动目标检测所造成的错误报警(例如因为动物活动或者刮风摇动树枝等等而造

成误报)。另外一种“智能”是指系统能够监视一定场所中人的活动,并对其行为进行分析和识别,跟踪可疑行为(如经常在重要地点徘徊等等行为)从而采取相应的报警措施。通常把报警系统设置于银行、机场、车站、码头、超市、办公大楼、住宅小区等地,以实现对这些场所的智能监控。 ②虚拟现实 跟踪现实世界人的姿态,从而创建一个虚拟的仿真场景,实现人与这个虚拟世界的交互。该领域的具体应用涉及视频游戏、虚拟摄影棚、计算机动画等方面。 ③高级用户接口 指可以通过对用户手势的识别来代替传统的鼠标和键盘输入,从而实现人与计算机之间的智能交互。此外,通过对手势语言的理解,还可以进行聋人与计算机之间的手语交流。 ④运动分析 人体运动分析可以运用于基于容的视频检索领域。例如可以检索在运动会上单杠比赛中运动员的杠上动作。这样可以节省用户大量的查询视频资料的时间和精力。另外一种应用是用于各种体育项目中,提取运动员的各项技术参数(如关节位置、角度和角速度,等等),通过分析这些信息,可以为运动员的训练提供指导和建议,有助于提高运动员的训练水平。此外,还可以用于体育舞蹈动作的分析,以及临床矫形术的研究等领域。 ⑤基于模型的视频编码 通过提取一定的静态场景中人物的形态特征参数和3D姿态参数,以较低的数据量对视频数据流加以描述,实现视频数据的压缩和低比特率传送。可以用于在因特网上展开远程视频会议以及VOD(Video-On-Demand)视频点播。

人体行为识别技术讲解学习

人体行为识别技术

人体行为识别技术 在计算机视觉领域中,人体运动行为识别是一个被广泛关注的热点问题,在智能监控、机器人、人机交互、虚拟现实,智能家居,智能安防,运动员辅助训练等方面有巨大应用价值。行为识别问题一般遵从如下基本过程:数据图像预处理,运动人体检测、运动特征提取、特征训练与分类、行为识别。着重从这几方面逐一回顾了近年来人体行为识别的发展现状和常有方法。并对当前该研究方向上待解决的问题和未来趋势做了分析。行为理解可以简单地认为是时变数据的分类问题,即将测试序列与预先标定的代表典型行为的参考序列进行匹配。通过对大量行为理解研究文献的整理发现:人行为理解研究一般遵从特征提取与运动表征、行为识别、高层行为与场景理解等几个基本过程。 特征提取与运动表征是在对目标检测、分类和跟踪等底层和中层处理的基础上,从目标的运动信息中提取目标图像特征并用来表征目标运动状态;行为识别则是将输入序列中提取的运动特征与参考序列进行匹配,判断当前的动作处于哪种行为模型;高层行为与场景理解是结合行为发生的场景信息和相关领域知识,识别复杂行为,实现对事件和场景的理解。【2】 1、行为识别的应用 从应用领域的分类来讲,可以将人体运动分析的应用分成如下几个领域: ①智能监控 这里所指的“智能”包含两个方面的含义。一种“智能”是指系统能够在一定的场景中检测是否有人的出现(如通过检测人脸的方法)防止只是简单的通过运动目标检测所造成的错误报警(例如因为动物活动或者刮风摇动树枝等等而造成误报)。另外一种“智能”是指系统能够监视一定场所中人的活动,并对其行为进行分析和识别,跟踪可疑行为(如经常在重要地点徘徊等等行为)从而采取相应的报警措施。通常把报警系统设置于银行、机场、车站、码头、超市、办公大楼、住宅小区等地,以实现对这些场所的智能监控。 ②虚拟现实 跟踪现实世界人的姿态,从而创建一个虚拟的仿真场景,实现人与这个虚拟世界的交互。该领域的具体应用涉及视频游戏、虚拟摄影棚、计算机动画等方面。 ③高级用户接口 指可以通过对用户手势的识别来代替传统的鼠标和键盘输入,从而实现人与计算机之间的智能交互。此外,通过对手势语言的理解,还可以进行聋人与计算机之间的手语交流。 ④运动分析 人体运动分析可以运用于基于内容的视频检索领域。例如可以检索在运动会上单杠比赛中运动员的杠上动作。这样可以节省用户大量的查询视频资料的

人体行为识别技术

在计算机视觉领域中,人体运动行为识别是一个被广泛关注的热点问题,在智能监控、机器人、人机交互、虚拟现实,智能家居,智能安防,运动员辅助训练等方面有巨大应用价值。行为识别问题一般遵从如下基本过程:数据图像预处理,运动人体检测、运动特征提取、特征训练与分类、行为识别。着重从这几方面逐一回顾了近年来人体行为识别的发展现状和常有方法。并对当前该研究方向上待解决的问题和未来趋势做了分析。行为理解可以简单地认为是时变数据的分类问题,即将测试序列与预先标定的代表典型行为的参考序列进行匹配。通过对大量行为理解研究文献的整理发现:人行为理解研究一般遵从特征提取与运动表征、行为识别、高层行为与场景理解等几个基本过程。 特征提取与运动表征是在对目标检测、分类和跟踪等底层和中层处理的基础上,从目标的运动信息中提取目标图像特征并用来表征目标运动状态;行为识别则是将输入序列中提取的运动特征与参考序列进行匹配,判断当前的动作处于哪种行为模型;高层行为与场景理解是结合行为发生的场景信息和相关领域知识,识别复杂行为,实现对事件和场景的理解。【2】 1、行为识别的应用 从应用领域的分类来讲,可以将人体运动分析的应用分成如下几个领域: ①智能监控 这里所指的“智能”包含两个方面的含义。一种“智能”是指系统能够在一定的场景中检测是否有人的出现(如通过检测人脸的方法)防止只是简单的通过运动目标检测所造成的错误报警(例如因为动物活动或者刮风摇动树枝等等而造成误报)。另外一种“智能”是指系统能够监视一定场所中人的活动,并对其行为进行分析和识别,跟踪可疑行为(如经常在重要地点徘徊等等行为)从而采取相应的报警措施。通常把报警系统设置于银行、机场、车站、码头、超市、办公大楼、住宅小区等地,以实现对这些场所的智能监控。 ②虚拟现实 跟踪现实世界人的姿态,从而创建一个虚拟的仿真场景,实现人与这个虚拟世界的交互。该领域的具体应用涉及视频游戏、虚拟摄影棚、计算机动画等方面。 ③高级用户接口 指可以通过对用户手势的识别来代替传统的鼠标和键盘输入,从而实现人与计算机之间的智能交互。此外,通过对手势语言的理解,还可以进行聋人与计算机之间的手语交流。 ④运动分析 人体运动分析可以运用于基于内容的视频检索领域。例如可以检索在运动会上单杠比赛中运动员的杠上动作。这样可以节省用户大量的查询视频资料的时间和精力。另外一种应用是用于各种体育项目中,提取运动员的各项技术参数(如关节位置、角度和角速度,等等),通过分析这些信息,可以为运动员的训练提

相关文档
相关文档 最新文档