单摄像机视线跟踪

收稿日期:2006-03-20;修订日期:2006-06-15 基金项目:天津市高等学校科技发展基金资助项目(20051017)

作者简介:刘瑞安(1966-),男,河北赵县人,副教授,博士研究生,主要研究方向:检测技术及仪器、图像处理; 靳世久,男,教授,博士生导师

,主要研究方向:精密仪器及检测技术; 吴晓荣,男,教授,主要研究方向:嵌入式系统.

文章编号:1001-9081(2006)09-2101-4

单摄像机视线跟踪

刘瑞安1,2

,靳世久1

,宋 维2

,张希坤2

,吴晓荣

2

(1.天津大学精密测试技术及仪器国家重点实验室,天津300072;

2.天津师范大学物理与电子信息学院,天津300074)

(wdxy lra @m ai.l tjnu .edu .cn)

摘 要:提出一种能对环境光强变化、用户头部位置变化自动适应的视线跟踪方法,减少了视线跟踪系统对使用者的头部限制。改进了视线跟踪算法:依据直方图,给出了一种自适应阈值提取方法;依据瞳孔边界点的灰度信息、梯度信息及瞳孔边界曲线的平滑信息综合判据,给出了一种提取瞳孔边界点的一维算法;给出了一种随机化椭圆拟合算法;讨论了去除眼皮、眼睫毛及光斑干扰的方法。实验结果验证了算法的有效性。

关键词:视线跟踪;角膜反射;自适应阈值;直方图;椭圆拟合;校准中图分类号:TP391.41 文献标识码:A

E ye gaze tracki ng w ith one ca m era

LI U Ru i an 1,2

,JI N Sh i ji u 1

,SONG W ei 2

,Z HANG X i kun 2

,WU X i a o r ong

2

(1.S t ate K ey Laboratory of P recision M easuring T echnology and Instrumen ts ,T ianjin Un i ver sit y,T ianjin 300072,China;2.College of Phy sics and E lectronic Information S cience ,T ianjin N ormal University,T ianjin 300074,Ch i na )Abstract :A n eye g aze track i ng m ethod ,w hich can m ake this syste m be au t om atica lly adapted to ex terna l ligh ti ng

changes and the user s head movements free l y ,was put forward to all ev iate t he restr icti on on the user s head m ove m en ts .In th i s paper ,w e concentrated on development o f t he a lgo rith m s .Based on t he br i ght ness h i stogra m o f the eye i m age ,the adapti ve t hresho lds for pupil ex trac ti on and cornea l reflecti on we re ex tracted .O n the basi s o f t he br i ghtness ,grad i ent of the edge po ints o f the pup il and the s m oothness o f the pupil boundary ,t he edge po i nts coul d be ob tained by a 1D line sea rch .W e appli ed a new random ized m ethod of elli pse fitti ng to t he edge po i nts .A so l u ti on to cope w it h eye l ashes ,eye li ds and g li nts in the pup il area w as a lso d i scussed .Exper i m ents show that t he i m proved a l go rith m is effecti ve .

K ey words :eye ga ze tracki ng ;co rneal reflecti on ;adapti ve thresho l d ;histog ra m;e lli pse fitti ng ;ca libra tion

0 引言

眼睛是人类从周围世界中获取信息的重要器官,也是反

映人的心理活动的窗口。将视线应用于人机交互可带来直接性、自然性和双向性[1]等优点。眼注视是一种非常好的能使人机对话变得简便、自然的候选输入通道,将人的眼睛作为输入媒介,通过眼睛盯视对外部设备进行控制可以实现多任务操作,在一些工业控制、机器人学和临床医学上有着广泛的发展前景。

基于角膜反射原理和图像处理的视线跟踪技术,具有非侵入的优点,近年来取得了较快进展。该技术在用户头部不动情况下可获得较高精度,但对头动敏感。为减少对用户的限制,文献[2]使用超声技术测得CCD 和人眼之间的距离,文献[3]增加两个摄像机来获得眼睛的三维空间坐标。这不仅增加了系统复杂性,且系统精度受位置测量精度的局限。为减少对环境要求,系统[3~8]利用了明、暗瞳孔现象,但利用明暗图像差方法处理增加了定位误差。本文也利用明、暗瞳孔原理,但和以往系统不同,仅用于眼睛跟踪失败情况下的快速定位。

为提高算法速度和精度,目前视线跟踪算法普遍采用了阈值技术和椭圆拟合算法[5,6,9],但由于眼睛图像固有的噪声

干扰,特征阈值确定困难,椭圆拟合算法不稳定。本文主要针对上述问题,提出了一种能对环境光强变化、用户头部位置变化自动适应的视线跟踪方法,改进了阈值提取、特征检测、椭圆拟合等算法,实现了高精度视线跟踪。

1 眼睛结构与视线模型

图1 眼睛结构

眼睛结构如图1所示。在头部不动情况下,眼睛注视点的改变是靠眼睛转动来完成的。实验表明,眼球转动是一个

第26卷第9期

2006年9月

计算机应用

C o mpu ter App lications

V o.l 26No .9Sep.t 2006

很复杂的过程,即便是眼睛纯粹的水平方向的运动,也是在一轨道上作前后运动,而不是简单地作球体旋转。人眼视线为视网膜中间凹和晶体中心的连线方向。但由于眼睛晶体变化复杂,且测量视网膜中间凹位置很困难,通常将眼睛看作一围绕固定点转动的球体,旋转中心定义为当眼睛直视前方时,在视线上位于角膜后约13.5mm 处的点,此即为眼球中心,它与瞳孔中心的连线即为视线[10]。为了简化分析与计算,本文采用L e G rand 眼睛模型。视线估计方向为角膜曲率中心与瞳孔中心连线方向,如图2

所示。

图2 系统示意图及视线模型

2 系统原理与控制模型

系统采用角膜反射原理。近红外光源发出的光在用户眼睛角膜上形成高亮度反射点(g li nts ,普尔钦斑点)。作为参考点;当眼球转动注视屏幕上不同位置时,由于眼球近似为球体,光斑不动,瞳孔相对光斑发生偏移;利用瞳孔中心和光斑的位置关系确定视线方向。系统示意图如图2所示。

使用云台,摄像机能作二维扫描,保证用户眼睛始终在摄像机视场范围内。CCD 物镜采用电动三可变镜头,镜头前置带通滤光片去除可见光影响。CCD 捕获的眼睛图像通过图像采集卡,送计算机进行图像处理,提取瞳孔、光斑信息。捕获图像示意图如图3

所示。

图3 偏移量示意图

头前后移动,光斑2和光斑3间距离d =d 1+d 2发生变化;头水平移动,d 1和d 2大小比发生变化;头不动情况下,眼睛转动视线发生变化由位矢OP 反映。利用光斑2和光斑3的中间位置控制云台;以光斑2和光斑3的间距为依据调节镜头焦距,保证光学系统成像放大率不变,克服头部前后运动影响;利用光斑的灰度值来调节物镜光圈及LED 发光功率;依据瞳孔边界点的梯度平均值和光斑大小调节聚焦。由于头部运动,图像中眼睛丢失时,开大CCD 视场,关闭LED 2和LED3,此时仅LED1亮,它和CCD 光轴同轴,出现亮瞳孔现

象。而LED2和LED3打开时,对应暗瞳孔图像。利用明、暗

图像差法,可克服环境干扰,快速搜索到眼睛位置。控制信号通过计算机并口完成控制。图像处理及系统控制流程如图4所示。

图4 图像处理及系统控制流程

3 算法描述

3.1 自适应阈值提取

系统中视线方向由瞳孔中心和光斑的位置关系确定。要提取瞳孔和光斑,确定阈值非常关键。但由于头、眼运动、环

境影响及图像噪声,好的阈值很难确定。当眼睛处于不同位置时,环境光强很难保证不发生变化,确定的好的阈值对变化的环境光线很难是好的。很多系统由手工确定阈值,不仅繁琐,而且适应性差,影响后续算法性能。本文依据眼睛图像直方图,提出了一种自适应阈值提取方法,配合物镜光圈、LED 发光功率调节,使算法更加稳定。

图5 眼睛图像典型直方图

图6 瞳孔阈值提取

直方图是用于表达图像灰度分布情况的统计图表,对于

灰度图像,可返回每个灰度上的像素点数目(用y (n )表示,n 代表对应的灰度值)。由于眼睛图像含有噪声,直方图会出现杂乱峰、谷,需平滑处理。利用(1)式对直方图数据进行相邻三点平均低通滤波,得到的典型直方图如图5所示。

y s (n)=(y (n -1)+y (n)+y (n +1))/3

(1)

2102 计算机应用2006年

瞳孔阈值的自动提取:图5中,左边波峰对应瞳孔,往右

依次对应虹膜及光斑。瞳孔与虹膜峰间波谷处的灰度值为要提取的瞳孔阈值。寻找波谷,提取阈值的软件流程见图6。

光斑阈值的自动提取:眼睛图像中光斑最亮,据LED 、CCD 、人眼的空间位置,可估计出(或实验得出)图像中光斑像素数。对直方图从右向左搜索,待像素数和大于光斑像素数时,对应的灰度值作为光斑阈值。3.2 光斑定位与大小提取

图像中光斑面积小、亮度大、受干扰影响较小,采用圆模型处理。由前面得到的光斑阈值,在二值化图中粗定光斑中心x c ,y c 和初始半径值r =

ar ea /p i 。假定原图中光斑光强为二

维高斯分布,通过最小化(2)式确定光强下降最快之处对应的r [12]。

I (r + ,x c

,y c , )d

I (r - ,x c

,y c

, )d (2)

I (r,x,y, )为光斑边界点光强, =1。为防止丢失信息,取2.5r 对应区域作为光斑区域,包括了99%的光斑光强分布。在此区域采用带权重的 质心法!(像素点灰度值的二次方关系)计算光斑中心位置。试验表明阈值在较大区间变化情况下,光斑中心的定位精度优于0.02像素。3.3 瞳孔边界点提取

很多算法对整个眼睛图像利用边缘算子进行瞳孔边界提取,考虑到瞳孔边界只占图像很小部分,故这些方法时间开销大,效率不高。

本文依据光斑位置,确定瞳孔搜索区域。利用搜索窗内瞳孔二值化图粗定瞳孔中心,并作为搜索瞳孔边界的起始点,在不同方向上做一维扫描,在搜索线上感兴趣区域,结合像素点灰度值、梯度值及边界曲线的平滑特性,由(3)式通过寻找最大值,决定边缘点位置r ,提取边界点。

f (r )=k 0G (r )-k 1(I (r )-Ip )-k 2(r -r n-1)(3)

f 为判据函数,I (r)为搜索点灰度值,Ip 为瞳孔阈值,G (r )为搜索点梯度值,由一维梯度算子[-101]计算得到,r n-1为相邻搜索线上得到的边界点半径。k 0、k 1、k 2

为由试验定值的权重参数。

图7 去除瞳孔边界处干扰示意图

虽然瞳孔比虹膜要小,不容易被遮挡,但考虑到东方人眼敛常常张的不是特别开的特点,也常出现瞳孔被眼敛、眼睫毛部分遮挡。在眼睛及头部运动情况下,光斑有时落在瞳孔边界上或附近区域。在瞳孔边界点提取过程中,受遮挡影响及边界上的其他噪声(像阴影、光斑等),会产生一些虚假边界点,如图7中p 1、p 2点,其存在严重影响后续椭圆拟合算法,进而影响瞳孔中心定位,剔除虚假边界点,才能进一步提高定位精度。图7中P 1为粗定瞳孔中心,P 2为包含p 1、p 2时椭圆拟合中心,P 3为剔除p 1、p 2后的拟合中心。文献[11]利用两次椭圆拟合来去除干扰。S tarburst 算法

[12]

采用填充方法,将光斑删除,根据邻近区域灰度值对其

插值填充。上述算法复杂且耗时。根据光斑所处位置,将搜

索到的光斑附近的瞳孔虚假边界点直接剔除,简单省时。对眼敛遮挡,依据相邻边界点连线的导数变化情况,确定为虚假边界点后采用了类似处理方法。

3.4 随机化椭圆拟合

为抵抗噪声,提高瞳孔中心定位精度,视线跟踪算法普遍采用了椭圆拟合技术,依据最小均方差原则的最小二乘原理,对瞳孔边界点进行椭圆拟合提取瞳孔中心。最小二乘法是利用所有的边界点进行拟合,实验表明上述拟合算法对大噪声敏感,个别点的较大误差严重影响拟合性能。实际眼睛图像中不仅仅存在噪声,还有某些无法剔除的错误信息。因此,简单的最小二乘法效果较差,鲁棒性较强的方法有待发展。像T he il Sen 、R epeated M edian 方法[13],具有较强的抗噪性能,都是通过遍历所有可能的椭圆最小子集(能够确定一个椭圆的最小的点集,即5个不同的点集)实现的。这两种方法都非常消耗计算时间,大约是O (n 5),而且R epeated M edian 方法实现起来非常复杂。在离散数据中,往往需要取六个点才能确定一个椭圆(如本文中的眼睛图像)。根据上述两种算法的原理,本文提出一种计算量小、易于实现的随机化椭圆拟合算法。

算法步骤如下:对提取的瞳孔边界点集中每一个样点,从其补集中随机抽取5个样点,组成没有重复的样点子集(有6个相异点),计算该样点子集。若计算结果表明,拟合为非椭圆或椭圆参数不合理,则重复随机抽取和上述计算;若参数表明是合理椭圆,则保留参数。对每一个样点重复同样的操作,最后对所有保留的参数分别取各自的中值作为椭圆拟合的最后估计值。提出的算法计算时间复杂度约为O (n),在保证速度的前提下,提高了拟合算法的稳定性。3.5 校准

由于人眼形状、大小、结构存在个体差异(比如不同成年人眼球半径约有10%的差异,眼睛角膜曲率半径不同等),眼睛球面上的点在摄像机参照系中的投影点位置和眼睛转动角度之间存在非线性关系,并且视线估计方向与真实视线方向有模型误差,所以视线跟踪系统需要校准环节。

眼睛注视点的测量包括以下两个过程:

(1)给定一系列特定的注视点,如图8(a),当眼睛注视各点时,测量相应的瞳孔与光斑间位置相对偏移量,然后确定眼睛转动引起的注视点变化与偏移量间存在的映射关系。

(2)在实测过程中,如图8(b),根据检测到的眼睛图像中瞳孔中心和光斑间位置相对偏移量,计算出眼睛注视点。

图8 校准示意图

用(X s ,Y s )表示眼睛注视点的屏幕x 、y 坐标,(x p ,y p )表示瞳孔中心的图像x 、y 坐标,(x g ,y g )表示光斑参考位置的图像x 、y 坐标,

dx =x p -x g

dy =y p -y g

(4)

表示瞳孔中心与光斑的位置相对偏移量,通过多项式变

换建立映射关系。

f:(dx,dy )?(X s ,Y s )

2103第9期刘瑞安等:单摄像机视线跟踪

X s =a 0+a 1(dx )+a 2(dy )+a 3(dx )(dy )+a 4(dx )2+a 5(dy )2

(5)

Y s =b 0+b 1(dx )+b 2(dy )+b 3(dx )(dy )

+b 4(dx )2+b 5(dy )2(6)

每一校准点给出两个方程,9个校准点给出18个方程,可由最小均方差法定出12个未知参数。被测水平移动,得到不同位置变换参数,经插值运算后可用于实测。

4 实验结果

实验环境:一般办公室环境,人眼距离计算机屏幕55c m 左右,屏幕17英寸,分辨率是1280#1024pi x els 。18~40岁间10个被测(6男4女),头部基本不动情况下和正常移动情况下进行了两组试验。测量结果见表1。

表1 测量结果平均误差(像素

)

多次实验表明,头部基本不动情况下,对屏幕大部分区域,注视点定位精度优于0.5?视角,屏幕边上定位精度略低。头部正常移动情况下,也取得了1?左右的定位精度,且水平方向精度较高。

5 结语

提出了一种能对环境光强变化、用户头部位置变化自动

适应的视线跟踪方法,配以改进的视线跟踪算法,减少了系统在使用过程中对用户的限制,减少了系统参数设置,使系统使用较为便利。该技术可用于盯视输入系统,作为对键盘、鼠标等传统人机交互方式的补充,可应用于助残、机器人人机交互平台等。未来工作主要针对提高跟踪速度,简化校准环节展开研究,以实现真正的非接触、高精度、可应用于多领域的实用视线跟踪技术。参考文献:

[1] W ANG J.

Integration of eye gaze ,voice and m anua l res pon se in

m u lti m odal u ser i n terface [A ].

Proceed i ngs of I EEE Internati onal

Conference on Syste m s ,M an and C ybernetics [C ],1995.3938-3942.

[2] SUG I OKA A,EB I SA W A Y ,OHTAN IM.N oncon tact vi deo based eye gaze detecti on m et hod all o w i ng l arge head d i sp l ace m ents [A ].

I EEE In t ernet .Con.f on M ed i ci ne and B iol ogy Society[C ],1996.526-528.

[3] EB I SAWA Y.R ealti m e 3D positi on detecti on of hu m an pup il [A ].

VEC I M S 2004-I EEE I n ternati onal Conference on V irt ual Environ m en ts ,Hum an C o m pu ter In terfaces ,and M eas ure m ent Syste m s[C ],2004.8-12.

[4] Z HU Z W,J I Q .Eye and gaz e track i ng f or i n teractive graph i c d is

p lay[J ].M ach i ne V isi on and App lications ,2004,15(3):139-148.

[5] YOO D H,CHUNG M J .A novel n on i ntrus i ve eye gaze esti m ati on

us i ng cros s rati o under large head moti on [J].C o mpu ter V ision and I m age Understand i ng ,2005,98(1):25-51.

[6] NOUREDD I N B ,LA W RENCE PD ,M AN CF .A n on con tact device

for track i ng gaze i n a hum an co m puter i n t erf ace[J].Compu ter V i s i on and I m ageU nderstand i ng ,2005,98(1):52-82.[7] M ORI MOTO CH,KOONS D,A M I R A ,et a l .Pup il detecti on and

track i ng us i ng mu lti p l e li ght sources [J].I m age and V i s i on C o m pu ting ,2000,18(4):331-335.

[8] W EN G.Gaze track i ng us i ng on e fi xed ca m era [A ].Seven t h In ter

n ati ona lC onference on Con tro,l Au t omati on,Roboti cs And V i s i on [C ],2002.1409-1414.

[9] K I AT LC,RANGANATH S .One ti m e cali brati on eye gaze d etecti on

syste m [A ].

In ternati onal C on f eren ce on I mage P rocess i ng [C ],

2004.873-876.

[10] 赵乐军,王朝英,陈怀琛.头盔式眼动仪的标定与算法实现

[J].西安电子科技大学学报,1998,25(5):606-610.

[11] O HNO T ,M UKAWA N ,YOS H I KA W A A .Free Gaz e :a gaze

track i ng s yste m for everyday gaze i nteraction [A].In Proc .ofEye Track i ng Research and App licati ons Sy m pos i um [C ],2002.125-132.

[12] LI DH,W I NFI ELD D ,PARKHURST DJ .S tarbu rst :A hybri d al

gori thm for v i deo based eye track i ng co mb i n ing feat u re based and m od el b ased approaches [EB /OL].http ://hcv.l hc.i i astat e .edu /openE yes .

[13] ROS I N PL .Fu rther fi ve poi n t fi t elli pse fi tti ng[J].Graph i calM od

el s and I m age Processi ng ,1999,61(5):245-259.

(上接第2094页)

对立体赤足迹的相似性判别实验表明,该方法可有效地对曲面的相似性做出判别,但距离身份鉴别还有一定距离。下一步将提取其他特征,与3 DL I M 相结合,给出针对赤足迹的身份鉴别方法。参考文献:

[1] 孙东梅,裘正定.生物特征识别技术综述[J].电子学报,2001,

29(12):1744-1748.

[2] ROBB I NS L M.E sti m ati ng hei ght and w eight fro m s i ze of f ootpri n ts

[J].Journal ofForen sic S ci en ce ,1986,31(1):143-52.[3] KENNEDY RB .Un i quen ess of b are feet and its use as a pos s i b l e

m eans of i denti fi cati on [J ].Foren sic S ci en ce In ternati ona,l 1996,82(1):81-87.

[4] NAKA JI M A K ,M IZ UKAM I Y ,TANAKA K ,et a l .Footpri n t bas ed

personal recogn iti on [J].I EEE Tran s .on B io m ed i cal Eng i neeri ng ,

2000,47(11):1534-1537.[5] KENNEDY RB ,PRESSMAN S ,CHEN S ,et a l .S t ati sti cal anal ysis

of barefoot i m press i ons[J ].Journ al of Forens i c Sciences ,2003,48

(1):55-63.

[6] J UNG J W,SATO T ,B I EN Z .Dyna m i c f oot p ri nt b ased person rec

ogn ition m et h od u si ng a h i dden m arkov model and a neu ral net work [J].Inter n ati on al Journ al In t elli gent Syste m,2004,19(11):1127-1141.

[7] 丁益洪.立体足迹三维曲面分割与识别[D ].郑州:信息工程大

学,2006.

[8] Z HANG X M,ROS I N PL .Sup erelli pse fitti ng t o partial data [J ].

Pattern Recogn i ti on,2003,36(3):743-752.

[9] 田越.基于曲线形状分析的三维表面识别[D].郑州:信息工程

大学,1997.

[10] 柳葆芳,肖菁,平西建,等.三维表面的曲面描述与相似性判别

[J].中国图象图形学报,2001,6(2):199-203.

[11] 苏步青,华宣积.实用微分几何引论[M ].北京:科学出版社,

1986.

[12] 张系国.图像信息系统设计原理[M ].吴健康,译.北京:科学

出版社,1990.

2104

计算机应用

2006年

基于标记点检测的视线跟踪注视点估计

基于标记点检测的视线跟踪注视点估计 龚秀锋，李 斌，邓宏平，张文聪 (中国科学技术大学电子科学与技术系，合肥 230027) 摘 要：传统的头戴式视线跟踪系统需要借助额外的头部位置跟踪器或其他辅助设备才能定位视线方向。针对该问题，提出一种基于标记点检测的注视点估计方法。该方法通过计算机视觉的方法检测标记点，建立场景图像与真实场景中计算机屏幕之间的空间关系，将场景图像中的注视点坐标映射到计算机屏幕中。实验结果表明，该方法简单易行，可以较好地估计出用户在真实场景中的注视点坐标。 关键词：视线跟踪；注视点估计；头戴式视线跟踪系统；标记点检测 Eye Tracking Gaze Estimation Based on Marker Detection GONG Xiu-feng, LI Bin, DENG Hong-ping, ZHANG Wen-cong (Department of Electronic Science and Technology, University of Science and Technology of China, Hefei 230027, China) 【Abstract 】For head-mounted eye gaze tracking, additional head position sensors is needed to determine the gaze direction, a new method based on marker detection is proposed to estimate the gaze of point for head-mounted system in this paper. The markers are detected by computer vision method, and the relationship between scene image and computer screen is constructed with point correspondences in two views. The point of gaze in the scene image is translated to computer screen coordinate. Experimental result shows that this method can estimate the point of gaze in real scene easily irrespective of user’s head position. 【Key words 】eye tracking; gaze estimation; head-mounted eye tracking system; marker detection DOI: 10.3969/j.issn.1000-3428.2011.06.100 计 算 机 工 程 Computer Engineering 第37卷 第6期 V ol.37 No.6 2011年3月 March 2011 ·开发研究与设计技术· 文章编号：1000—3428(2011)06—0289—02文献标识码：A 中图分类号：TP391 1 概述 视线跟踪系统是通过视频设备监控眼球运动状态，估计眼睛的视线方向或注视点的设备。眼睛的视线方向或注视区域通常反映了人感兴趣或引起注意的内容，因此，视线是一种非常好的人机交互输入通道[1]。近些年来，视线跟踪技术作为人机交互接口已经引起国内外广泛的研究。 头戴式视线跟踪系统是将眼部摄像头和场景摄像头等硬件固定在头盔或者镜架上，允许用户头部自由活动的一类视线跟踪设备。头戴式视线跟踪系统提供的注视点坐标是位于场景摄像机的像平面内而不是在真实场景中，用户不能直接与真实场景交互。一般情况下，头戴式视线跟踪系统需要配合头部姿态定位仪才能准确定位视线方向。如文献[2]采用在头顶固定一个磁感应器检测头部位置。采用附加头部位置跟踪装置的方法，不仅增加了系统的复杂度，也会将头部定位的误差引入系统中，降低系统的精度。 本文提出一种基于计算机视觉的标记点检测的头戴式视线跟踪系统注视点估计方法。在位于场景中的计算机屏幕四周设置若干标记点，实时检测场景图像中标记点的坐标位置，并与标记点在屏幕中的坐标组成点对应，利用射影变换技术建立场景图像与计算机屏幕之间的映射关系，通过该映射关系将注视点在场景图像中的坐标转化成在计算机屏幕中的坐标，最终计算出用户在真实场景中的注视点。 2 头戴式视线跟踪系统模型 基于标记点检测的头戴式视线跟踪系统如图1所示。眼 部摄像头和场景摄像头固定在头部前方，眼部摄像头实时采集眼部图像，场景摄像头实时并且与眼部摄像头同步的采集 视线前方的场景图像。通过场景摄像头，将随头部转动而相对变化的场景转化为相对于头部静止的场景图像。因此，通 过标定程序建立场景图像和眼部图像的映射关系，计算出每帧场景图像中的注视点[3]。本文通过建立场景图像坐标和真实场景中计算机屏幕的空间映射关系，计算用户在真实场景 图 1 头戴式视线跟踪系统 2.1 场景图像和计算机屏幕之间的映射模型 如图1所示，计算机屏幕通过场景摄像头拍摄成场景图像。计算机屏幕与场景图像中的对应点满足三维到二维的摄像机投影映射关系，采用摄像机的针孔模型，空间中的点与2D 像平面中对应点满足[4]： 34X x Y y P Z w T ×?? ???????? =???????????? ?? (1) 如果所有的点都在同一平面(Z =0)，则式(1)简化为： 33x X y P Y w T ×???????? =???????????? (2) 基金项目：国家自然科学基金广东联合基金资助项目(U0835002) 作者简介：龚秀锋(1984－)，女，硕士研究生，主研方向：视线跟踪，模式识别；李 斌，副教授、博士；邓宏平、张文聪，博士研究生 收稿日期：2010-07-21 E-mail ：gxiufeng@https://www.wendangku.net/doc/7611890041.html,

视线跟踪技术在人机交互中的研究

摘要：人们在观察外部世界时眼睛总是与其它人体活动自然协调地工作,并且眼动所需的认知负荷很低,人眼的注视包含着当前的任务状况以及人的内部状态等信息,因此眼注视是一 种非常好的能使人机对话变得简便、自然的候选输入通道.本文介绍了视线跟踪的基本原理、方法,对视线跟踪作为人机交互通道所具有的特点进行了讨论,并指出了其在人机交互领域 中的应用及前景. 关键词：人机交互;视线跟踪;多通道用户界面 目前用户界面所使用的任何人机交互技术几乎都有视觉参与。早期的视线跟踪技术首先应用于心理学研究(如阅读研究)，后被用于人机交互。眼动在人的视觉信息加工过程中，起着重要的作用。它有三种主要形式：跳动(Saccades), 注视(Fixations)和平滑尾随跟踪( Smooth Pursuit)。在正常的视觉观察过程中，眼动表现为在被观察目标上一系列的停留及在这停留点之间的飞速跳动，这些停留一般至少持续100ms以上，称为注视。绝大多数信息只有在注视时才能获得并进行加工。注视点间的飞速跳跃称为眼跳动。眼跳动是一种联合眼动（即双眼同时移动），其大小为1到40 度视角，持续时间为30到120ms，最高运动速度为400-600度/秒。 视线跟踪精度与在测量时对用户的限制和干扰就是一对矛盾.在多通道用户界面设计中，减少这种限制和干扰是非常重要的,视线作为交互装置最直接的用处就是代替鼠标器作为一种指点装置。 一、视线跟踪的基本原理、方法 视线跟踪技术及装置有强迫式（intrusiveness）与非强迫式(non-intrusiveness)、穿戴式与非穿戴式、接触式（如Eyeglass-mounted）与非接触式(Remote)之分；其精度从0.1°至1°或2°不等，制造成本也有巨大差异。在价格、精度与方便性等因素之间作出权衡是一件困难的事情，例如视线跟踪精度与对用户的限制和干扰就是一对尖锐的矛盾。有关视觉输入的人机界面研究主要涉及两个方面:一是视线跟踪原理和技术的研究;二是在使用这种交互方 式后,人机界面的设计技术和原理的研究. 眼睛能平滑地追踪运动速度为1到30度/秒的目标，这种缓慢、联合追踪眼动通常称为平滑尾随跟踪。平滑尾随跟踪必须有一个缓慢移动的目标，在没有目标的情况下，一般不能执行这种眼动。在人机交互中，主要表现为跳动和注视两种形式。而主要的视线跟踪技术方法如图所示：

关于目标自动跟踪智能摄像机的探讨汇总

关于目标自动跟踪智能 摄像机的探讨 【摘要】：智能一体化球型摄像机在视频监控领域发挥着越来越重要的作用,而目标检测与自动跟踪逐渐成为球型摄像机的一个重要发展方向。本文实现了智能球型摄像机控制系统软件功能,并在PC上实现了目标检测,在此基础上将检测到的目标信息处理后通过PC串口发送给球型摄像机,球型摄像机控制云台运动,从而实现目标跟踪.以自动跟踪为特点的球型摄像机被誉为“解放人力的运动的跟踪技术”，采用这种摄像机的监控系统可以智能地探测、跟踪运动目标，实现对运动目标的自动跟踪、录像、报警，彻底改变了视频监控系统只能作为辅助系统的局面。 【关键词】智能球形摄像机；目标检测；自动跟踪 一、概述 智能追踪高速球型摄像机是专为IP网络监控系统而设计的.搭载新一代电子活动目标识别和追踪技术，实现全方位无盲点监控.代表新一代安防监控产品的发展潮流。集成了全天候防护罩、云台和数字解码器及多种变焦功能的彩色／黑白一体化摄像机。全天候防护罩符合国际标准IP66防护等级，内置自动恒温装置。可适用于恶劣环境，安装方式采用吊装或壁装。球机可在水平方向实现360°无限位旋转，垂直方向180°旋转。 智能追踪高速球型摄像机支持自动追踪、定时追踪、越界追踪、报警追踪四种追踪模式的设置。也支持手动追踪模式。用户可以根据自己的需求进行灵活编排。智能追踪高速球型摄像机支持系统接力追踪，当某个智能追踪球的活动目标逃离当前追踪画面，系统自动通知附近路线的智能追踪球启动追踪模式或者通知周围的普通摄像机启动活动目标检测功能。从而实现了球机到球机、球机到枪机、枪机到球机、枪机到球机的智能接力追踪。同时智能追踪高速球型摄像机支持绊线检测功能。用户可以在画面上设置虚拟的周界，当有活动目

基于视线跟踪技术的职业素质测评模式

《商场现代化》2012年10月（下旬刊）总第699期图1视线跟踪技术图2视线信息人力资源 基于视线跟踪技术的职业素质测评模式 ■杜鹏 大连海洋大学文法学院 基金项目：国家自然基金课题（71072085）；云南省教育厅科学研究课题（2011Y329）；云南省哲学社会科学规划课题（QN201116）；大连海洋大学教改项目课题（JG2011YB35） [摘要]如何有效客观测评员工职业素质，是当前国内外一个重要研究课题。本文首次创新性提出基于视线跟踪技术的职业素 质测评模式，该模式能客观的考察员工职业知识的掌握程度，而且能进一步测评被测试者的思维模式、 思维习惯等隐性的职业素质能力，这些信息能更加全面客观地测评员工的职业素质。本文的研究不论对今后职业素质测评模式研究还是对企业人员招聘，都有重要的理论及实际意义。 [关键词]视线跟踪职能能力视线信息环视线轨迹 职业素质（Professional Quality ）是劳动者对社会职业了解与适 应能力的一种综合体现，主要包括职业兴趣、 职业素质、职业个性及职业情况等方面。影响和制约职业素质的因素很多，例如：受教育程度、实践经验、社会环境、工作经历以及自身的一些基本情况。职业素质测评：是指测评主体从特定的人力资源管理目的出发，运用各种测量技术，收集受测人在主要活动领域中的表征信息，对人的素质进行 全面系统的评价，以求对人有客观、 全面、深入的了解，从而为人力资源开发和管理提供科学的决策依据。 目前的测评方法主要有：1.公文筐测验：是对实际工作中管理人员掌握和分析资料、处理各种信息以及做出决策的工作活动的抽象和集中。2.无领导小组讨论：是评价中心常用的一种无角色群体自由讨论的测评形式。3.管理游戏：在这种测评中，各位被试人置身于一个模拟的环境中，面临一些管理中常常遇到的各种现实问题，并被分配一定的任务，但这些问题必须合作才能较好地完成。4.角色扮演：在这种测评活动中，主试人设置了一系列尖锐的人际矛盾与人际冲突，要求被试者扮演某一角色并进入角色情境去处理各种 问题和矛盾。 以上方法比较有效的测评被测试了人员的职业素质能力，但是目前很多职前教育机构和培训机构为应对公司和企业对员工的职业素质的测评，为被测评者提供职业素质水平测评的题库和答案以及应对的技巧，使得这些职业素质能力测评在一定程度上失去客观性。 如何能有效的测评职业素质，是目前国内外非常关注研究的课题，而国内外目前研究方向多集中在测评题目的设定和心理学分析上，虽有了一定的成效，但没有突破原有的测评方法，效果一般。本文突破性地提出了基于视线跟踪技术的职能素质测评模式，该模式增加了测试信息的获得量并更大程度的保证了测试的客观性，而且这种测试方法能有效地规避职前教育机构和培训机构对测试人员的培训技巧。 一、视线跟踪技术 人类对外界信息获取过程中，信息摄取和辨析在很大程度上依赖视觉信息，约有80%～90%的外界信息通过人的眼睛获得。由于人的视线具有直接性、自然性和双向性等其它信息所无法具备的特点[1]，使得视线信息在人类对各种信息的利用中具有更高的权重和信服性。 如图1所示视线跟踪技术是利用摄像技术、光学原理、图像处理、 三维建模等技术分析出观察者视线的轨迹并跟踪其变化，最终获得其中的各种视线信息。随着视线跟踪技术的逐步成熟，视线跟踪技术也开始应用的越来越广泛。例如警察的预审研判系统，医疗的心理咨询，商业的广告测评、货架排放测评，残疾人的视觉轮椅，交互功能的家用电器，虚拟现实和游戏等领域。 而本文创新性的首次将视线跟踪技术应用到了员工职业素质测评中，下文将详细论述在职业素质测评过程中，通过视线跟踪技术能获得的各种隐性信息以及这些信息对职业测评的作用。 二、职业素质测评中的隐性信息传统的职业素质测评方法中，通过测评的考题所能获得的信息有限，不能全面客观反应出被测试人员的职业素质能力，例如作弊或应用面试应 对技巧时，传统测评便不能反映员工 的职业素质。 职业素质测评中除答题信息外还 存在着很多隐性信息。 通过视线跟踪技术，获得被测试者测评过程中的各种视线变化信息，如图2所示，本文将这些信息分为视线信息环、视线轨迹信息、视线驻留时间信息。通过这些信息的数 据挖掘，可分析出被测评者在测评中的 思维模式，看问题的侧重点，观察事物的顺序等隐性信息。结合这些隐性信息就可客观全面反映出被测试者职业素质能力。 1.视线信息环。由于人眼的构造结构决定，人在观看事物时，不可能只观察一个点，而是以眼球的视轴为中心形成环形的信息面，我 们把这些环形的信息面称作视线信息环，如图2所示， 视线信息环的中心，观察者获得的信息较多，而从视线环中心越向外获得的信息越少。在职业素质测评中，我们可以通过分析被测评人员观察题目信息时的信息环，获得更多的职能能力测评信息，例如，如果在职能力测评中，被测评者在测评信息屏幕上视线留下各个信息环中，没有覆盖正确答案的信息环，可以说明被测评者在对题目的解答时可能是抄袭或者是随意蒙选。 2.视线驻留时间。人类在观察事物的过程行为中，表现出来的是眼球在一系列视线信息环上的停留以及在这些视线环上跳动，当在 视线环上的停留时间在100毫秒 （ms ）以上时，人才能通过视觉观察事物获得外界信息。 我们通过视线跟踪技术，可以获得被测评人员在职业素质测评时，屏幕上留下每个视线环上的驻留时间，而通过对这些信息可以分析出被测评人员对特定信息的反应时间并协助判断测评人员对事物的关注点。 3.视线轨迹信息。注视点之间的飞速跳动称为眼球跳动。眼球的 跳动（saccades ） 由巴黎大学的Javal （1897）教授发现。例如在阅读文章或看一个物体时，人们往往认为自己的眼睛是沿着一行句子或图形的形状平滑地运动。事实上，我们的眼睛总是先在对象的一部分上停留一段时间，注视以后又跳到另一部分上，再对新的部分进行注 视。人眼在观察事物时眼球在视线信息环间的跳动，会形成移动的轨迹，我们把这样的轨迹信息称为视线轨迹信息。 在职业素质测评的过程中，我们可以通过对被测评人员观察事物的视线轨迹信息的分析，了解到被测评人员的思维模式，而对多个这种思维模式的分析可以了解到被测评人员的思维习惯。这些信息的获得，更加有利于员工职业素质的测评。 85

会议摄像跟踪

会议摄像跟踪系统方案 一、系统概述 顺泰伟成语音激励会议录播系统采用先进的、主流的技术，对行业应用进行专业研发主要用于会议视频摄像系统、麦克风拾音系统的自动控制和管理。通过语音激励实现视频拍摄画面对应的数字编程，麦克音频通道优先权的设定，满足在会议过程中采用通讯型多点电子定位会议跟踪摄像机，对现场发言人进行特写画面的自动跟踪拍摄，满足会议视频自动采集需要。 二、系统功能 信息采集 会场内配置4台高清摄像机（最多 支持8台摄像机），分别放置于与 会代表的两端（拍摄两端与会代 表）、会场后端（拍摄会议主席）、 会场对角处（拍摄会议全景），高 清摄像机支持多角度拍摄，焦距可 自动调节，全方位记录会议现场。 会议互动 通过网络技术实现远程会议/多个 会议是进行互动交流，提高会议效 率。 多重数据保障 支持双光盘和硬盘同步直刻，支持通 过外接U盘和硬盘备份，也可以实 时的同步的上传到后台管理服务器，

对会议现场的音视频信息进行独立备份，支持断电恢复，当出现意外断电或故障的时候录像的内容不会丢失，保障数据安全 音视频管理 支持会议过程中各种声音的混音处理； 支持多画面合成。多画面同屏编辑视窗的数 字设定，根据采用摄像机的数量，对合成画 面进行画中画、三画面、四画面、五画面、 六画面、七画面、八画面任意编辑组合。利 用语音激励声控方式、对发言人的特写画面的默认全景切换； 支持光盘刻录。实时对会议信息（包括会议录像、讲稿展示、与会者发言等信息）进行一画面或多画面光盘刻录，用于随卷归档等用途。应具有光盘封盘、防擦写、防篡改、防剪辑等安全保护措施。

三、系统说明 1、系统连接图 2、会议室布局图

人机交互论文—视线跟踪技术

目录 1 引言 (1) 2 视线跟踪技术概述 (2) 3 视线跟踪的基本原理 (2) 4 视线跟踪技术分析 (3) 4.1常见视线跟踪技术 (3) 4.1.1 眼电图法 (3) 4.1.2巩膜接触镜/ 搜寻线圈法 (3) 4.1.3照片图像法(POG)、视频图像法(VOG ) (4) 4.1.3.1角膜- 巩膜异色边缘反射法 (4) 4.1.3.2 角膜反射法 (4) 4.1.3.3双普金野象法 (4) 4.1.3.4基于视频结合瞳孔和角膜反射的方法 (4) 4.2各种方法的比较 (5) 5 视线跟踪技术在人机交互通道中的特点 (6) 6视线跟踪方法的研究趋势 (6) 7 视线跟踪技术在人机交互领域中的应用及前景 (7) 8 小结 (9) 9 参考文献 (9)

视线跟踪技术及其应用 摘要：本文介绍了研究、应用视线跟踪技术的必要性,回顾了视线跟踪技术的研究历程,概述了主要的视线跟踪技术及其原理，比较各种视线跟踪技术的优缺点。重点探讨了当前常用的基于视频的瞳孔-角膜高光向量法的原理和技术,并介绍了视线跟踪技术的研究方向和发展趋势。最后对视线跟踪技术在人机交互、智能机器等领域的应用前景进行了介绍和展望。 关键词：视线跟踪研究方向人机交互 1 引言 随着对人机交互技术研究的不断深入,多通道的交互备受关注，人机界面更强调“以人为中心”的原则,使用户能运用各种感觉通道以最自然的方式和计算机交互。 现有的人机交互输入绝大多数通过鼠标、键盘等实现,这些输入需要视觉或听觉接收输出信息相配合。此外,语音识别输入技术在逐渐成熟；而对身体姿势的理解、触觉的输入输出等技术在智能虚拟现实环境中得到了较多的研究。 人们在观察外部世界时眼 睛总是与其它人体活动自然协 调地工作,并且眼动所需的认 知负荷很低,人眼的注视包含 着当前的任务状况以及人的内 部状态等信息,因此眼注视是 一种非常好的能使人机对话变 得简便、自然的候选输入通道。 由于常见的上下文信息还隐藏于我们的视线中,视线反应了我们感兴趣的对象、目的和需求，具有输入输出双向性特点。视线检测使得抽取对人机交互有用的信息成为可能,从而实现自然的、直觉的和有效的交互,因此,对视线跟踪技术及其在人机交互中应用的研究具有特殊的价值。 目前,视线跟踪技术和对视线所蕴含信息的理解还处在实验研究阶段。

华为视讯智能跟踪摄像机VPT300 产品概述

VPT300智能摄像机V500R003C10 产品概述 文档版本发布日期01 2017-01-05 华为技术有限公司

版权所有?华为技术有限公司2017。保留一切权利。 非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。 商标声明 和其他华为商标均为华为技术有限公司的商标。 本文档提及的其他所有商标或注册商标，由各自的所有人拥有。 注意 您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。除非合同另有约定，华为公司对本文档内容不做任何明示或默示的声明或保证。 由于产品版本升级或其他原因，本文档内容会不定期进行更新。除非另有约定，本文档仅作为使用指导，本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。 华为技术有限公司 地址：网址：北四环中路229号海泰大厦616 https://www.wendangku.net/doc/7611890041.html,

前言 概述 本文档描述了HUWEI VPT300智能摄像机的产品定位、特点、组网应用以及技术参数 指标。 读者对象 本文档主要适用于以下用户阅读： ● 最终用户 代理商 ● 符号约定 在本文中可能出现下列标志，它们所代表的含义如下。 符号说明 用于警示紧急的危险情形，若不避免，将会导致人员死亡或严重 的人身伤害。 用于警示潜在的危险情形，若不避免，可能会导致人员死亡或严 重的人身伤害。 用于警示潜在的危险情形，若不避免，可能会导致中度或轻微的 人身伤害。 用于传递设备或环境安全警示信息，若不避免，可能会导致设备 损坏、数据丢失、设备性能降低或其它不可预知的结果。 “注意”不涉及人身伤害。 用于突出重要/关键信息、最佳实践和小窍门等。 “说明”不是安全警示信息，不涉及人身、设备及环境伤害。

深度分析眼动追踪技术

深度分析眼动追踪技术 著名科学家霍金教授生前因患有肌肉萎缩疾病，几乎完全瘫痪，既不能通过双手，也不能通过语言与外界沟通。因特尔研究院的技术专家经过长期努力，研发出一款环境感知辅助系统，最终有效改善了这位科学天才与世界的沟通方式。霍金使用的智能输入法，其里面就含有眼球追踪以及面部肌肉识别等技术，正是由于这项的技术的实现，让霍金打字或者演讲的效率提高了好几倍。 视觉追踪技术也称为眼动追踪技术，就是追踪眼睛的运动。准确来讲就是通过图像处理技术，定位瞳孔位置，获取瞳孔中心坐标，并通过某种方法，计算人的注视点，让电脑知道你正在看什么。 眼睛是心灵的窗口，透过这个窗口我们可以探究人的许多心理活动的规律。人类的信息加工在很大程度上依赖于视觉，来自外界的信息约有80 %～90 %是通过人的眼睛获得的。因此对于"人是如何看事物" 的科学研究一直没有间断过。关于这一点，对于眼球运动( 以下称眼动) 的研究被认为是视觉信息加工研究中最有效的手段。 眼动追踪技术属于机器视觉的一种技术，通过对眼动轨迹的记录从中提取诸如注视点，注视时间和次数，眼跳距离，瞳孔大小等数据，从而研究个体的内在认知过程。它利用软件算法、机械、电子、光学等各种检测手段获取受试者当前视觉注意方向的技术，通过图像传感器来捕捉到眼球的图像，根据图像的处理来识别每个人的眼球瞳孔里的特征，通过这些特征实时地反算出看屏幕的注视点。 眼动追踪技术的历史 早在19世纪就有人通过考察人的眼球运动来研究人的心理活动，通过分析记录到的眼动数据来探讨眼动与人的心理活动的关系。眼动仪的问世为心理学家利用眼动技术探索人在各种不同条件下的视觉信息加工机制，观察其与心理活动直接或间接奇妙而有趣的关系，提供了新的有效工具。

基于单摄像机视线跟踪的眼控鼠标

基于单摄像机视线跟踪的眼控鼠标? 刘瑞安1, 2+，靳世久1，吴晓荣2 1(天津大学 精密测试技术及仪器国家重点实验室，天津 300072) 2(天津师范大学 物理与电子信息学院，天津 300074) 摘 要：提出一种能对用户头部位置变化自动适应的视线跟踪方法，减少了系统对使用者的头部限制。依据瞳孔边界点的灰度信息、梯度信息及瞳孔边界曲线的平滑信息综合判据，给出了一种提取瞳孔边缘点的一维算法；为提高系统的分辨率和精确度，提出了一种眼睛红外图像中瞳孔亚像素边缘检测与中心定位算法。利用眼睛角膜反射光斑和瞳孔中心的位置关系来确定视线方向，推导出人眼在计算机屏幕上的注视点，进而实现人眼对鼠标的定位与操作，其在显示屏上定位精度可达到40像素以内。 关键词：视线跟踪；眼控鼠标；角膜反射；边缘检测；亚像素；椭圆拟合 1. 引言 眼睛是人类从周围世界中获取信息的重要器官，也是反映人的心理活动的窗口。将视线应用于人机交互可带来直接性、自然性和双向性[1]等优点。眼注视是一种非常好的能使人机对话变得简便、自然的候选输入通道，将人的眼睛作为输入媒介，通过眼睛盯视，对外部设备进行控制可以实现多任务操作，在一些工业控制、机器人学和临床医学上有着广泛的发展前景。 目前，人机交互已成为计算机科学研究的一个越来越重要的领域。在个人电脑飞速发展的今天，鼠标一直是最为重要的人机交互设备之一。而眼控鼠标是利用图像处理技术对捕获的眼睛图像进行处理，提取人眼视线方向及注视点位置，进而实现人眼对鼠标的定位与操作。视线跟踪技术是未来智能人机接口的关键技术之一，在人机交互领域有着广阔的应用前景。国际上一些公司与科研机构正致力于眼控鼠标的开发与研究，日本净冈大学的海泽嘉教授开发出一种可以用眼球控制的鼠标系统；布拉格捷克技术大学的研究人员也推出了一款可用眼睛控制电脑的操作系统。 视线方向的识别、跟踪，是实现眼控鼠标的关键技术。而利用角膜反射原理的视线跟踪技术，具有非侵入的优点，近年来取得了较快进展，人们也进行了将该技术应用于人机交互领域的大量研究工作[2,3]。该技术在用户头部不动情况下可获得较高精度，但对头动敏感。为减少对用户的限制，Sugioka[4]使用超声技术测得CCD和人眼之间的距离，Ebisawa[5]增加两个摄像机来获得眼睛的三维空间坐标。这不仅增加了系统复杂性，且系 * 基金项目：天津市高等学校科技发展基金项目（20051017） * 刘瑞安，Email: wdxylra@https://www.wendangku.net/doc/7611890041.html,

自动跟踪球型摄像机系统测试报告

自动跟踪系统测试报告 测试目的 为了实际了解自动跟踪系统的性能，利用公司现有资源及场地，对天地伟业公司配套的自动跟踪系统进行测试和分析。方案设计部和工程部希望通过此次测试，发现项目设计和实施过程中的难点、隐患点，技术薄弱环节等问题的相应解决方案，为今后库尔勒项目的开展和实施做好充分的准备。 测试系统与环境 系统由自动跟踪高速球型摄像机、DVR、服务器组成。 测试环境在公司内部对平安城市项目的偏僻处与实施区域进行模拟并测试：

基本功能测试 测试系统自身基本功能，并通过对各种环境、天气状况、场景复杂程度的观察和模拟，测试系统在多变环境下工作的稳定性、识别效能、适应性等指标，充分了解系统的使用范围和阻抗能力。 一、自动跟踪功能 自动跟踪功能多用于人流较少的重要区域，对于入侵范围内的移动元素，进行跟踪。可根据用户需要，作出输出报警、抓拍告警图片、录制入侵录像等联动作为依据。自动跟踪功能对限定区域的安全起到监视作用。 1、光照条件好的晴好白天环境。 测试地点定于公司13楼走道、14楼顶空旷处，执行自动跟踪检测数次，测试效果如下： 第一组测试：

第二组测试： 第三组测试：

在此环境下，自动跟踪球机能较快速的检测和识别出画面出现的移动目标，并对目标进行跟踪，并输出报警信息。多个目标同时出现时，自动跟踪会出现随机性，球机先对其中一个目标进行跟踪，如果另一个目标还没超出监控范围，球机将会跳到另一个目标继续跟踪。 2、光照条件不好的阴雨白天环境 测试地点相同，执行自动跟踪检测数次，测试效果如下： 第一组测试： 第二组测试：

第三组测试： 在此环境下，自动跟踪球机对目标出现后的识别反应较慢，对目标的检测灵敏度不高，当目标有较大的移动幅度时，球机能检测出目标。球机在大雨中会出现视频被遮挡的情况，球机的检测反应速度被大大降低，经常出现误报。 2、晴朗的夜间环境 测试地点相同，执行自动跟踪检测数次，测试效果如下： 第一组测试： 第二组测试：

人机交互论文—视线跟踪技术

目录 1引言....................................................... 1.. 2视线跟踪技术概述............................................ 2. 3 视线跟踪的基本原理 ............................ 2. 4视线跟踪技术分析........................................... 3. 4.1常见视线跟踪技术..................................... 3. 4.1.1眼电图法........................................ 3. 4.1.2巩膜接触镜/搜寻线圈法 (3) 4.1.3照片图像法（POG）、视频图像法（VOG ） (4) 4.1.3.1角膜-巩膜异色边缘反射法 (4) 4.1.3.2角膜反射法 (4) 4.1.3.3双普金野象法 (4) 4.1.3.4基于视频结合瞳孔和角膜反射的方法 (4) 4.2各种方法的比较........................................ 5. 5视线跟踪技术在人机交互通道中的特点. (6) 6视线跟踪方法的研究趋势..................................... 6. 7视线跟踪技术在人机交互领域中的应用及前景. (7) 8小结....................................................... 9.. 9参考文献.................................................... 9.

解析摄像机移动跟踪技术的原理与方式

解析摄像机移动跟踪技术的原理与方式 1移动跟踪技术原理 移动跟踪技术是在智能识别的基础上，对图像进行差分计算，自动识别视觉范围内目标的运动方向，并自动控制云台对移动目标进行跟踪目标在进入智能高速球的范围到离开的这 段时间内，通过所配置的高清晰自动变焦镜头，使所有动作都被清晰地传送到监控中心。而一旦某个区域发生报警时，其它相关的智能高速球将自动旋转到报警点开始追踪，保证监控图像能够记录目标物体的移动全过程。对监控球机来说，移动跟踪功能可以不需要通过后端的软件平台去控制，只要在前端就可以自动完成跟踪的任务。当目标物体进入该球机视觉范围时，球机可自动识别目标运动的方向，并自动控制云台旋转，对移动目标进行追踪，使物体位于籠－面中央，同时可自动对目标进行放大。自动跟踪持续到目标离开球机的可视范围，球机返回原观测点准备下一次跟踪。自动跟踪技术的实现完全是基于其特有的功能模块，智能高速一般由动力机构、精密传动装置、摄像头、数字解分组成。机械设计结构紧凑轻巧，定位精度和可靠性高，这使得智能监控摄像机能够快速、准确地进行自动跟踪，即可任意定位，又可以全范围自动巡航，实现真正的无盲点监控。另外，智能高速球摄像机的镜头部分一般会选择高性能的镜头，光学变焦

倍率一般可达20倍以上。这使得摄像机可以针对跟踪目标 进行自动变焦及聚焦，当目标与摄像机的距离发生变化时，还能够自动调整焦距，以保证目标物体在画面中的合适比例，在锁定目标物体的同时，达到高清晰监控的目的。但是，由于监控环境的复杂性，光达到上述的要求还是不够的，在跟踪监控过程中，会出现多个移动物体的情况，这很有可能造成监控不准确的问题。针对上述问题，第二代移动跟踪技术采用了锁定跟踪的方法，即操作者指定目标后，智能高速球会自动跟踪物体的移动轨迹，针对特定人物或物体，摄像机可以进行锁定跟踪，即使有其他的人或移动物体进入摄像机的监控范围，摄像机也不会跟丢之前锁定的目标物体。在人流量较大广场，只要手动锁定被跟踪的目标之后，就不会出现因外部原因而造成的跟踪不准确的现象。与此同时，针对监控目标突然消失的特殊情况，有些监控摄像机设定了相关物体消失之后的三种选择，第一种是在消失的地点持续跟踪；第二种是可以放大至最佳跟踪倍率后，持续跟踪目标移动物体；第三是中断自动跟踪后，可以放大至起始点的跟踪倍率。2移动跟踪的方式 所以，根据上面的原理，我们可以将移动跟踪主要划分为区域自动跟踪和锁定精确跟踪两种方式。区域跟踪：指如果有物体进入监控摄像机的设定区域，则跟踪其运动轨迹，跟踪超出范围后，监控摄像机自动返回，并在观测点进行新一轮

移动设备视线跟踪技术研究进展

Computer Engineering and Applications 计算机工程与应用 2018，54（24）1引言视线跟踪技术（Eye-Tracking Technology ）最早可以追溯到19世纪初，但直到1901年，Dodge 和Cline 才使用有记载的第一台眼动仪，客观定量地测量了眼睛运动[1]。之后，视线跟踪技术经历了从干扰式到非干扰式的发展历程。过去40年视线跟踪技术已渐趋成熟，相关研究取得了很大的成就，逐渐开始应用在工业控制、机器人学、临床医学及大众消费品等领域。随着移动设备与台式计算机等固定设备技术上的缓慢融合，移动电子产品在人们生活和工作中越来越重要。虽然技术进步使得移动设备具有更强的计算能力、连接性和交互能力，但视线跟踪技术在智能手机、平板电脑、多媒体播放器等设备上的研发应用依然存在很多难题，面临许多挑战。本文对移动设备的视线跟踪技术研究现状进行综述，分析目前存在的问题和难点，对进一步的研究方向进行展望。2移动设备视线跟踪的资源劣势 随着移动设备功能的强大，其屏幕尺寸逐渐变大，大屏移动设备带来了显著的优点，但却超出了用户单手操作的范围，带来了安全隐患，影响了操作的舒适性[2]。移动设备新的屏幕尺寸需要新的交互方式与之相适应，眼动交互将成为人与大屏移动设备交互的有益补充，成为未来手机和平板电脑操作的新方式。 许多移动设备包含前置摄像头并具备基本的图像 处理能力，这构成了视线跟踪系统的基本组成单元，但是存在一些缺陷。有限的处理能力，低于标准的相机，甚至移动设备的便携性都会因为引入过多的外设而产生问题。视线跟踪不仅依靠眼睛定位，而且还依靠头部跟踪来实现。对于台式计算机等固定设备，头部跟踪易于实现；但对于移动设备来说，这个问题变得相当复 杂。例如，由于手的移动而改变的移动设备相机方向，用户的头部移动，这些都使眼睛定位的算法更加复杂。普通前置摄像头通常保留滤波器以去除可见光谱外的移动设备视线跟踪技术研究进展 栗战恒，郑秀娟，刘凯 LI Zhanheng,ZHENG Xiujuan,LIU Kai 四川大学电气信息学院自动化系，成都610065 Department of Automation,College of Electrical Engineering and Information Technology,Sichuan University,Chengdu 610065,China LI Zhanheng,ZHENG Xiujuan,LIU Kai.Research and development of eye tracking on mobile https://www.wendangku.net/doc/7611890041.html,puter Engineering and Applications,2018,54（24）：6-11. Abstract ：This paper reviews the research of the eye tracking technology on mobile devices,introduces the developments of eye tracking technology and the resource disadvantages of mobile devices.It divides the eye tracking technology on mobile devices into two categories ：using its own hardware and using external hardware devices.This paper summarizes and analyzes the problems of eye tracking on mobile devices and prospects the future development and research directions.Key words ：eye tracking;mobile devices;human-computer interaction 摘要：针对移动设备视线跟踪技术研究现状进行了综述，介绍了视线跟踪技术的发展及移动设备的资源劣势，将移动设备视线跟踪技术分为利用自身集成硬件和使用外接硬件设备两类，并分别进行了说明。最后，总结分析了移动设备视线跟踪存在的问题，并对其未来发展及研究方向进行展望。 关键词：视线跟踪；移动设备；人机交互 文献标志码：A 中图分类号：TP 391doi ：10.3778/j.issn.1002-8331.1806-0416 作者简介：栗战恒（1992—），男，硕士研究生，研究领域为人机交互，视线跟踪技术；郑秀娟（1981—），通讯作者，女，博士，副教授， 研究领域为医学图像分析与机器学习、自然人机交互与人机融合控制，E-mail ：xiujuanzheng@https://www.wendangku.net/doc/7611890041.html, ；刘凯（1973—），男，博士，教授，研究领域为三维结构光成像方法。 收稿日期：2018-07-04修回日期：2018-11-14文章编号：1002-8331（2018）24-0006-06 6万方数据

摄像机跟踪规则

摄像机跟踪规则： 计划你的镜头。在你尝试电影序列之前，要能够理解最基本的哪些能够跟踪和哪些不能跟踪。在周围360度的圈里盲目挥舞着相机，并期待SynthEyes能够解决是行不通的。有些事你必须要提前考虑到： 首先，场景内必须要有足够的参照物或容貌特征。所以拍摄一个白色的房间就是不明智的（除非你做了全部标记并打算在后期移除）。需要有深度与角度变化的重要特点才足以产生良好的摄像机解决方案。要有足够的容貌特征在整个镜头当中，不仅仅是这些；它们还需要被尽可能好地展开在画面内以产生最准确的跟踪。 3D物体如何放置？如果你有良好容貌特征对与SynthEyes围绕此点进行跟踪是极有帮助的。通常在做特效镜头期间，你会遵循在场景中放置一个3D角色，或聚焦在插入的这个物体上。这些区域都需要很好的跟踪以便来获取“locked”跟踪点。所以当你要拍摄你的镜头素材时，要提前构思这个特定镜头里的3D元素是什么。这一点很容易被人们忽视，但三维空间由3轴（X ，Y， Z）构成，所以一定要确保你有很好的参考点展开在地平面及垂直的画面上。 Features 特征 什么是特征？一个特征是一个存在您的图像序列中相当长一段时间且始终可以被跟踪的点。你可以选择杆子的顶端，地面上的一片树叶，一辆汽车上的标志，建筑物的角，墙壁上的标记。由你来计划，尽量挑选小的、可确定的区域，并且与其周围环境具有较高对比度，记住你正在试图通过这个单点标记建造一个能够融入现实场景的3D物体。所以你不应该选择随着摄像机角度变化其自身会有所改变的特征。例如，视觉上的一个物体与另一个物体的交叉点，玻璃上的高光反射，或者画面中移动的物体（比如摇摆的树枝）。所有这些实际上并不代表场景中的任何静态锁定属性的特征都会产生标记。对于没有很多明显特征的场境，通常会添加跟踪标记或网球来帮助完成跟踪过程，当然这些添加物会在后期被roto掉。 Tracking with SynthEyes 利用SynthEyes进行跟踪 打开SynthEyes后，选择导入我在树林中手持拍摄的10秒钟序列帧。它已做出了正确的推测设置(PAL DV, 25fps, progressive, 250 frames)。

关于目标自动跟踪智能摄像机的探讨-毛振刚

关于目标自动跟踪智能摄像机的探讨 一、概述 随着以摄像机为核心的视觉监控系统的成本日益降低，视觉监控系统在我国开始步入普及阶段，广泛应用诸如银行、小区、机场、车站等场所，在公共安全领域起着日益重要的作用。传统的监控系统要求人员不停的监视屏幕，获得视频信息，通过人为的理解和判断，才能得到相应的结论，做出相应的决策。因此，让监控人员长期盯着众多的电视监视器成了一项非常繁重的任务。特别在一些监控较多的情况下，监控人员几乎无法做到完整全面的监控，而长时间对没有目标移动的图像进行存储也会造成资源的浪费。所以，人们对基于视频图像的监控系统的智能化要求越来越迫切，目标自动跟踪摄像机的出现正符合了这一需求。 目标自动跟踪摄像机能够监视某一场景，当有异常情况时，在无人控制的情况下，它能够实现自动检测目标并且自动跟踪目标，不需要通过后端的软件平台去控制，只要在前端就可以自动完成跟踪任务，于此同时监控系统还进行图像存储，这样就会避免资源的浪费，并真正实现不需要人参与的监控。与普通的高速球相比，采用自动跟踪技术的智能摄像机的使用更便捷、更人性化，并且可以改变普通摄像机“被动监控”的现状，实现“主动监控”，更是有效解决了在安防监控过程中的监控死角、监控盲区等方面的问题，因而成为了引领摄像机智能化发展的新趋向。 鉴于上述原因，以自动跟踪为特点的智能摄像机被誉为“解放人力的运动的跟踪技术”，采用这种技术的摄像机，可以智能的探测、跟踪监控目标物体，实现对运动目标的自动跟踪、录像、报警，彻底改变了视频监控系统只能作为辅助系统的局面。 二、目标自动跟踪智能摄像机自动跟踪技术应用现状 依照被监视的场景与摄像机之间是否存在相对运动，人们将视频处理分为静态背景下运动目标检测和运动背景下运动目标检测两大类。所谓静态背景检测是指运动场景中的运动只存在实体运动，而背景没有或者只有微小的变化。而运动背景下运动目标检测是指运动图像中的运动由摄像机的运动和实体运动共同运