【CN109886225A】一种基于深度学习的图像手势动作在线检测与识别方法【专利】
(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910145961.4
(22)申请日 2019.02.27
(71)申请人 浙江理工大学
地址 310018 浙江省杭州市江干经济开发
区2号大街928号
(72)发明人 李霖烨 田秋红 黎运泽 康宇泽
(74)专利代理机构 杭州求是专利事务所有限公
司 33200
代理人 林超
(51)Int.Cl.
G06K 9/00(2006.01)
G06K 9/62(2006.01)
(54)发明名称一种基于深度学习的图像手势动作在线检测与识别方法(57)摘要本发明公开了一种基于深度学习的图像手势动作在线检测与识别方法。提取所有帧图像，每帧图像已被标注，并输入手势检测网络训练；一段手势动作视频流输入手势检测网络，获得每帧图像中标注为动态手势的局部手势区域，获得带有标注为动态手势的局部手势区域图像帧；用分段随机采样算法采样处理，提取获得光流信息，进行空间上特征图提取，将特征图输入到各自的手势识别网络训练；将待检测手势视频流输入手势检测网络，分别获得预测分类结果，取平均值再取概率最大的为最终结果。本发明实现在未经人为干预的情况下对视频流中的手势动作进行分类，计算量小，识别准确率高，可更高效提取出手势动作的特征，相对于复杂背景具有较强
的鲁棒性。权利要求书2页 说明书6页 附图2页CN 109886225 A 2019.06.14
C N 109886225
A
权 利 要 求 书1/2页CN 109886225 A
1.一种基于深度学习的手势在线检测与识别系统，其特征在于：该方法的步骤如下：
1)先使用Opencv软件工具提取出数据集中视频流的所有帧图像，其中每帧图像中均已被标注有局部手势区域，且每个局部手势区域已被标注分为静态手势或者动态手势的类别；
2)将数据集中的视频流及其标注信息输入手势检测网络进行训练，手势检测网络采用MobileNet-SSD；
3)取一段完整的、标注有手势类别的、由RGB图像构成的手势动作视频流V输入训练好的手势检测网络进行手势的分割，通过手势检测网络获得每帧图像中标注为动态手势的局部手势区域，进而获得带有标注为动态手势的局部手势区域的图像帧的起止点t1和t n；
4)采用分段随机采样算法，从起止点t1和t n之间的n帧图像中采样得到16帧RGB图像；
5)将采样得到的16帧图像，采用TV-L1光流算法提取获得16帧光流信息；
6)将16帧RGB图像和16帧光流信息使用训练后的Inception V3网络进行空间上的特征提取，一帧RGB图像获得96个RGB特征图，一帧光流信息获得96个光流特征图；
7)将提取到的所有RGB特征图和所有光流特征图分别输入到各自的手势识别网络中，手势识别网络采用3D残差网络(3D-ResNeXt-101)，RGB特征图和光流特征图各自对应建立一个手势识别网络形成双流手势识别模型，两个手势识别网络分别训练不进行权值共享，通过前向传播计算损失值，通过反向传播算法减少损失值，最终使损失值收敛，完成双流手势识别模型的训练；
8)在预测阶段，将未经人为分割的待检测的手势视频流先输入训练后的手势检测网络进行手势的分割，每帧图像通过获得手势检测网络局部手势区域作为感兴趣区域，再将感兴趣区域输入步骤7)训练后的两个手势识别网络分别获得对应于RGB图像和光流图像的预测分类结果，预测分类结果为手势视频流对应于不同手势分类的概率分布，将两个预测结果取平均值，再取概率最大的为手势分类作为最终的分类结果。
2.根据权利要求1所述的一种基于深度学习的手势检测和识别方法，其特征在于：所述的步骤4)中，使用分段随机采样算法具体如下：将n帧图像平均分为16段，每段随机取一帧图像作为RGB图像。
3.根根据权利要求1所述的一种基于深度学习的手势检测和识别方法，其特征在于：所述步骤2)中，在训练手势检测网络时，通过调整分离卷积、宽度因子、分辨率因子的相关参数使手势检测网络能在保证精度的前提下增加每秒帧率fps。
4.根根据权利要求1所述的一种基于深度学习的手势检测和识别方法，其特征在于：所述的步骤6)中，使用训练后的Inception V3网络进行空间上的特征提取，具体如下：Inception V3网络包括依次连接的Inception module模块和四个卷积模块，四个卷积模块依次连接，使用了Inception module模块，Inception module模块包含四个分支，每一个分支使用不同的卷积方式，提取不同抽象程度的高阶特征：对于InceptionV3-3c层而言，输出的特征图通道数为96，四个分支中每个分支将会得到24个通道的特征图；对于第一个分支，先使用1×1大小的卷积核进行卷积，再后接两个1×7和7×1的卷积核进行卷积，使用1×7和7×1大小的卷积核来代替7×7大小的卷积核加速了计算，增加了网络的非线性；对于第二个分支，先使用1×1的卷积核进行卷积，再使用1×7和7×1的卷积核进行卷积，第二个分支提取到的特征的抽象程度比第一个分支较低；第三个分支先进行最大池化增加后续卷积
2