具有深度信息的视频图像中的人物步态识别技术研究
目 录
摘要 (i)
Abstract ........................................................................................................ i i 第一章绪论.. (1)
1.1 课题研究背景 (1)
1.1.1 步态识别技术 (1)
1.1.2 深度图像预处理 (5)
1.1.3 卷积神经网络介绍 (6)
1.2 课题研究内容 (7)
1.3 论文结构 (7)
第二章具有深度信息的视频图像预处理技术 (9)
2.1 深度图像介绍 (9)
2.1.1 Kinect深度图成像原理及缺陷 (9)
2.1.2 由深度图像信息得到人体骨骼模型过程 (10)
2.2 深度图像修复方法介绍 (12)
2.2.1 相关方法介绍及存在问题 (12)
2.2.2 非局部均值方法介绍 (13)
2.3 基于非局部均值的深度图像修复 (15)
2.3.1 使用自适应的非局部均值法进行预填补 (15)
2.3.2 使用非局部均值方法进行去噪 (17)
2.4 实验结果分析 (18)
2.4 本章小结 (20)
第三章基于卷积神经网络的视频人物检测 (21)
3.1 卷积神经网络介绍 (21)
3.1.1 卷积神经网络整体结构 (21)
3.1.2 卷积层 (22)
3.1.2 降采样层 (24)
3.1.4 反向传播 (26)
3.2 卷积神经网络用于视频中人物检测 (27)
3.2.1 使用数据介绍 (27)
3.2.2 开发环境及网络结构介绍 (29)
3.2.3 卷积神经网络的训练过程 (31)
3.2.4 人物检测流程 (31)
3.3 实验及结果分析 (33)
3.3.1 实验设置及评价指标介绍 (33)
3.3.2 实验结果及分析 (34)
3.4 本章小结 (40)
第四章基于动态特征的步态识别技术 (41)
4.1 步态特征介绍 (41)
4.2 基于骨骼模型的相对运动步态特征提取 (42)
4.2.1 已有工作介绍 (42)
4.2.2 相对运动特征提取 (43)
4.2.3 特征选取及分类识别 (45)
4.3 实验结果及分析 (46)
4.3.1 骨骼步态数据 (46)
4.3.2 分类精度 (47)
4.3.2 与相关工作比较 (50)
4.3.2 相对运动特征鲁棒性分析 (52)
4.4 本章小结 (54)
第五章本文总结及展望 (56)
5.1 本文工作总结 (56)
5.2 研究展望 (57)
致谢 (58)
参考文献 (59)
作者在学期间取得的学术成果 (63)
表目录
表1.1 生物特征特点比较 (2)
表2.1五种不同方法的平均PSNR值 (18)
表3.1从S2层到C3层的特征图连接选择组合 (24)
表3.2 深度学习开源软件 (29)
表3.3 实验参数设置 (33)
表3.4 实验参数设置 (34)
表3.5 基于CNN的方法和基于HOG方法检测准确率 (34)
表3.6 AlexNet各层计算量粗略统计 (35)
表3.7 AlexNet网络层数修改方案及计算量变化 (36)
表3.8 AlexNet网络层数修改方案及计算量变化 (36)
表3.9 修改前后各个阶段消耗时间对比 (39)
表3.10 CPU的并发能力 (39)
表3.11 GPU并发能力 (39)
表4.1 Kinect骨骼点编号与对应名称 (44)
表4.2 使用全部训练数据时的识别准确率 (48)
表4.3 随机子空间带来的性能提升 (50)
表4.4各种方法识别率的比较 (51)
图目录
图1.1 常见的生物特征识别 (1)
图2.1 深度学习网络结构基本组件示意图 (9)
图2.2 左图展示了红外光线在示例场景中的光斑；右图展示了结果深度值 . 10 图2.3 深度图像缺失与噪声示意图 (10)
图2.4 人体骨骼模型 (11)
图2.5 Kinect采用逐像素的身体部位识别来对深度图像分割 (11)
图2.6 从深度图像得到骨骼模型的过程 (12)
图2.7 深度图像修复过程中彩色纹理信息的引入 (13)
图 2.8 在彩色图像引导的非局部均值方法的修复结果上使用基于深度图像的非局部均值方法后的修复结果 (13)
图2.9 非局部均值方法的相似块展示 (14)
图2.10 非局部均值方法示意图 (14)
图2.11 ADNLM处理流程框架 (15)
图2.12 完好的深度图像（左）；有缺失和噪声的深度图像（中）；预填补完的深度图像（右） (16)
图2.13 完好的深度图像（左）；预填补完的深度图像（右）；去噪完成的深度图像（右） (17)
图2.14 Middlebury立体数据集和RGBZ数据集示意图 (18)
图2.15 五种不同修复方法PSNR值比较 (19)
图2.16 修复结果展示；（a）是有噪声的彩色和深度图像；（b）是完好的彩色和深度图像；（c）是LRC修复结果；（d）是NLM修复结果；（e）是JBF 修复结果；（f）是ADNLM修复结果 (19)
图2.17 修复结果展示；（a）是有噪声的彩色和深度图像；（b）是完好的彩色和深度图像；（c）是LRC修复结果；（d）是NLM修复结果；（e）是JBF 修复结果；（f）是ADNLM修复结果 (20)
图3.1 卷积神经网络结构示意图 (22)
图3.2 INPUT到C1之间的卷积层 (23)
图3.2 INPUT到C1之间的卷积层 (24)
图3.3 C1层到S2层之间的降采样层 (25)
图3.4 某单位室内监控录像视频 (28)
图3.5 正样本示例 (28)
图3.6 负样本示例 (28)
图3.7 AlexNet整体结构示意图 (30)
图3.8 AlexNet整体结构示意图 (31)
图3.9 在打分图边缘位置进行对称Padding (32)
图3.10经过滤波后，虚检大大减少；滤波前的检测结果和打分图（左）；滤波后的检测结果和打分图（右） (35)
图3.11 删减网络层数检测准确度变化 (37)
图3.12 删减网络层数检测准确度变化 (37)
图3.13 修改前的候选窗口获取流程 (38)
图3.14 修改后的候选窗口获取流程 (38)
图4.1 20个骨骼关节点（左）；Kinect深度传感器坐标系（右） (43)
图4.2随机子空间方法和K近邻分类器进行特征选择和分类识别 (46)
图4.3 Kinect步态数据集采集场景示意 (47)
图4.4 实验10折交叉验证选择K值 (47)
图4.5 不同特征集合在不同训练及尺寸下的识别精度变化，误差线为均值上下各一个标准 (48)
图4.6使用全部特征时的累积误差曲线 (49)
图4.7使用动态步态特征及其自己的累积误差曲线 (49)
图4.8不同尺寸下的随机子空间带来的性能提升 (50)
图4.9 文献[18]中的VDF和本文的动态特征随数据集尺寸变化的识别率，其中，误差线为均值上下各一个标准差。 (52)
图4.10 修改后的候选窗口获取流程 (53)
图4.11 修改后的候选窗口获取流程 (54)