基于轮廓特征理解的城市道路图像深度估计.
基于轮廓特征理解的城市道路图像深度估计
丁伟利* 李勇王文锋曹秀艳
燕山大学电气工程学院河北省秦皇岛市066004
摘要准确估计道路场景图像中的深度信息，是智能交通和机器人导航中对障碍物估计和定位的关键。本文提出了一种基于区域特征理解的单幅静态城市道路图像深度估计算法，通过边缘生长图像分割算法得到一系列封闭的图像区域；然后统计每个分割区域自身的多元特征,包括区域的颜色、面积、位置，所包含的直线、垂线和平行线；基于这些特征，进一步估计道路消失点，并实现天空、垂直面和道路区域的分割和三维空间推理，最后根据典型道路的深度变化规律实现对道路图像的深度估计。实验结果表明，本文提出的算法能够有效地估计道路消失点以及道路区域内部的渐变深度信息。
关键词机器视觉；深度估计；图像理解；三维空间推理；单幅图像
中图分类号：TP391.9文献标识码：A 国家标准学科分类代码：640.4035
Depth Estimation of Urban Road Image Based on Contour
Understanding
Ding Weili, Li Yong, Wang Wenfeng Cao Xiuyan
(Institute of Electrical Engineering, Yanshan University, Qinhuangdao ,Hebei,066004,
China)
Abstract Estimating the depth of the road scene is a key step for intelligent transportation and robot navigation. This paper presents a depth estimation algorithm for single static road image. The algorithm obtains a series of closed areas of the image bede on the edge growing segmentation algorithm firstly; then we compute the statistic characteristics of each region, including color, area, position, straight lines, vertical lines, and parallel lines. Based on these characteristics, the road vanishing point was further estimated, and the sky, road and vertical regions are estimated. Finally, the depth of the road image is estimated by using vanishing point and the statistic characteristics. Experimental results show that the proposed algorithm can effectively estimate the road vanishing point, as well as the road depth information.
Keywords Computer vision; Depth estimation; Image understanding; 3D
space estimation; Single image
OCIS Codes XXX.XXXX; XXX.XXXX; XXX.XXXX（需给出具体的
栏目分类，而不是总的栏目号，如320.320无效）
1引言
从单幅图像恢复场景深度信息和三维结构是计算机视觉一项重要的研究内容，它通过提取与深度相关的视觉线索和一些先验知识完成深度估计，有助于实现基于单像机的场景理解、目标定位、三维测量和重建，在机器人导航、智能交通和增强现实场景注册领域有广泛的应用前景[1-2]。
现有的基于单幅图像的深度估计算法主要利用三维空间的几何线索，如消失点、地平线、曲面边界、纹理、明暗信息等，恢复单幅图像三维结构，同时结合图像纹理、相对深度、摄像机位置等线索确定图像绝对深度。例如，Criminisi利用消失点信息和透视投影几何关系恢复场景的三维几何关系[2]；Delage采用马尔科夫随机场结合几何线索，基于动态贝叶斯网络重建墙壁、天花板和地板的深度关系[3]；Saxena 根据不同景物中纹理、阴影、遮挡所反映的深度特征，结合MRF（马尔科夫）随机场模型综合估计每个像素的深度信息[4-5]；Hoiem将问题转化为图像分类分割的问题，将图像像素分为地面、天空和垂直面三类，然后依据图像中景物对象和地面的相交位置估计场景深度[6-9]；Barinova 等人基于Hoiem提出的深度估计方法进一步应用CRF随机场模型推断地面-垂直面边界的参数信息[10]；Hedau等人利用参数化的3D盒子基于Hoiem方法实现了室内场景的深度推理[11]；Cao等人提出了基于闭合迭代的区域分割及深度估计方法，在闭合迭代区域分割过程中交替执行区域合并和深度估计，直至获得预期结果[12]；Rusell等人为分割图像推断区域几何和区域边缘信息，利用依赖于地面的深度模型估计图像深度[13]；闫硕等人改进了Hoiem方法，将室外场景标记为天空、地面和直立物三个类别，对于标记为地面的区域按照相机拍摄的固定几何关
收稿日期：年-月-日；收到修改稿日期：年-月-日
基金项目：国家自然科学基金(61005034)，河北省自然科学基金(F2012203185)，秦皇岛市科学技术研究与发展计划(2012021A054)资助课题。
作者简介：丁伟利（1979-），女，博士，副教授，主要从事计算机视觉方面的研究。E-mail：weiye51@https://www.wendangku.net/doc/eb18783671.html,.cm
*通信联系人。E-mail: weiye51@https://www.wendangku.net/doc/eb18783671.html,.cm
系进行深度推理，对于直立区域则根据是否与地面接触结合消失点进行深度估[14,15]；李乐、Cheng等人提出一种通过分析理解街景图像内的景物构图关系实现图像深度估计的方法，提高了Hoiem方法深度估计的精度和准确性[16,17]。上述算法中，Saxena和Hoiem的算法最具有代表性，但其算法的结果依赖于基于超像素块的特征提取和区域分割结果，并且需要大量数据集进行训练和学习，因此深度估计结果不仅依赖于区域分割结果，而且每更换一个新的场景，原有的模型将失效，需要重新采集相应的深度数据进行训练，算法计算复杂耗时，不能满足即时深度估计。从精度上来说，Saxena算法的深度估计精度较低；Hoiem 的算法没有考虑到区域内深度的渐变，认为同一区域所有像素的深度均相同，因此对于地面区域的深度估计不够精确。虽然相关改进算法提高了深度估计的精度，但仍然不能从本质上避免深度估计依赖于超像素图像分割和训练数据集的问题。从应用领域来说，深度估计的一个重要应用就是智能交通和机器人导航中道路和障碍物深度的准确预测和感知，因此上述算法应用在道路图像的深度估计中仍然存在一定的问题。
为了解决上述算法的不足，本文针对道路图像的特点，提出一种新的基于分割区域特征理解的单幅图像深度估计方法。该算法不需要进行超像素分割、数据集训练和学习，仅利用边缘和颜色信息实现道路、垂直面、天空的推理和深度估计。算法首先通过边缘生长图像分割算法得到一系列有意义的封闭图像区域；然后统计每个分割区域自身的颜色、位置特征、包含的直线、垂线和平行线信息；接下来计算道路消失点；最后综合利用这些特征完成道路、天空、垂直区域的识别以及深度估计。
2 道路图像分割
道路场景图像中各个物体均有其边缘，边缘线往往反映了3D世界中两个不同物体的轮廓信息和深度信息。通常，沿着人们的视线方向,场景中的物体由近及远出现，越近的物体轮廓信息越完整，越远的物体被遮挡的可能性越大,因此边缘像素往往属于两个重叠物体中的前景物体。根据上述特点，基于边缘信息对道路场景图像进行分割将有利于道路场景的深度估计。在前期研究中，本文作者提出了基于边缘生长的图像区域分割算法[18]，该算法首先采用Canny算子检测图像边缘。然后从边缘图像中的断点出发，通过对边缘局部结构进行直线和对称
性生长消除所有断点，得到初步分割结果。最后通过相邻两个区域的颜色差别判断生长的边缘是否合理，如果相邻区域具有相似的灰度，则合并两个区域。与现有图像分割算法相比，上述算法对道路图像的分割结果具有更加明显的物理意义，如图1所示。图1.a 为典型的道路图像，图1.b 为Canny 边缘检测结果。基于边缘生长图像分割算法，生长后的边缘图像如图1.c 所示，图1.c 中封闭的轮廓由图1.d 表示为彩色图像，其中不同的颜色代表不同的区域。由图1.d 中的分割结果可知道路场景中的车道线、道路区域、栏杆、植被、桥梁结构均得到了近似完整的分割，十分有利于下一步的场景结构分析和理解。为了分析方便，本文假设由边缘生长图像分割算法所获得的图像子区域数量为n ，每一个区域记为,(0)i i n ∑<≤。
图1 分割结果。（a ）原图像；（b ）边缘图；（c ）边缘生长图；（d ）分割区域标记图
Fig.1 Segmentation results. (a) Original image; (b) Edge map; (c) Edge growth graph;(d)
Segmented regions labeled diagram
3 道路图像特征提取
3.1 区域特征向量
针对道路图像的每一个子区域,(0)i i n ∑<≤，定义其轮廓为{(,)0}i i j i j C x y j m =<≤（m 为轮廓所包含的像素点个数），统计其自身的多个特征，包括颜色、重心位置、轮廓中的直线信息等，记为：
{,,,,,,|}i i i i i i i i F Gr H A P Nl Vl Pl =Ω (1)
式中，i Gr 表示区域i ∑的灰度均值，{}i i i s h H ,=表示区域i ∑中出现次数最多的H ，
S 分量值。i A 表示区域面积，即区域内像素总数；i P 表示轮廓i C 的重心点， 记录了区域轮廓拆分后的直线，i Vl 记录了区域轮廓中的垂线，i Pl 记录了区域轮
i Vl 和i Pl 的计算方法如下：
首先以边缘点(,), ()j ij ij P x y H 1122(,),(,)i i i i x y x y ，则点j P 的局部方向θ为[19]： ???????????≥<+???????≥≥???????<=T s y y x x y y T s y y x x y y T s ,,1803.57--arctan ,,3.57--arctan , 0121212 121212 θ (2) 其中，直线度因子L d s /12=，12d 表示端点1122(,),(,)i i i i x y x y 间的直线距离，L 为滑动窗口所截得的轮廓的长度，T 为设定的阈值。经过编码后的连续边缘将在角点处断开为若干条连续的线条。进一步，根据文献[18]中提出的直线度误差判别准则和同方向点的稀疏直线拟合方法可以提取出轮廓中的直线，记为12{,,,}i k Nl l l l =，其中112212{(,),,(,),,(,)0}k m m j j m m l x y x y x y m j m m =<<<≤，k 代表轮廓中直线的数目，1m 和2m 分别表示轮廓中第k 条直线的起点和终点像素距离轮廓起点的像素数。 对于轮廓i C 中的某直线,k l 取两端点为A 和B ，线条k l 的倾斜角度计算公式为： (112211 112/2tan ()k s s s s -+-=θ (3) 其中, 12 211,...,211()1k k m m s x x m m ==--+∑, 12 1221,...,211()()1k k k m m s s x x y y m m ===---+∑ 12 222,...,211()1k k m m s y y m m ==--+∑ 12,...,2111k k m m x x m m ==-+∑, 12,...,2111k k m m y y m m ==-+∑. 如果倾斜角度90k -<θσ（本文定义10σ=），即判断,k l 为垂直线，并存入i Vl 。 对区域的轮廓i C 中的任意两条直线k l 和 r l ,根据本文作者在文献[20]所提 出的方法，利用主方向一致性判别两条直线是否为平行线，即假设直线k l 的主方向为k θ，直线r l 的主方向为r θ，如果k r -<θθε（本文定义15ε=），且,k i r i l Vl l Vl ??，则判定k l 和 r l 属于与道路方向平行的平行线，同时存入i Pl 。 3.2 道路消失点估计 统计所有区域特征向量中的道路平行线特征i Pl ，组成平行直线束p l l l ,...,,21，定义任意直线i l 的直线方程为： i i y a x b =+ (4) 对i l 上所有坐标点应用最小二乘法进行直线拟合，即求拟合直线误差最小值： 2 1min (-())n j i j i j y a x b =+∑ (5) 确定参数,i i a b 。然后通过联立任意两条拟合直线求解交点： ???+=+=b x a y b x a y j j i i (6) 得到至多2n C 个交点，即消失点集。最后采用模糊C 聚类方法对求解所得的交点 进行聚类分析，在2个聚类结果中选取聚类分组中对应最多类成员的中心作为最终的消失点，记为{,}r i i V x y =。 4 道路图像三维结构推理与深度估计 4.1位置关系推理 根据道路场景的特征，本文假设道路图像满足以下三个条件： （1）图像为摄像机平行于地面，即摄像机俯仰角为0时所拍摄； （2）图像中包括较多平行、垂直结构。 （3）图像中仅包括道路、竖直物体（建筑物/树木/栏杆/车辆等）和天空。 根据以上假设，根据平行线计算的道路消失点必位于地平面上，本文根据消失点位置将图像大致分割为上下两部分，其中道路位于图像下部分区域，天空位于上部分区域，建立如图2所示的道路位置模型： 图2 道路位置模型 Fig.2 Ground position model （1）道路区域推理 一般情况下，道路区域面积较大、颜色单一，包含较多的平行线以及较少的竖直线，且整体位于消失线下方。本文的道路图像分割的结果已经保证了每一个分割的区域内部颜色的相似性，以及与相邻区域的颜色相异性，因此本文仅考虑面积较大的前10个区域，如果这些区域中，任意区域i ∑满足以下判据： 判据 1 ①区域i ∑中包含至少一条经过消失点的直线，即 i r Nl V ?≠? （7） ②轮廓i C 的重心位于由消失点分割的整幅图像的下半部分，即 ()()i i r i P y V y > （8） ③轮廓i C 包含的垂直线的数量为0，则判定该区域为道路区域。 判据2 对于面积较大的前10个区域，记所有满足判据1中条件①和②，但不满足条件③的区域为R ∑，利用腐蚀算法将区域R ∑腐蚀为如干个子区域，对于任意子 区域k ∑，如果区域k ∑满足判据1中条件②，且区域k ∑包含的平行线的数量不小 于区域k ∑包含的垂直线的数量，则判定该区域为道路区域。 （2）天空区域推理 根据假设的道路位置模型，天空区域是距离摄像机最远，区域面积较大，且通常有部分像素位于图像的上边界，颜色分布比较一致。综合这些先验知识，本文仅考虑面积较大的前10个区域，如果这些区域中，任意区域i ∑满足以下条件 ①区域 ∑归一化颜色值i H与天空典型颜色差值小于设定阈值T； i ②轮廓 C的纵坐标的最高点位于图像的上边界，即 i C y==（9） min(.)1 i i 则判定该区域属于天空。 （3）竖直区域推理 整幅图像中除道路和天空区域之外剩余的区域定义为竖直区域。 4.2深度估计 对已完成位置关系推理的图像区域，本文根据深度变化规则为图像各像素分配对应的深度值完成深度估计。用0-255的灰度范围量化灰度深度变化图，定义图像深度最远处为0，最近处为255，中间部分呈线性分布。根据假设的道路图像模型，定义如下深度变化规则： （1）对于道路区域的深度变化值，以消失点所在的水平线为界从下而上线性递增，定义消失线所在位置为深度无穷远处，如图3(a)所示； （2）竖直区域的深度值直接定义为与道路轮廓线相交处的深度值； （3）假设图像模型中天空是距离摄像机最远的区域，直接视作深度最深处； 图3道路深度梯度变化图 Fig. 3 Road depth gradient map. 5实验结果与分析 为了估计提出算法的性能，本文针对大量城市道路图像进行了实验，并与经典的算法进行了对比。 图4给出了符合假设条件的几幅典型道路图像的深度估计结果。其中4(a)表 示原图, 图4(b)表示基于边缘增长的图像区域分割结果，图4(c)表示道路图像消失点检测结果，其中绿色星型位置为消失点。图4(d)表示三维空间关系推理的结果，其中竖直区域标记为红色，地面区域标记为蓝色，其它区域为天空区域。图4(e)表示深度估计结果。由图4的结果可知，对符合假设道路模型的图像，本文算法在区域分割方面有效保证了具有相似颜色和连通关系的道路和天空区域的准确分割和识别。此外，本文算法利用分割区域轮廓中提取的道路平行线，能够比较准确的识别道路消失点，进一步根据道路平行线和竖直线信息能够准确标记图像道路、天空、竖直区域。由深度估计结果可知，本文算法在路面的深度估计方面，很好的体现了道路由近及远的深度变化关系，道路区域部分的深度估计符合人的视觉特征。 图4三维空间关系推理结果图及深度关系图。(a)原图；（b）图像分割；（c）消失点；（d）图像类聚分析；(e)标记三维空间关系；(f)道路深度关系 Fig.4 Results with our algorithm. (a) Original image; (b) Result of image segmentation; (c) Result of vanishing point detection, where the green star is the vanishing point;(d) Result of marked sky, road and vertical region;(f) Result of depth estimation. 图5列出了部分Hoiem方法[7]与所提方法的深度估计结果。图5.(b)为运用Hoiem等人提出的算法得到的最大深度估计结果，5.(c)为本文算法得出的结果。实验结果表明，对于图像中标记为天空的区域，所提方法的实验结果与Hoiem 方法中的最大深度估计方法的实验结果相差无几；对于路面区域，提出算法由于以消失点所在位置定义为无穷远处，因此更好的体现了道路景深由远及近的变化规律；但对于竖直面区域，Hoiem方法认为区域内不存在深度渐变信息，因此同一区域深度相同，而本文算法则定义竖直区域的深度和路面交点处的深度相同，这一点符合深度的变化规律，体现了竖直区域的深度渐变关系。此外，本文算法并没有区分竖直区域中的建筑物、车辆和树木信息，既避免了误分类的情况，又避免了多余的计算量，与Hoiem方法相比，虽然竖直区域体现的物体层次感不强，但准确体现了各个竖直面的深度变化关系，对于智能交通中的道路深度估计和障碍物检测已经足够。 图5不同深度关系图比较。(a)原图；(b) Hoiem深度关系图；(c) 本文道路深度关系图 Fig. 5 Depth estimation results with Hoiem’s algorithm and our algorithm. (a) Original image; (b) Hoiem’s algorithm; (c) Our algorithm. 图6列出了所提方法与Hoiem方法[7]、Saxena方法[4]和Cheng等人所提出的算法[17]的深度估计对比结果。由图6可知，本文算法在深度估计的准确性方面，明显优于Saxena方法，在道路场景深度层次表现方面优于Hoiem方法，与Cheng的方法效果相似，但在细节方面，本文方法的路面深度变化情况以及车辆深度的估计方面略优于Cheng的方法。 图6 相同图像不同算法的深度估计结果 Fig. 6 Depth estimation results with different algorithms. 6结论 道路场景的深度估计对于交通场景理解和无人驾驶车辆导航、障碍物位置检测具有重要意义。本文从单幅静态道路图像的深度推理开始，以分割区域为基本单位分析其多元特征，利用这些特征推理单幅图像所蕴含的三维空间关系，同时还研究了对应的深度关系，实现了道路场景的深度推理。本文算法无需进行训练和学习，可以得到准确的道路场景深度层次，但本文算法还存在许多问题需要进行深一步的研究，如道路场景不符合假设模型的情况下，以及道路区域颜色不均一情况下，均有可能出现错误的深度估计结果。下一步工作主要考虑处理更加复杂的场景，提高运算速度，扩大其应用范围。 参考文献 1 Shen Huan,Li Shunming,Bo Fangchao,Miao Xiaodong,Li Fangpei. On Road Vehicles Real-Time Detection and Tracking Using Vision Based Approach[J]. Acta Optica Sinica, 2010, 30(4): 1076～1083 沈峘,李舜酩,柏方超,缪小冬,李芳培. 路面车辆实时检测与跟踪的视觉方法[J]. 光学学报, 2010, 30(4): 1076～1083 2 A.Criminisi, I. Reid, and A. Zisserman. Single view metrology. IJCV, 2000. 3 E.Delage, H. Lee, and A. Y. Ng. A dynamic Bayesian network model for autonomous 3d reconstruction from a single indoor image. In CVPR, 2006. 4 A.Saxena, S. H. Chung, and A. Y. Ng. Learning depth from single monocular images. In NIPS, 2005. 5 A.Saxena, M. Sun, and A. Y. Ng. Make3D: Learning 3-Dscene structure from a single still image. In PAMI, 2008. 6 A.Saxena, S H.Chung,A Y.Ng. 3-d depth reconstruction from a single still image[J]. International Journal of Computer Vision, 2008, 76(1): 53-69. 7 D. Hoiem, A. A. Efros, and M. Hebert. Geometric context from a single image. In ICCV, 2005. 8 D. Hoiem, A. A. Efros, and M. Hebert. Recovering surface layout from an image. IJCV, 2007. 9 D. Hoiem, A. A. Efros, and M. Hebert. Automatic photopop-up. In SIGGRAPH, 2005. 10 O.Barinova, V.Konushin, A.Yakubenko,et.al. Fast Automatic Single-View 3-d Reconstruction of Urban Scenes[C].ECCV Computer Vision, Lecture Notes in Computer Science, 2008, 5303(2):100-113. 11 V. Hedau, D. Hoiem, and D. Forsyth. Recovering the spatial layout of cluttered rooms. In ICCV, 2009. 12 Cao Y, Xia Y, Wang Z. A Close-form Iterative Algorithm for Depth Inferring from a Single Image[C]. In European Conference on Computer Vision, 2010: 729-742. 13 B. C. Russell and A. Torralba. Building a database of 3D scenes from user annotations. In CVPR, 2009. 14 Yan Shuo，Research on the Approch for Depth Estimation and View Transformation from a Single Outdoor Image [D]. QinHuangdao：Yanshan University, 2012:32-40. 闫硕. 基于单幅户外图像的深度估计与视角变换方法研究[D].秦皇岛：燕山大学,2012:32-40. 15 Shihui Zhang, Shuo Yan. Depth Estimation and Occlusion Boundary Recovery from a Single Outdoor Image [J]. Optical Engineering. 2012, 51(8), 087003:1-11. 16 李乐，张茂军，熊志辉，徐玮. 基于内容理解的单幅静态街景图像深度估计[J].机器人， 2011: 174-180 17 Hsin-Min Cheng,Chen-Yu Tseng, Cheng-Ho Hsin, and Sheng-Jyh Wang. Single-Image 3-D Depth Estimation for Urban Scenes[C]. ICIP 2013: 2121-2125. 18 Cao Xiuyan Ding Weili, Hu Shuo. Image Segmentation Based on Edge Growth [C]. International Conference on Information Technology and Software Engineering,2012,3:541-548. 19 Ding Weili,Wang Wenfeng,Zhang Xuguang,Su Liancheng. Extracting Straight Lines from Building Image Based on Edge Orientation Image[J]. Acta Optica Sinica, 2010, 30(10): 2904～2910. 丁伟利,王文锋,张旭光,苏连成. 基于边缘方向图的建筑物直线特征提取[J]. 光学学报, 2010, 30(10): 2904～2910 20 Wang Wenfeng,Zhu Shuhua,Feng Yihao,Ding Weili. Parallel Edges Detection from Remote Sensing Image Using Local Orientation Coding[J]. Acta Optica Sinica, 2012, 32(3): 0315001王文锋,朱书华,冯以浩,丁伟利. 基于局部方向编码的遥感影像平行边缘识别[J]. 光学学报, 2012, 32(3): 0315001 本文创新点说明: （1）提出了基于边缘增长图像分割的图像特征统计方法。用本文作者提出的基于边缘增长的图像分割方法，统计每一个子区域的多元特征，包括灰度均值，归一化颜色值，区域面积，重心，轮廓包含的直线、垂线和道路平行线，并利用道路平行线，实现了道路消失点的估计，为后续的道路识别和深度估计奠定了基础。 （2）基于消失点、垂线和道路平行线，提出了道路、天空和垂直区域的识别判据，实现了道路场景图像道路、天空和竖直区域的准确分割。 （3）结合消失点信息，实现了道路和竖直区域的深度推理，深度推理方法简单有效。 基于深度的图像修复实验报告 ————————————————————————————————作者：————————————————————————————————日期： 2 基于深度的图像修复 一.实验目的 1、学会单幅图像的修补 2、学会结合彩色图像和深度图像的图像修补 二.实验原理 1图像修补简介----单幅图像修补 图像中常有缺失或者损坏的部分，即空白区域或者有误的区域。图像修补就是根据这些区域周围的信息完成对空白区域的填充，以实现图像的恢复。 基本方法 图像修补的基本方法示例 示例方法2 选取空白点周围的一片区域，对区域内的参考点进行加权求和，其结果用于对空白点的修补。若所选窗口太小，即窗口中无参考点，则将窗口扩大。 2图像修补简介----利用深度图的图像修补 1图像的前景与背景 实际场景中存在前景与背景的区别，前景会遮挡背景，而且前景与背景往往差距比较大。 2深度图 用于表示3D空间中的点与成像平面距离的灰度图。0~255表示，灰度值越大，表示场景距离成像平面越近，反之，灰度值越小，表示场景距离成像平面越远。 前景的灰度值大，背景的灰度值小。 如下左彩色图，右深度图 3普通的图像修补区分不了图像的前景和背景，简单的加权求和填补空白点的方法会导致前景和背景的混杂。引入深度图之后，可以利用深度图区分图像的前景和背景，在对背景进行修补的时候，可以利用深度图滤除那些前景参考点的影响，从而使背景的空白点只由背景点加权求和得到，前景亦然。 三.实验步骤 1读入一个像素点，判断其是否为空白点。 2若不是空白点，则跳过该点，判断下一个点。 3若该点是空白点，则用前面所述的方法进行加权修补。 4对图像中的每一个点都进行如此处理，直至全图处理完毕，则图像修补完成。 四.实验要求 1独立编码完成实验单幅图像修补利用深度图的图像修补。 2 比较实验结果的差别，并分析原因，完成实验报告。 五.用MATLAB编写实验代码 对于单幅图像以及结合深度图像的修补，其实区别就是是否考虑了深度图像的灰度权重（其实就是0和1），虽然效果图区别很小，但是通过深度图还是可以反映出其立体三维空间的。为了能较好的对比，我把两种方法的比较融合在一条件语句中，在下面的深度图像代码中用红色字体标注。同时深度图像变量用绿色字体标注。 深度图像的平面分割算法 王恒1,赵亮 摘 要: 三维激光扫描系统使用深度图像来重建城市建筑模型，现有激光点云数据处理系统程序直接 进行海量点云数据建模较为困难。因为实际模型往往含有复杂表面几何特征,如果利用深度图像直接进 行拟合,则会造成建筑模型的数学表示和拟合算法处理的难度加大,甚至无法使用数学表达式描述三维 模型。 深度图像拟合或深度图像分割,是将具有相同几何特征的点云数据划分同一个区域并进行曲面拟合。深度图像分割主要有两种方法：一种是基于边缘分割的方法，另一种基于区域生长的方法。由于深度图像获取方式的特点，其点云数据往往不连续含有较多的噪声。使用基于边缘分割算法，仅当所处理点云数据具有连续性并且噪声点比较少的情况下，方能有效实现边界点分割。因此深度图像的分割方法也较多的集中在基于区域的分割方法。利用高斯曲率和平均曲率及方向将点附近的曲面类型分为8种,对数据点进行初步分类,从初步分类的点集中找一个合适的生长点,用二次多项式函数来进行区域生长,实现了深度图像数据的分块与曲面拟合。本文提出的算法利用了建筑物包含大量平面的特点，将分割问题具体到了平面分割，从而避免了低精度估计高斯曲率和复杂的二次曲面拟合，完成了一种高效简洁的算法用来识别深度图像的平面特征。该算法借鉴了数字图像处理方法首先平面拟合邻近n*n区域的点集，计算出邻域点集的协方差矩阵及其特征值和特征向量；如果绝对值最小特征值小于阈值，则可以认为该点的局部平面拟合成功；最小特征值对应的特征向量为局部法向量。接着从左到右沿扫描线遍历深度图像中的每个坐标点，按照聚类分析的原则对该点和其上方、右上方、右方的三个坐标点的法向量按照具有相同方向和同处一个平面的两个相似度准则进行比对，来获得两个局部平面是否同处一个平面。本文提出的算法将深度图像分割成为若干个集合，每个集合的任意点都同处一个平面。本文根据深度图像的数据特征给出了合理高效的数据结构和算法，并以图例说明深度图像平面分割算法的有效性。 关键词：点云数据；深度图像；平面分割 基于深度图像技术的手势识别方法 曹雏清，李瑞峰，赵立军 (哈尔滨工业大学机器人技术与系统国家重点实验室，哈尔滨 150001) 摘 要：针对复杂环境下的手势识别问题，提出一种基于深度图像技术的手势识别方法。利用深度图像信息从复杂环境中提取手势区域，综合手势的表观特征，建立决策树实现手势的识别。对常见的9种手势在复杂背景条件下进行测试，实验结果表明，手势的平均识别率可达到98.4%，速度达到每秒25帧。 关键词：手势识别；深度图像；表观特征；复杂背景；决策树 Hand Posture Recognition Method Based on Depth Image Technoloy CAO Chu-qing, LI Rui-feng, ZHAO Li-jun (State Key Laboratory of Robotics and System, Harbin Institute of Technology, Harbin 150001, China) 【Abstract 】Aiming at the problem of hand posture recognition from complex backgrounds, this paper proposes a hand posture recognition method based on depth image technoloy. The hand posture region is extracted from complex background via depth image. Appearance features are integrated to build the decision tree for hand posture recognition. Nine common postures with complex background are tested. Experimental results demonstrate that recognition rate is 98.4% and speed rate achieves 25 frames per second. 【Key words 】hand posture recognition; depth image; appearance feature; complex background; decision tree DOI: 10.3969/j.issn.1000-3428.2012.08.006 计 算 机 工 程 Computer Engineering 第38卷 第 8期 V ol.38 No.8 2012年4月 April 2012 ·博士论文· 文章编号：1000—3428(2012)08—0016—03文献标识码：A 中图分类号：TP391 1 概述 随着机器人技术的发展，智能服务机器人开始逐步融入人类的生活，人机交互技术的发展是智能服务机器人研究的重要组成部分。人机交互的研究方向主要有表情、声音和手势识别技术。其中，手势是一种自然直观的人机交流模式，在信息表达上比表情更明确、信息量更丰富。 在人机交互中，基于视觉的手势识别是实现新一代人机交互的关键技术。基于视觉的手势识别通过图像信息，让机器人获取人的手势姿态信息，对不同的手势信息进行分类。近年来，学者们对基于视觉的手势识别进行研究，文献[1]提出特征空间匹配法，文献[2]采用提取同类手势的SIFT 特征方法进行手势识别，文献[3]提出手势图解析分类法，文献[4]针对复杂背景采用空间分布特征对手势进行识别。 复杂背景下手势识别的研究[4-5]一般使用肤色模型实现手势区域分割，虽然可以区分肤色和非肤色区域，但是实际应用中图像都包含有肢体和面部肤色区域，它们对手势区域提取有着较大的影响，同时光线也直接影响肤色模型。现有的文献中并没有考虑强光和弱光环境下的手势识别情况，在实际应用中往往伴随光线的变化问题，这些问题都直接影响了人机交互的实际效果。本文提出一种基于深度图像技术的手势识别方法，从深度图像信息中提取手势区域，运用几何方法提取手势表观特征并分类，从而实现复杂环境下基于手势的人机交互。 2 2.1 手势识别系统 基于深度图像信息的手势识别系统框架如图1所示。深度图像的采集采用非接触测量方式，获取的场景中深度信息不受物体自身的颜色、纹理特征以及背景环境光线强弱的影响。本文选用微软公司的Kinect 进行深度图像的采集，获取 深度信息值，转换到灰度值图像，经过手势区域分割、特征提取、手势识别，转换为手势信息，提供人机交互使用。 图1 面向人机交互的手势识别框架 2.2 手势区域分割 2.2.1 深度图像成像原理 深度图像技术在近年来逐步得到广泛的关注，Kinect 采集640×480像素的深度图像速度可以达到30 f/s ，深度的分辨率在5 mm 左右。本文把Kinect 采集到的场景深度值转换到灰度值空间，实际场景的RGB 图像如图2所示。在深度图像中像素点灰度值的大小对应于场景中点的不同深度值，如图3所示，图像中的灰度值越大，表明该区域距离深度摄像头的距离越近。 图2 场景RGB 图像 图3 深度图像 基金项目：国家自然科学基金资助项目(61075081)；机器人技术与 系统国家重点实验室课题基金资助项目(SKLRS200802A02) 作者简介：曹雏清(1982－)，男，博士研究生，主研方向：模式识 别，人机交互；李瑞峰，教授、博士生导师；赵立军，讲师 收稿日期：2011-07-11 E-mail ：caochuqing@https://www.wendangku.net/doc/eb18783671.html, 第五章基于几何光学的单幅二维图像深度估计 第五章基于几何光学的单幅二维图像深度估计 由上一章的内容可知，图像大小恒常性计算的关键在于正确地估计二维图像的深度。二维图像深度估计也是计算视觉中的重点与难点。视觉心理学家通过经验观察和对人的统计实验，总结了人类视觉系统深度感知规律。在上一章的实验表明，应用这些规律建立的单幅二维图像深度模型基本上是有效的，但也存在一些没有很好解决的矛盾，如各种深度线索间的冲突。其次，这些规律是建立在人的主观实验之上的，本质上也需要进一步从物理学的角度进行解释。再次，虽然照相机与人眼在光学成像原理上是基本相同的，但在实现细节上还是存在一些差异。所以本章从几何光学出发，提出了一种基于几何光学的二维图像深度计算方法，并与上一章的基于心理学的深度模型实验结果进行比较，探讨心理学结论应用到计算机视觉问题中的适应性问题。 5.1 引言 尽管学者已从不同的角度对二维图像深度估计问题进行了卓有成效的研究，基于单幅图像(Single-image based)的深度计算仍然是一个挑战性问题。现有的各种方法都存在一定的局限性。用阴影求深度方法(Depth from shading)依赖太多的假定[Forsyth 2003, pp80-85][Castelan 2004][严涛2000]。在这些假定中，多数假定与客观世界的自然场景不完全一致。用模型求深度的方法(Depth from model)需要物体或场景模型的先验知识[Jelinek 2001][Ryoo 2004][Wilczkowiak 2001]。当物体或场景很难建模，或者模型库变得很大时，这种方法就会失效。用机器学习求深度的方法(Depth from learning)要对大量的范例进行训练[Torralba 2002][Battiato 2004][Nagai 2002]，而且它们的泛化能力是很弱的。用主动视觉求深度方法(Depth from active vision)如编码结构光(Coded structured light)、激光条纹(Laser stripe scanning)扫描等需要昂贵的辅助光源设备来产生显著的对应点(对应元素)[Forsyth 2003, pp467-491][Wong 2005][Nehab 2005]。它轻易解决了图像体视匹配(Image stereo matching)难题，代价是丢失了物体或场景的其它的重要表面属性，如强度、颜色、纹理等。各种方法的比较见本章表5-4。 然而，人类视觉系统能轻易地、完美地感知单幅图像深度，即使只用一只眼睛看图片时也是如此。而且，人类视觉系统在完成这项任务时，好像毫不费 65 基于小波变换的图像边缘检测算法仿真实 现 学生姓名：XX 指导教师：xxx 专业班级：电子信息 学号：00000000000 学院：计算机与信息工程学院 二〇一五年五月二十日 摘要 数字图像边缘检测是图像分割、目标区域识别和区域形态提取等图像分析领域中十分重要的基础，是图像识别中提取图像特征一个重要方法。 目前在边缘检测领域已经提出许多算法，但是提出的相关理论和算法仍然存在很多不足之处，在某些情况下仍然无法很有效地检测出目标物的边缘。由于小波变换在时域和频域都具有很好的局部化特征，并且具有多尺度特征，因此，利用多尺度小波进行边缘检测既能得到良好的抑制噪声的能力，又能够保持边缘的完备。 本文就是利用此方法在MATLAB环境下来对数字图像进行边缘的检测。 关键词：小波变换；多尺度；边缘检测 Abstract The boundary detection of digital image is not only the important foundation in the field of image segmentation and target area identification and area shape extraction, but also an important method which extract image feature in image recognition. Right now, there are a lot of algorithms in the field of edge detection, but these algorithms also have a lot of shotucuts, sometimes, they are not very effective to check the boundary of the digital image. Wavelet transform has a good localization characteristic in the time domain and frequency domain and multi-scale features, So, the boundary detection of digital image by using multi-scale wavelet can not only get a good ability to suppress noise, but also to maintain the completeness of the edge. This article is to use this method in the environment of MATLAB to detect the boundary of the digital image. Keywords: wavelet transform; multi-scale; boundary detection. 图像边缘检测算法体验步骤 图像边缘检测算法体验步骤（Photoshop，Matlab）1. 确定你的电脑上已经安装了Photoshop和Matlab2. 使用手机或其他任何方式，获得一张彩色图像（任何格式），建议图像颜色丰富，分辨率比较高，具有比较明显的图像边界（卡通图像，风景图像，桌面图像）3. 将图像保存到一个能够找到的目录中，例如img文件夹（路径上没有汉字）4. 启动Photoshop，打开img文件夹中的图像5. 在工具箱中选择“矩形选择”工具，到图面上选择一个区域（如果分辨率比较高，建议不要太大，否则计算过程比较长）6. 点击下拉菜单【文件】-【新建】，新建一个与矩形选择框同样尺寸的Photoshop图像，不要求保存该图像7. 将该彩色图像转换为亮度图像，即点击下拉菜单【图像】-【模式】-【灰度】，如提示是否合并，选择“Yes”8. 将该单色的亮度图像另存为Windows的BMP文件，点击下拉菜单【文件】-【存储为】，在“存储为”窗口中，为该文件起一个名字，例如test1（保存为test1.bmp）9. 启动Matlab，将当期路径（Current Directory）定位到图像文件夹，例如这里的img文件夹10. 使用imread命令读入该图像，在命令行输入：>> f = imread(test1.bmp);11. 在Matlab中显示该图像，在命令行输入：>> figure, imshow(f)12. 然后，分别使用Matlab图像工具箱中的Edge函数，分别使用Sobel算法，高斯-拉普拉斯（Log）算法和Canny算法得到的边缘图像：在命令行输入：>> g_sobel = edge(f, sobel, 0.05); >> g_log = edge(f, log, 0.003, 2.25); >> g_canny = edge(f, canny, [0.04 0.10], 1.5);13 得到边缘图像计算结果后，显示这些边缘图像： >> figure, imshow(g_sobel) >> figure, imshow(g_log) >> figure, imshow(g_canny)14 可以用不同的图像做对比，后续课程解释算法后，可以变换不同的阈值，得到不同的边缘图像 摘要 对图像进行精确识别，具有非常重要的研究意义，图像识别技术在医药学、航天、军事、工农业等诸多方面发挥着重要的作用。当前图像识别方法大多采用人工提取特征，不仅费时费力，而且提取困难；而深度学习是一种非监督学习，学习过程中可以不知道样本的标签值，整个过程无需人工参与也能提取到好的特征。近年来，将深度学习用于图像识别成为了图像识别领域的研究热点，已取得了良好的效果，并且有广阔的研究空间。 本文基于深度学习在图像识别的相关理论，分析了深度学习的基本模型和方法，并在相关图像数据集上实验论证；另外鉴于深度学习多用于大样本集，本文基于小样本提出了一种改进算法，具体工作内容如下： （1）分析深度学习中卷积神经网络（Convolutional Neural Networks，CNNs）的基本原理，研究其训练过程和模型结构。其中卷积层通过卷积运算，可以使原信号增强，并且降低噪声，提高信噪比；降采样对卷积层的图像进行子抽样，在保证了有用信息不降低的基础上，减少数据处理量。将其在 MNIST手写字体数据集上进行实验，通过对比分析了该方法和其他经典算法在识别率和时间方面的优劣。 （2）针对于卷积神经网络训练时间过长这一缺陷，分析了深度学习中深度信念网络（Deep Belief Networks，DBNs）的基本原理、训练过程和模型结构。DBNs的分层训练机制大大减少了训练难度，减少了训练时间。引入Softmax作为模型的分类器，将其在MNIST手写字体数据集上进行实验，实验表明：深度信念网络在识别率上和卷积神经网络持平，但训练方法的改善使得消耗时间大大减少。此外，该方法在自然场景CIFAR-10库上也有较好的实验效果。 （3）鉴于深度学习多适用于较大的数据集，针对小样本提出了一种改进的深度信念网络结构：深度信念网络整个过程可以分为预训练和参数微调两个阶段，改进的算法在预训练阶段对样本进行降采样；在参数微调阶段引入随机隐退（Dropout），将隐含层的结点随机清零掉一部分，保持其权重不更新。将改进的模型在MNIST子集和ORL数据集上进行实验，实验表明：在小样本中，引入降采样和随机隐退后，深度信念网络在识别率和耗时方面都有不错的改善，过拟合现象得到有效缓解。 关键字：深度学习图像识别卷积神经网络深度信念网络小样本集 I 中文译文 数字图像处理和边缘检测 1.数字图像处理 数字图像处理方法的研究源于两个主要应用领域：为便于人们分析而对图像信息进行改进；为使机 器自动理解而对图像数据进行存储、传输及显示。 一幅图像可定义为一个二维函数(,)f x y ，这里x 和y 是空间坐标，而在任何一对空间坐标(,)x y 上 的幅值f 称为该点图像的强度或灰度。当,x y 和幅值f 为有限的、离散的数值时，则图像为数字图像。数字图像处理是指借用数字计算机处理数字图像，值得提及的是数字图像是由有限的元素组成的，每一个元素都有一个特定的位置和幅值，这些元素称为图像元素、画面元素或像素。像素是广泛用于表示数字图像元素的词汇。 视觉是人类最高级的感知器官，所以，毫无疑问图像在人类感知中扮演着最重要的角色。然而，人 类感知只限于电磁波谱的视觉波段，成像机器则可覆盖几乎全部电磁波谱，从伽马射线到无线电波。它们可以对非人类习惯的那些图像源进行加工，这些图像源包括超声波、电子显微镜及计算机产生的图像。因此，数字图像处理涉及各种各样的应用领域。 图像处理涉及的范畴或其他相关领域（例如，图像分析和计算机视觉）的界定在初创人之间并没有 一致的看法。有时用处理的输入和输出内容都是图像这一特点来界定图像处理的范围。我们认为这一定义仅是人为界定和限制。例如，在这个定义下，甚至最普通的计算一幅图像灰度平均值的工作都不能算做是图像处理。另一方面，有些领域（如计算机视觉）研究的最高目标是用计算机去模拟人类视觉，包括理解和推理并根据视觉输入采取行动等。这一领域本身是人工智能的分支，其目的是模仿人类智能。人工智能领域处在其发展过程中的初期阶段，它的发展比预期的要慢的多，图像分析（也称为图像理解）领域则处在图像处理和计算机视觉两个学科之间。 从图像处理到计算机视觉这个连续的统一体内并没有明确的界线。然而，在这个连续的统一体中可 以考虑三种典型的计算处理（即低级、中级和高级处理）来区分其中的各个学科。 低级处理涉及初级操作，如降低噪声的图像预处理，对比度增强和图像尖锐化。低级处理是以输入、输出都是图像为特点的处理。中级处理涉及分割（把图像分为不同区域或目标物）以及缩减对目标物的描述，以使其更适合计算机处理及对不同目标的分类（识别）。中级图像处理是以输入为图像，但输出是从这些图像中提取的特征（如边缘、轮廓及不同物体的标识等）为特点的。最后，高级处理涉及在图像分析中被识别物体的总体理解，以及执行与视觉相关的识别函数（处在连续统一体边缘）等。 根据上述讨论，我们看到，图像处理和图像分析两个领域合乎逻辑的重叠区域是图像中特定区域或 物体的识别这一领域。这样，在研究中，我们界定数字图像处理包括输入和输出均是图像的处理，同时也包括从图像中提取特征及识别特定物体的处理。举一个简单的文本自动分析方面的例子来具体说明这一概念。在自动分析文本时首先获取一幅包含文本的图像，对该图像进行预处理，提取（分割）字符，然后以适合计算机处理的形式描述这些字符，最后识别这些字符，而所有这些操作都在本文界定的数字图像处理的范围内。理解一页的内容可能要根据理解的复杂度从图像分析或计算机视觉领域考虑问题。 数字图像处理实验报告 学生姓名王真颖 学生学号L0902150101 指导教师梁毅雄 专业班级计算机科学与技术1501 完成日期2017年11月06日 计算机科学与技术系信息科学与工程学院 目录 实验一.................................................................................................. 错误!未定义书签。 一、实验目的.................................................................................................... 错误!未定义书签。 二、实验基本原理 ........................................................................................... 错误!未定义书签。 三、实验内容与要求....................................................................................... 错误!未定义书签。 四、实验结果与分析....................................................................................... 错误!未定义书签。实验总结............................................................................................... 错误!未定义书签。参考资料.. (3) 实验一图像分割与边缘检测 一．实验目的 1. 理解图像分割的基本概念； 2. 理解图像边缘提取的基本概念； 3. 掌握进行边缘提取的基本方法； 龙源期刊网 https://www.wendangku.net/doc/eb18783671.html, 基于深度图像技术的手势识别方法 作者：付学娜 来源：《电子技术与软件工程》2015年第04期 所谓手势是指人手或手臂同人手结合而产生的动作或姿势，作为人机交互的一项重要技术，手势识别通过在人手安置相关的硬件设备，并通过硬件设备中的计算模块对人手的位置和速度等信息进行获取，对于识别过程中的定位和跟踪均都具有良好的指导和保障作用。本文通过对手势识别系统与深度图像的成像原理进行阐述，进而结合手势区域分割的相关理论，对基于深度图像技术的手势识别方法展开了深入研究。 【关键词】深度图像技术手势识别圆形轨迹像素值变化点 随着科技的不断发展，基于视觉的手势识别已成为新一代人机交互中的核心技术。在借助相关图像信息的基础上，计算机可以对人手的各种姿态信息以及不同的手势信息尽心准确识别，有效提高了识别的速度与质量。本文以基于深度图像技术的手势识别作为研究对象，通过对手势识别系统及深度图像成像原理进行分析，从手势区域分割以及手势特征提取两方面出发，对深度图像技术下手势识别的方法做出了详细分析。 1 手势识别系统与深度图像成像原理 基于深度图像技术的手势识别系统主要包括了手势、深度图像、手势区域分割、手势特征提取以及手势识别和人机交互等，深度图像以非接触测量的方式对场景中的深度信息进行采集，而所采集的深度信息具有较强的稳定性和可靠性，即不受物体（人手）自身颜色、背景环境和纹理特征等因素的影响。本文以微软的Kinect作为图像采集和获取深度信息的工具，进而对手势识别展开分析。 基于Kinect下的深度图像技术下所采集的640×480深度图像信息的速度可达30f/s，且信息的分辨率维持在5mm左右，在应用方面具有较强的合理性。通过在相关场景采集的场景深度值进行转换，使其转移到灰度值空间，并使深度图像中所有的像素点灰度值大小与实际场景中不同的深度值相对应，进而显示成像。值得注意的是品拍摄区域与深度摄像头之间的距离与图像中的灰度值呈现出明显的负相关关系，即灰度值越大，距离越近。 2 基于深度图像技术的手势识别 2.1 手势区域分割 虽然具有相同深度的像素点，其在深度图像中所具有的灰度值也具有较高的一致性，但由于在每次对人手手势进行拍摄时，人手同深度摄像头间的距离存在差异。因此，无法利用单一的固定阈值对手势区域进行分割，故本文以灰度值直方图作为主要研究方法，进而确定出相关背景及手势区域分割的阈值。由于人手做出相关姿势的区域距离深度摄像头较近，且相对于整 3.2 深度图像二值化 图像二值化是图像处理中的一项基本技术，也是很多图像处理技术的预处理过程。在颗粒分析、模式识别技术、光学字符识别(OCR)、医学数据可视化中的切片配准等应用中，图像二值化是它们进行数据预处理的重要技术。由于图像二值化过程将会损失原图像的许多有用信息，因此在进行二值化预处理过程中，能否保留原图的主要特征非常关键。在不同的应用中，图像二值化时阈值的选择是不同的。因此，自适应图像阈值的选取方法非常值得研究。研究者对图像二值化方法进行了讨论，在此基础上提出了一个新的图像二值化算法。该算法基于数学形态学理论，较好地保留了图像二值化时原图的边缘特征。本文主要研究二值化及灰度图像二值化方法。 3.2.1.灰度图像与二值图像 数字图像是将连续的模拟图像经过离散化处理后得到的计算机能够辨识的点阵 图像。在严格意义上讲，数字图像是经过等距离矩形网格采样，对幅度进行等间隔量化的二维函数。因此，数字图像实际上就是被量化的二维采样数组。一幅数字图像都是由若干个数据点组成的，每个数据点称为像素(pixel)。比如一幅 256×400，就是指该图像是由水平方向上256列像素和垂直方向上400行像素组成的矩形图。每一个像素具有自己的属性，如颜色(color)、灰度(grayscale)等，颜 色和灰度是决定一幅图像表现里的关键因素。数字图像又可分为彩色图像、灰度图像、二值图像。 3.2.1.1彩色图像 彩色图像是多光谱图像的一种特殊情况，对应于人类视觉的三基色即红（R）、绿（G）、蓝（B）三个波段，是对人眼的光谱量化性质的近似。彩色图像中的 每个像素的颜色有R、G、B三个分量决定，而每个分量有255种值可取，这样一个像素点可以有1600多万的颜色的变化范围。而灰度图像是R、G、B三个分量相同的一种特殊的彩色图像，一个像素点的变化范围为255种。图1-1为彩色图像。 基于matlab的图像边缘检测算法研究和仿真 目录 第1章绪论 1 1.1 序言 1 1.2 数字图像边缘检测算法的意义 1 第2章传统边缘检测方法及理论基础 2 2.1 数字图像边缘检测的现状与发展 2 2.2 MATLAB和图像处理工具箱的背景知识 3 2.3 数字图像边缘检测关于边缘的定义 4 2.4 基于一阶微分的边缘检测算子 4 2.5 基于二阶微分的边缘检测算子 7 第3章编程和调试 10 3.1 edge函数 10 3.2 边缘检测的编程实现 11 第4章总结 13 第5章图像边缘检测应用领域 13 附录参考文献 15 第1章绪论 §1.1 序言 理解图像和识别图像中的目标是计算机视觉研究的中心任务，物体形状、物体边界、位置遮挡、阴影轮廓及表面纹理等重要视觉信息在图像中均有边缘产生。图像边缘是分析理解图像的基础，它是图像中最基本的特征。在Marr的计算机视觉系统中，图像边缘提取占据着非常重要位置，它位于系统的最底层，为其它模块所依赖。图像边缘提取作为计算机视觉领域最经典的研究课题，长期受到人们的重视。 图像边缘主要划分为阶跃状和屋脊状两种类型。阶跃状边缘两侧的灰度值变化明显，屋脊状边缘则位于灰度增加与减少的交界处。传统的图像边缘检测方法大多是从图像的高频分量中提取边缘信息，微分运算是边缘检测与提取的主要手段。由于传统的边缘检测方法对噪声敏感，所以实际运用效果有一定的局限性。近年来，越来越多的新技术被引入到边缘检测方法中，如数学形态学、小波变换、神经网络和分形理论等。 Canny于1986年提出基于最优化算法的边缘检测算子，得到了广泛的应用，并成了与其它实验结果作比较的标准。其原因在于他最先建立了优化边缘检测算子的理论基础，提出了迄今为止定义最为严格的边缘检测的三个标准。另外其相对简单的算法使得整个过程可以在较短的时间实现。实验结果也表明，Canny算子在处理受加性高斯白噪声污染的图像方面获得了良好的效果[1]。 §1.2 数字图像边缘检测算法的意义 数字图像处理是控制领域的重要课题，数字图像边缘检测是图像分割、目标区域识别和区域形状提取等图像分析领域十分重要的基础，是图像识别中提取图像特征的一个重要方法。边缘中包含图像物体有价值的边界信息，这些信息可以用于图像理解和分析，并且通过边缘检测可以极降低后续图像分析和处理的数据量。图像理解和分析的第一步往往就是边缘检测，目前它已成为机器视觉研究领域最活跃的课题之一，在工程应用中占有十分重要的地位。 图像的边缘检测技术是数字图像处理技术的基础研究容，是物体识别的重要基础。边缘特征广泛应用于图像分割、运动检测与跟踪、工业检测、目标识别、双目立体视觉等领域。现有边缘检测技术在抑制噪声方面有一定的局限性，在阈值参数选取方面自适 图像边缘检测方法的研究与实现刘法200832800066 青岛大学专业课程设计 院系: 自动化学院 专业: 电子信息工程 班级: 08级电子信息工程3班学生姓名: 刘法 指导教师: 王汉萍庄晓东 日期: 2011年12月23日 题目：图像边缘检测方法的研究与实现 一、边缘检测以及相关概念 1．1边缘，边缘检测的介绍 边缘(edge)是指图像局部强度变化最显著的部分．边缘主要存在于目标与目标、目标与背景、区域与区域(包括不同色彩)之间，是图像分割、纹理特征和形状特征等图像分析的重要基础．图像分析和理解的第一步常常是边缘检测(edge detection)． 边缘检测是指使用数学方法提取图像像元中具有亮度值（灰度）空间方向梯度大的边、线特征的过程。 在讨论边缘算子之前，首先给出一些术语的定义： 边缘点：图像中具有坐标] ,[j i且处在强度显著变化的位置上的点．边缘段：对应于边缘点坐标] i及其方位 ，边缘的方位可能是梯度角． ,[j 边缘检测器：从图像中抽取边缘(边缘点和边缘段)集合的算法． 轮廓：边缘列表，或是一条表示边缘列表的拟合曲线． 边缘连接：从无序边缘表形成有序边缘表的过程．习惯上边缘的表示采用顺时针方向序． 边缘跟踪：一个用来确定轮廊的图像（指滤波后的图像）搜索过程． 边缘点的坐标可以是边缘位置像素点的行、列整数标号，也可以在子像素分辨率水平上表示．边缘坐标可以在原始图像坐标系上表示，但大多数情况下是在边缘检测滤波器的输出图像的坐标系上表示，因为滤波过程可能导致图像坐标平移或缩放．边缘段可以用像素点尺寸大小的小线段定义，或用具有方位属性的一个点定义．请注意，在实际中，边缘点和边缘段都被称为边缘．边缘连接和边缘跟踪之间的区别在于：边缘连接是把边缘检测器产生的无序边缘集作为输入，输出一个有序边缘集；边缘跟踪则是将一幅图像作为输入，输出一个有序边缘集．另外，边缘检测使用局部信息来决定边缘，而边缘跟踪使用整个图像信息来决定一个像素点是不是边缘． 1．2 边缘检测算子 边缘检测是图像特征提取的重要技术之一, 边缘常常意味着一个区域的终结和另一个区域的开始. 图像的边缘包含了物体形状的重要信息,它不仅在分析图像时大幅度地减少了要处理的信息量,而且还保护了目标的边界结构. 因此,边缘检测可以看做是处理许多复杂问题的关键. 边缘检测的实质是采用某种算法来提取出图像中对对象与背景间的交界线。图像灰度的变化情况可以用图像灰度分布的梯度来反映，因此可以用局部图像微分技术来获取边缘检测算子。经典的边缘检测方法是对原始图像中的像素的某个邻域来构造边缘检测算子。以下是对几种经典的边缘检测算子进行理论分析，并对各自的性能特点做出比较和评价。 边缘检测的原理是：由于微分算子具有突出灰度变化的作用，对图像进行微分运算，在图像边缘处其灰度变化较大，故该处微分计算值教高，可将这些微分值作为相应点的边缘强度，通过阈值判别来提取边缘点，即如果微分值大于阈值，则为边缘点。 2019年4月图 学 学 报 April2019第40卷第2期JOURNAL OF GRAPHICS V ol.40No.2 基于CNN特征提取和加权深度迁移的 单目图像深度估计 温静，安国艳，梁宇栋 (山西大学计算机与信息技术学院，山西太原 030006) 摘要：单目图像的深度估计可以从相似图像及其对应的深度信息中获得。然而，图像匹配歧义和估计深度的不均匀性问题制约了这类算法的性能。为此，提出了一种基于卷积神经网络(CNN)特征提取和加权深度迁移的单目图像深度估计算法。首先提取CNN特征计算输入图像在数据集中的近邻图像；然后获得各候选近邻图像和输入图像间的像素级稠密空间形变函数； 再将形变函数迁移至候选深度图像集，同时引入基于SIFT的迁移权重SSW，并通过对加权迁移后的候选深度图进行优化获得最终的深度信息。实验结果表明，该方法显著降低了估计深度图的平均误差，改善了深度估计的质量。 关键词：单目深度估计；卷积神经网络特征；加权深度迁移；深度优化 中图分类号：TP 391 DOI：10.11996/JG.j.2095-302X.2019020248 文献标识码：A 文章编号：2095-302X(2019)02-0248-08 Monocular Image Depth Estimation Based on CNN Features Extraction and Weighted Transfer Learning WEN Jing, AN Guo-yan, LIANG Yu-dong (School of Computer and Information Technology, Shanxi University, Taiyuan Shanxi 030006, China) Abstract: The depth estimation of monocular image can be obtained from the similar image and its depth information. However, the performance of such an algorithm is limited by image matching ambiguity and uneven depth mapping. This paper proposes a monocular depth estimation algorithm based on convolution neural network (CNN) features extraction and weighted transfer learning. Firstly, CNN features are extracted to collect the neighboring image gallery of the input image. Secondly, pixel-wise dense spatial wrapping functions calculated between the input image and all candidate images are transferred to the candidate depth maps. In addition, the authors have introduced the transferred weight SSW based on SIFT. The final depth image could be obtained by optimizing the integrated weighted transferred candidate depth maps. The experimental results demonstrate that the proposed method can significantly reduce the average error and improve the quality of the depth estimation. Keywords: monocular depth estimation;convolution neural network features; weighted depth transfer; depth optimization 收稿日期：2018-09-07；定稿日期：2018-09-12 基金项目：国家自然科学基金项目(61703252)；山西省高等学校科技创新项目(2015108) 第一作者：温静(1982 )，女，山西晋中人，副教授，博士，硕士生导师。主要研究方向为图像处理、计算机视觉等。E-mail：wjing@https://www.wendangku.net/doc/eb18783671.html, 目录 基于VC的图像边缘检测算法的研究与比较 摘要 图像的边缘是图像最基本的特征，它是灰度不连续的结果。图像分析和理解的第一步是边缘检测，因此边缘检测在图像处理中有着重要的作用。图像边缘检测大幅度地减少了数据量，并且剔除了可以认为不相关的信息，保留了图像重要的结构属性。 本文介绍了三种经典的图像边缘检测算子,并且运用强大的VC软件通过一个图像边缘检测的例子比较了它们的检测效果,分析了它们各自的特点,对学习边缘检测和具体工程应用具有很好的参考价值。 关键词: 图像处理,边缘检测, 算子,比较研究,VC Comparison AndAnalysis ForImageEdgeDetection Algorithms Based On VC Abstract Edge is the most basic feature of the image, it is the result of discontinuous gray. The first step in image analysis and understanding is edge detection, so edge detection plays an important role in image processing.Image edge detection significantly reduces the amount of data and removes irrelevant information,retains the important structural properties of images. This article describes three types of classical edge detection operators, and the use the powerful software called VC to do the edge detection through a comparison of examples of the effect of their detection, analysis the characteristics,this is good reference value for their learning edge detection and application of specific projects. Key Words:Image processing ,Edge detection ,Operator ,Comparative Study ,VC基于深度的图像修复实验分析报告
深度图像的平面分割算法
基于深度图像技术的手势识别方法
8 基于几何光学的单幅二维图像深度估计
基于小波变换的图像边缘检测算法
图像边缘检测算法体验步骤
深度学习在图像识别中的研究及应用
数字图像处理和边缘检测
实验三图像分割与边缘检测
基于深度图像技术的手势识别方法
深度图像的二值化
基于matlab的图像边缘检测算法研究和仿真设计
图像边缘检测方法的研究与实现刘法200832800066
基于CNN特征提取和加权深度迁移的单目图像深度估计
VC图像边缘检测算法研究报告与比较