基于激光雷达深度信息和视觉HOG特征的车辆识别与跟踪方法

２０１７年１２月第３１卷第６期

装甲兵工程学院学报

ＪｏｕｒｎａlｏｆＡｃａｄｅｍｙｏｆＡｒｍｏｒｅｄＦｏｒｃｅＥｎｇｉｎｅｅｒｉｎｇ

Ｄｅｃ．２０１７

Ｖｏl．３１Ｎｏ．６

文章编号：１６７２－１４９７（２０１７）０６－００８８－０８

基于激光雷达深度信息和视觉ＨＯＧ特征的

车辆识别与跟踪方法

贾子永１，任国全１，李冬伟２，赵爱德３

（１．陆军工程大学石家庄校区车辆与电子工程系，河北石家庄０５０００３；

２．北京理工大学机械与车辆学院，北京１０００８１；３．中国船舶工业集团第６３５４研究所，江西九江３３２１００）摘要：为提高无人车行驶过程中前方车辆检测的准确性和实时性，提出了基于激光雷达（ＬIｇｈｔＤｅｔｅｃｔｉｏｎＡｎｄＲａｎ－ｇｉｎｇ，ＬIＤＡＲ）深度信息和视觉方向梯度直方图（ＨｉｓｔｏｇｒａｍｓｏｆOｒｉｅｎｔｅｄＧｒａｄｉｅｎｔｓ，ＨOＧ）特征的车辆识别和跟踪方法。

目标首次进入视野时，聚类处理激光雷达深度信息并确定假设目标的候选区域，采用车辆尾部的ＨOＧ特征对假设目标进行验证。在ＨOＧ特征验证前，基于最小二乘支持向量机（ＬｅａｓｔＳｑｕａｒｅｓＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ，ＬＳ－ＳＶＭ）算法对样本集ＨOＧ特征进行训练学习，生成车辆分类器模型。对于验证后的目标车辆，采用激光雷达获取的深度信息对目标车辆进行持续跟踪。构建了２种车辆模型，结合最小二乘直线拟合方法提取出车辆特征，生成目标模型。

同时，提出了基于多特征马氏距离的目标关联代价方程，实现了多目标的关联；完成了基于卡尔曼滤波的车辆状态滤波和位置估计，更新了跟踪器模型。通过有效的管理策略，实现了目标跟踪的３个状态：１）初始化模型的生成；２）跟踪过程中跟踪器的更新与预测；３）目标驶离视野时跟踪器的删除。最后，通过试验验证了跟踪算法的有效性。

关键词：激光雷达（ＬIＤＡＲ）；视觉；车辆识别；车辆跟踪；数据关联

中图分类号：ＴＰ３９１．４ 文献标志码：ＡＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１６７２－１４９７．２０１７．０６．０１６

ＶｅｈｉｃｌｅＤｅｔｅｃｔｉｏｎａｎｄＴｒａｃｋｉｎｇＭｅｔｈｏｄＢａｓｅｄｏｎＬＩＤＡＲＤｅｐｔｈ

ＩｎｆｏｒｍａｔｉｏｎａｎｄＶｉｓｕａｌＨＯＧＦｕｓｉｏｎＦｅａｔｕｒｅ

ＪIＡＺｉ－ｙｏｎｇ１，ＲＥＮＧｕｏ－ｑｕａｎ１，ＬIＤｏｎｇ－ｗｅｉ２，ＺＨＡOＡｉ－ｄｅ３

（１．ＤｅｐａｒｔｍｅｎｔｏｆＶｅｈｉｃlｅａｎｄＥlｅｃｔｒｏｎｉｃＥｎｇｉｎｅｅｒｉｎｇ，ＳｈｉｊｉａｚｈｕａｎｇＣａｍｐｕｓｏｆＡｒｍｙＥｎｇｉｎｅｅｒｉｎｇＵｎｉｖｅｒｓｉｔｙ，Ｓｈｉｊｉａｚｈａｎｇ０５０００３，Ｃｈｉｎａ；

２．ＭｅｃｈａｎｉｃａlａｎｄＶｅｈｉｃlｅＣｏllｅｇｅ，ＢｅｉｊｉｎｇIｎｓｔｉｔｕｔｅｏｆＴｅｃｈｎｏlｏｇｙ，Ｂｅｉｊｉｎｇ１０００８１，Ｃｈｉｎａ；

３．Ｔｈｅ６３５４ＲｅｓｅａｒｃｈIｎｓｔｉｔｕｔｅ，ＣｈｉｎａＳｈｉｐｂｕｉlｄｉｎｇIｎｄｕｓｔｒｙＧｒｏｕｐ，Ｊｉｕｊｉａｎｇ３３２１００，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：IｎｏｒｄｅｒｔｏｉｍｐｒｏｖｅｔｈｅｖｅｒａｃｉｔｙａｎｄｉｎｓｔａｎｔａｎｅｉｔｙｏｆｐｒｅｃｅｄｉｎｇｖｅｈｉｃlｅｄｅｔｅｃｔｉｏｎｉｎｔｈｅｒｕｎｎｉｎｇｐｒｏｃｅｓｓｏｆＵＧＶ（ＵｎｍａｎｎｅｄＧｒｏｕｎｄＶｅｈｉｃlｅ），ａｖｅｈｉｃlｅｄｅｔｅｃｔｉｏｎａｎｄｔｒａｃｋｉｎｇｍｅｔｈｏｄｂａｓｅｄｏｎｄｅｐｔｈｉｎｆｏｒｍａｔｉｏｎａｎｄｖｉｓｕａlＨOＧ（ＨｉｓｔｏｇｒａｍｓｏｆOｒｉｅｎｔｅｄＧｒａｄｉｅｎｔｓ）ｆｅａｔｕｒｅｏｆＬIＤＡＲ（ＬIｇｈｔＤｅｔｅｃｔｉｏｎＡｎｄＲａｎｇｉｎｇ）ｉｓｐｒｏｐｏｓｅｄ．Ｗｈｅｎｔｈｅｔａｒｇｅｔｖｅｈｉｃlｅｅｎｔｅｒｓｔｈｅｖｉｓｉｏｎｏｆｔｅｓｔｉｎｇｆｉｅlｄｆｏｒｔｈｅｆｉｒｓｔｔｉｍｅ，ｔｈｅＬI－ＤＡＲｄｅｐｔｈｉｎｆｏｒｍａｔｉｏｎｉｓｐｒｏｃｅｓｓｅｄｂｙｃlｕｓｔｅｒｉｎｇａｎｄｔｈｅｃａｎｄｉｄａｔｅａｒｅａｏｆｔｈｅｈｙｐｏｔｈｅｔｉｃａlｔａｒｇｅｔｉｓｄｅ－ｔｅｒｍｉｎｅｄ，ａｎｄｔｈｅｈｙｐｏｔｈｅｔｉｃａlｔａｒｇｅｔｉｓｖｅｒｉｆｉｅｄｂｙｔｈｅＨOＧｆｅａｔｕｒｅｏｆｔｈｅｖｅｈｉｃlｅ’ｓｔａｉl．ＢｅｆｏｒｅｔｈｅＨOＧｆｅａｔｕｒｅｖｅｒｉｆｉｃａｔｉｏｎ，ｔｈｅＨOＧｆｅａｔｕｒｅｏｆｔｈｅｓａｍｐlｅｓｅｔｉｓｔｒａｉｎｅｄａｎｄlｅａｒｎｅｄｂａｓｅｄｏｎｔｈｅＬｅａｓｔＳｑｕａｒｅｓＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ（ＬＳ－ＳＶＭ）ａlｇｏｒｉｔｈｍｔｏｇｅｎｅｒａｔｅｔｈｅｖｅｈｉｃlｅｃlａｓｓｉｆｉｅｒｍｏｄｅl．Ｆｏｒｔｈｅｖｅｒｉｆｉｅｄｔａｒｇｅｔｖｅｈｉｃlｅ，ｔｈｅｄｅｐｔｈｉｎｆｏｒｍａｔｉｏｎａｃｑｕｉｒｅｄｂｙｔｈｅＬIＤＡＲｉｓｕｓｅｄｔｏｃｏｎｔｉｎｕｏｕｓlｙｔｒａｃｋｔｈｅｔａｒ－ｇｅｔｖｅｈｉｃlｅ．Ｔｗｏｖｅｈｉｃlｅｍｏｄｅlｓａｒｅｃｏｎｓｔｒｕｃｔｅｄ，ａｎｄｔｈｅｖｅｈｉｃlｅｆｅａｔｕｒｅｓａｒｅｅｘｔｒａｃｔｅｄｂｙｔｈｅlｅａｓｔｓｑｕａｒｅlｉｎｅｆｉｔｔｉｎｇｍｅｔｈｏｄｔｏｇｅｎｅｒａｔｅｔｈｅｔａｒｇｅｔｍｏｄｅl．Iｎａｄｄｉｔｉｏｎ，ｔｈｅｔａｒｇｅｔｃｏｒｒｅlａｔｉｏｎｃｏｓｔｅｑｕａｔｉｏｎｂａｓｅｄｏｎｍｕlｔｉ－ｆｅａｔｕｒｅＭａｈａlａｎｏｂｉｓｄｉｓｔａｎｃｅｉｓｐｒｏｐｏｓｅｄｔｏａｃｈｉｅｖｅｍｕlｔｉ－ｔａｒｇｅｔｃｏｒｒｅlａｔｉｏｎ．ＴｈｅＫａlｍａｎｆｉlｔｅｒｉｎｇｉｓｕｓｅｄｔｏｅｓｔｉｍａｔｅｔｈｅｖｅｈｉｃlｅｆｉlｔｅｒａｎｄｐｏｓｉｔｉｏｎ，ａｎｄｔｈｅｔｒａｃｋｅｒｍｏｄｅlｉｓｕｐｄａｔｅｄ．Ｔｈｒｅｅｓｔａｔｅｓ收稿日期：２０１７０８２９

作者简介：贾子永（１９９２），男，硕士研究生。

万方数据

测量气体体积的装置深度解析#(精选.)

测量气体体积的装置深度解析 个个击破2010-12-09 09:01:00 阅读294 评论0 字号：大中小订阅 1．（15分）不同浓度的硫酸与锌反应时，硫酸可以被还原为SO2，也可被还原为氢气。为了验证这一事实，某同学拟用下图装置进行实验（实验时压强为10lkPa，温度为0℃）。 （1）若在烧瓶中放入1.30g锌粒，与c mol／L H2SO4反应，为保证实验结论的可靠，量气管的适宜规格是_____________ 。 A．200 mL B．400 mL C．500mL （2）若1.30g锌粒完全溶解，氢氧化钠洗气瓶增重l.28g ，则圆底烧瓶中发生反应的化学方程式为：_______________________________________。 （3）若烧瓶中投入a g锌且完全反应，氢氧化钠洗气瓶增重b g．量气瓶中收集到VmＬ气体，则有：ag／65g·mol－1＝bg／64g·mol－1＋V mL / 22400 mL·mol－1，依据的原理是____________________________。 （4）若在烧瓶中投入d g锌，加入一定量的c mol／L 浓硫酸V L，充分反应后锌有剩余，测得氢氧化钠洗气瓶增重mg，则整个实验过程产生的气体中，n（H2）/n（SO2）＝_______________（用含字母的代数式表示）。若撤走盛有无水氯化钙的U型管，n（H2）/n（SO2）的数值将（填偏大、偏小或无影响） （5）反应结束后，为了准确地测量气体体积，量气管在读数时应注意： ①； ②； ③。 2．（16分）实验室有一瓶Na2SO3。固体，可能含有NaCl、Na2SO4、BaCl2、K2CO3、K2SO4中的一种或几种杂质，通过下列实验确定该样品的成分及Na2S03的质量分数。请回答下列问题： 已知： ①取少量样品于试管中，加水振荡，未见沉淀生成： ②通过元素分析仪器的检测，得知该样品中不含K元素； ③用下图所示仪器进行合理组装，测定产生气体的体积（SO2在硫酸中的溶解忽略不计） （1）按气流从左到右方向，正确的连接顺序为：A接____，接，接B。（2）利用所组装置，由分液漏斗向烧瓶中滴加l0mL水，理论上将排入量筒中mL液体。 （3）液体X是，其作用是

单双眼的视深度知觉

单双眼视深度知觉 2007年05月09日星期三 12:43 摘要本次实验使用深度知觉测量仪比较了两名女性被试单双眼在辨别远近中的差异，并学习了测量视觉深度知觉准确性的方法，探讨了单双眼对视觉深度知觉中的影响。全班被试实验结果表明，双眼和单眼辨别远近的能力有显著差异。关键词：单双眼视深度知觉辐合角差 1 前言 最早的深度知觉实验是H.von Helnholtz设计的三针实验。他将两根针垂直地固定在同一距离上，让被试移动处于它们之间但不在同一距离的另一根针，直到是他看起来刚刚和那两根针一样远为止。这跟针和那两根针的连线的垂直距离，就是深度知觉的误差。 1919年H.J.Howard设计了一个深度知觉测量仪，代替三针实验。这个测量仪上有一根固定的棒，在它的旁边还有一根可以前后移动的棒。被试在6m远处通过一个长方形窗口只能看到这两根半棒的中间部分，让他拉动一根绳子来调节可以移动的那根半的位置，直到他认为两根棒一样远为止。两根棒的距离之差，就是深度知觉的误差。Howard用恒定刺激法，取75%点作为阈限，测定了106个被试，结果发现，双眼的平均误差为14.4mm，其中误差仅5.5mm的有14人；误差有360mm的有24人。但单眼的平均误差则达到235mm，单眼和双眼平均误差值比为20：1。这足以表明双眼在深度知觉中的优势。 1934年，L.S.Woodburne用光的细缝代替棒，而光的细缝可随距离变化，使网膜像始终保持恒定。实验结果也证明深度知觉的阈限大约是2.12弧秒。 如用长度（mm）表示深度知觉的误差，就必须注明测定时的观察距离有多远。为了简便起见，深度知觉的误差常用辐合角的差来表示。辐合角是双眼视轴在注视点出现相交所形成的夹角。被判断为等远的两个物体所形成的辐合角之差，就可以作为深度知觉准确性的指标，辐合角差的计算如下： A和B是由被试判断为距离相等的两个点，它们和被试的距离分别为D和D+△D，LR为目间距，常用ɑ表示。在计算辐合角的差是要将弧度换算为角秒。辐合角差的计算公式为： 因各人的目间距不尽相同，在比较两人的辐合角差时，要用各自的目间距计算辐合角。有人用多数人目间距平均值（65mm）计算辐合角，只是为了方便罢了。杨博民用类似Howard设计的深度知觉测量仪对大学生测定的结果与Howard 的结果基本一致（见表20-1）。 本次实验探讨单双眼对视觉深度知觉中的影响，我们的实验假设是，全班被试双眼和单眼辨别远近的能力有显著差异。 2 方法 2.1 被试：两名女性大学生，身体健康，视力或者矫正视力正常。年龄均为22岁。 2.2 仪器和材料： Howard-Dolman深度知觉的测量器，遮眼勺。 2.3 实验设计： 本次实验的自变量是深度线索（单眼、双眼）；因变量是被试的深度视觉误差。 2.4 实验程序： 2.4.1让被试用双眼观察。将深度知觉器上固定的直棒作为标准刺激，可以移动的直棒作为变异刺激。让被试坐在离仪器窗口0.5m处，眼睛与窗口等高；

机器视觉检测系统【深度解读】

机器视觉检测系统 内容来源网络，由“深圳机械展（11万㎡，1100多家展商，超10万观众）”收集整理！ 更多cnc加工中心、车铣磨钻床、线切割、数控刀具工具、工业机器人、非标自动化、数字化无人工厂、精密测量、3D打印、激光切割、钣金冲压折弯、精密零件加工等展示，就在深圳机械展. 现代工业自动化生产中涉及到各种各样的检验、生产监视和零件识别应用，如汽车零配件批量加工的尺寸检查和自动装配的完整性检查、电子装配线的元件自动定位、IC上的字符识别等。通常这种带有高度重复性和智能性的工作是由肉眼来完成的，但在某些特殊情况下，如对微小尺寸的精确快速测量、形状匹配以及颜色辨识等，依靠肉眼根本无法连续稳定地进行，其它物理量传感器也难以胜任。人们开始考虑用CCD照相机抓取图像后送入计算机或专用的图像处理模块，通过数字化处理，根据像素分布和亮度、颜色等信息来进行尺寸、形状、颜色等的判别。这种方法是把计算机处理的快速性、可重复性与肉眼视觉的高度智能化和抽象能力相结合，由此产生了机器视觉检测技术的概念。 视觉检测技术是建立在计算机视觉研究基础上的一门新兴测试技术。与计算机视觉研究的视觉模式识别、视觉理解等内容不同，视觉检测技术重点研究的是物体的几何尺寸及物体的位置测量，如轿车白车身三维尺寸的测量、模具等三维面形的快速测量、大型工件同轴度测量以及共面性测量等，它可以广泛应用于在线测量、逆向工程等主动、实时测量过程。视觉检测技术在国外发展很快，早在20世纪80年代，美国国家标准局就曾预计未来90％的检测任务将由视觉检测系统来完成。因此仅在80年代，美国就有100多家公司跻身于视觉检测系统的经营市场，可见视觉检测系统确实很有发展前途。在近几届北京国际机床展览会上已

雷达目标识别发展趋势

雷达目标识别发展趋势 雷达具备目标识别功能是智能化的表现，不妨参照人的认知过程，预测雷达目标识别技术的发展趋势： (1)综合目标识别 用于目标识别的雷达必将具备测量多种目标特征的手段，综合多种特征进行目标识别。我们人类认知某一事物时，可以通过观察、触摸、听、闻、尝，甚至做实验的方法认知，手段可谓丰富，确保了认知的正确性。 目标特征测量的每种手段会越来越精确，就如同弱视的人看东西，肯定没有正常人看得清楚，也就不能认知目标。 识别结果反馈给目标特征测量，使目标特征测量成为具有先验信息的测量，特征测量精度会有所提高，识别的准确程度也会相应提高。 雷达具备同时识别目标和背景的功能。人类在观察事物的时候，不仅看到了事物的本身，也看到了事物所处的环境。现有的雷达大多通过杂波抑制、干扰抑制等方法剔除了干扰和杂波，未来的雷达系统需要具备识别目标所处背景的能力，这些背景信息在战时也是有用的信息。 雷达具备自适应多层次综合目标识别能力。用于目标识别的雷达虽然需要具备测量多种目标特征的手段，但识别目标时不一定需要综合所有的特征，这一方面是因为雷达系统资源不允许，另一方面也是因为没有必要精确识别所有的目标。比如司机在开车时，视野中有很多目标，首先要评价哪几个目标有威胁，再粗分类一下，是行人还是汽车，最后再重点关注一下靠得太近、速度太快的是行人中的小孩子还是汽车中的大卡车。 (2)自学习功能 雷达在设计、实现、装备的过程中，即具备了设计师的基因，但除了优秀的基因之外，雷达还需要具有学习功能，才能在实战应用中逐渐成熟。 首先，要具有正确的学习方法，这是设计师赋予的。对于实际环境，雷达目标识别系统应该知道如何更新目标特征库、如何调整目标识别算法、如何发挥更好的识别性能。 其次，要人工辅助雷达目标识别系统进行学习，这就如同老师和学生的关系。在目标识别系统学习时，雷达观测已知类型的合作目标，雷达操作员为目标识别系统指出目标的类型，目标识别系统进行学习。同时还可以人为的创造复杂的电磁环境，使目标识别系统能更好地适应环境。 (3)多传感器融合识别 多传感器的融合识别必定会提高识别性能，这是毋容置疑的。这就好比大家坐下来一起讨论问题，总能讨论出一个好的结果，至少比一个人说的话更可信。但又不能是通过投票的方式，专家的话肯定比门外汉更有说服力。多传感器融合识别需要具备双向作用的能力。 并不是给出融合识别的结果就结束了，而是要利用融合识别的结果反过来提高各个传感器的识别性能，这才是融合识别的根本目的所在。反向作用在一定程度上降低了人工辅助来训练目标识别系统的必要性，也减少了分别进行目标识别试验的总成本。

目标特性测量雷达平台建设构想

目标特性测量雷达平台建设构想 0 引言雷达目标电磁散射特性测量是雷达系统共性基础技术，主要研究雷达观测目标在入射电磁波照射激励下，目标在频率域、角度域、极化域的电磁散射机理与特性，包括窄带特性、宽带特性、极化特性等。要多维度精细认识目标，需要获取丰富的信息资源暨特征数据作为支撑，但是目前对目标的认识是通过既有的雷达提供的数据，传统雷达使命任务往往非常单一，同一雷达平台很难提供多种信息，要充分认识目标，需要多部雷达平台协作，成本高昂，而且数据协同上存在较大技术难度。 1目标特性的种类与作用 雷达目标特征隐含于雷达回波中，通过特定的波形设计和对回波幅度、相位、频谱等处理、分析及变换，得到表征雷达目标固有特征的参量。雷达目标电磁散射特性研究对雷达系统设计、成像与目标识别、目标隐身与反隐身探测等都具有极其重要的意义。 雷达目标特性的认识从宏观上包括两个方面：雷达目标尺度信息、雷达目标特征信息，研究内容有理论研究、仿真试验、静态测试和靶场动态测量等。当前对目标的认识主要通过静、动态测量来实现，大部分设备研制厂商更关注动态测量的效果[1] 。 静态测量：室外场测量系统主要包括发射与接收设备、目标 支架与转台、定标体、数据采集与记录、控制系统等。 动态测量：与静态测量相比，利用目标处于动态（飞行）等实际工

作状态时，测量获取目标的电磁散射特性数据是最真实、最可信、最有效的，动态测量平台雷达可分布于靶场等测量试验区域，包括地面固定平台和为车载、舰载、机载等移动平台。 2目标特性测量平台设计 在目标特性测量方面，国内相关单位已研制并装备频率覆盖多个波段、多种型号的目标特性测量雷达，满足动态目标特性测量的需求。但外场测量设备功能及数量有限，难以满足多平台、全频段、双站散射、多极化的测量需求。当前目标各种特征信息分析已经取得了很大的成绩，同时如何获取更为全面、精细的目标多维特征愈显重要，需要一种综合平台，实时完成目标特性信息的采集、处理、结果输出、存储及比对。 2.1信息采集系统（雷达）一般来说，由于发射波形、接收线性动态范围、变极化、幅度与相位标定等要求不同，特征测量与精密跟踪互相矛盾，对于一部雷达其功能只能进行设计侧重。采用模块化、集成化雷达设计思想，建立通用系统平台，其频段、波形、极化通道等模块化设计选择配装，后端数字接收、信号处理、数据处理平台公用，这样可以用一个平台完成多部雷达功能。 2.2信息采集系统（标校） 测量平台作为标尺，其本身的精度与稳定性要求非常高，因此需要完备的标校系统来校正设备，主要完成测量平台雷达距离、角度零位标定；进行雷达发射、接收、跟踪通道的检查及配合校准等；完成雷达测量通道的一致性检查校准；数据录取、存储、导入导出功能无线指

雷达信号处理及目标识别分析系统方案

雷达信号处理及目标识别分系统方案 西安电子科技大学 雷达信号处理国家重点实验室 二○一○年八月

一 信号处理及目标识别分系统任务和组成 根据雷达系统总体要求，信号处理系统由测高通道目标识别通道组成。它应该在雷达操控台遥控指令和定时信号的操控下完成对接收机送来的中频信号的信号采集，目标检测和识别功能，并输出按距离门重排后的信号检测及识别结果到雷达数据处理系统，系统组成见图1-1。 220v 定时信号 目标指示数据 目标检测结果输出目标识别结果输出 图1-1 信号处理组成框图 二 测高通道信号处理 测高信号处理功能框图见图2-1。 s 图2-1 测高通道信号处理功能框图

接收机通道送来中频回波信号先经A/D 变换器转换成数字信号，再通过正交变换电路使其成为I 和Q 双通道信号，此信号经过脉冲压缩处理，根据不同的工作模式及杂波区所在的距离单元位置进行杂波抑制和反盲速处理，最后经过MTD 和CFAR 处理输出检测结果。 三 识别通道信号处理 识别通道信号处理首先根据雷达目标的运动特征进行初分类，然后再根据目标的回波特性做进一步识别处理。目标识别通道处理功能框图见图3-1所示。 图3-1 识别通道处理功能框图 四 数字正交变换 数字正交变换将模拟中频信号转换为互为正交的I 和Q 两路基带信号，A/D 变换器直接对中频模拟信号采样，通过数字的方法进行移频、滤波和抽取处理获得基带复信号，和模拟的正交变换方法相比，消除了两路A/D 不一致和移频、滤波等模拟电路引起的幅度相对误差和相位正交误差，减少了由于模拟滤波器精度低，稳定性差，两路难以完全一致所引起的镜频分量。 目标识别结果输出

利用激光雷达检测车道线的4种方法

利用激光雷达检测车道线的4种方法 通过理论分析和实验验证可知一二两层返回的信息主要包括路面、车道线、少量障碍物和边界数据；三四两层主要返回道路边界、障碍物和少量路表信息，所以在特征种子点提取阶段需要重点分析一二两层的雷达数据，这部分数据中对于车道线检测最大的干扰在于路面，提取车道线种子点特征的重点就是分离车道线特征与路面特征。 基于视觉系统的车道线检测有诸多缺陷首先，视觉系统对背景光线很敏感，诸如阳光强烈的林荫道，车道线被光线分割成碎片，致使无法提取出车道线。 其次，视觉系统需要车道线的标识完整，有些年久失修的道路，车道线标记不明显，不完整，有些刚开通几年的道路也是如此。 第三，视觉系统需要车道线的格式统一，这对按照模型库识别车道线的系统尤其重要，有些车道线格式很奇特，比如蓝颜色的车道线，很窄的车道线，模型库必须走遍全国将这些奇特的车道线一一收录，才能保证顺利检测。 再次，视觉系统无法对应低照度环境，尤其是没有路灯的黑夜。一般LKW要求时速在72公里以上才启动，原因之一是速度比较高时人不会轻易换道，另一个原因就是比较低的车速意味着视觉系统的取样点不足，拟合的车道线准确度较低。而激光雷达的有效距离一般是视觉系统的4-5倍，有效的采样点比较多，车速较低时检测准确度远高于视觉系统。 最后，如果车道线表面被水覆盖，视觉系统会完全无效。视觉系统最大的优点就是成本低。因此自2008年后，学术界已经很少研究基于视觉系统的车道线检测，转而利用激光雷达检测车道线，激光雷达可以解决上述所有问题，包括车道线被水覆盖，激光雷达最大可穿越70米的水深。 激光雷达唯一的缺点就是成本太高。 基于雷达扫描点密度的车道线检测早期激光雷达检测车道线是基于雷达扫描点密度的车道线检测方法，该方法通过获取雷达扫描点的坐标并转换成栅格图，用原始数据映射栅格图，可以是直接坐标栅格图也可以是极坐标栅格图。 按照后期处理需要进行选择，极坐标栅格图被直接用于车道线识别，即有多个点映射的栅

一种融合激光和深度视觉传感器的SLAM地图创建方法

第33卷第10期 2016萃1〇月 计算机应用研究 Application Research of Computers Vol. 33 No. 10Oct. 2016 一种融合激光和深度视觉传感器的 SLAM 地图创建方法$ 张毅，杜凡宇，罗元，熊艳 (重庆邮电大学信息无障碍工程研发中心，重庆400065) 摘要：针对移动机器人的不确定复杂环境，一般采用单一传感器进行同时定位和地图创建（S L A M )存在精度 较低，并且易受干扰、可靠性不足等问题，提出一种基于B a y e s 方法的激光传感器和R G B -D 传感器的信息融合 S L A M 方法。利用B a y e s 方法通过概率启发式模型提取光束投影到栅格地图单元，充分利用激光与视觉信息中 的冗余信息，提取一致性特征信息，并进行特征级的信息融合;在地图更新阶段，提出一种融合激光传感器和视 觉传感器的贝叶斯估计方法，对栅格地图进行更新。在使用R 0S (移动机器人操作系统）的实验平台上的实验 表明，多传感器信息融合可以有效提高S L A M 的准确度和鲁棒性。关键词：贝叶斯；地图创建；深度视觉；多传感器融合；导航中图分类号：T P 274 文献标志码：A 文章编号：1001-3695(2016)10-2970-03 d o i : 10. 3969/j . is s n . 1001-3695.2016.10.022 Map-building approach based on laser and depth visual sensor fusion SLAM Zhang Y i ，Du F a n y u , Luo Y u a n , X io n g Y an (Engineering Research Center of Information Accessibility , Chongqing University of Posts & Telecommunications, Chongqing 400065 , China ) Abstract ： W hen robots locate themselves in com plex and u n certa in ty e n vironm ents , the sim ultaneous localiza tion and m apping (S L A M ) system w ith a single sensor is poor in accuracy and r e lia b ility ,and susceptible to the inte rfe re n ce . T h is paper presen -ted a m ethod o f data fusion fo r laser and depth visual based on Bayesian estim ation S L A M , w hich were inte rpre ted by a pro b a b i -lis tic h e u ristic m odel th a t abstracted the beam in to a ray casting to an occupied g rid c e ll and take fu ll advantage o f re d u n d a n ce , features info rm atio n o f consistency proposed and fu sio n . In order to update the occupancy g r id ,it a p plied the Bayesian estim a -tio n m ethod to both sensor data arrays . E xperim ent based on ROS study shows th a t m u lti-senso r based on Beyesian yie ld s a sig -n ific a n t im provem ent between accuracy and robustness about S L A M .Key words ： B ayes ； m ap -b u ild in g ； depth v is io n ； m u lti-senso r fu s io n ； navigation 同时定位和地图创建（sim ultaneous lo ca liza tio n and m ap - p in g ，S LA M )是移动机器人在解决未知环境中的探索、侦查、导 航等各项问题的基础和关键。机器人根据自身携带的传感器 获取观测信息创建环境地图，同时根据部分已创建地图估计机 器人的位姿[1]。自从S m k h 等人提出该问题的概率方法以来， S L A M 广受关注，成为当前智能机器人研究的热点问题，被很 多著名学者认为是实现真正全自主移动机器人的关键。在实 际应用中，采用单一传感器存在漏检、检测精度不高、目标信噪 比较低等问题。而多传感器融合系统采用多个传感器量测冗 余和互补信息，通过多源数据融合技术有效提升同时定位和地 图创建的观测区域、鲁棒性、容错性以及定位精度。 多传感器数据融合已经运用于机器人的许多方面,如地图 创建、定位、路径规划、探险、同时定位和地图创建。文献[2 ~ 6 ]将多传感器融合得到的环境地图进行S L A M 研究，都取得了 较好的效果。一旦创建了环境地图，分层架构的移动机器人将 会应用定位、路径规划、避障和控制等模块完成相应的功能，实 现机器人的完全自治。其中，贝叶斯方法提供了传感器融合问 题方面的一些基本方法，它也是数据融合方法的理论基础。本 文采用改进的贝叶斯方法将新颖的R G B -D 深度视觉传感器数 据与激光传感器数据融合,建立机器人环境的合理不确定度模 型并进行地图的创建。所采用的传感器概率模型为投影栅格 法。最后本文通过实验验证其可行性，从而也表明通过多传感 器融合能够创建更可靠、更精确的地图。 1传感器模型 微软X b 〇x 360 R G B -D 视觉传感器如图1所示。它可以同 时获得环境颜色信息（R G B )和深度信息（d e p th )，水平视角为 58。，垂直视角为45。，观测距离为0. 8 ~ 3. 5 m 。H o k u y o 激光测 距仪(la s e r range fin d e r ,L R F )如图2所示。其结构简单，扫描 速度快,且数据点密集、准确。它的感知距离为0.1 ~30 m ，测 量精度为±3 m m ，容差为10 m 。每秒可以进行40次270。范围 内的扫描。 H o k u y o 激光测距仪和R G B -D 视觉传感器的测量范围如 图3所示。激光测距仪测量范围明显比R G B -D 视觉传感器测 收稿日期：2015-07-15;修回日期：2015-08-31 基金项目：科技部国际合作资助项目（2010DFA12160);重庆市科技攻关资助项目 (CSTC2010AA2055) 作者简介：张毅（1965-),男，重庆潼南人，教授，博士，主要研究方向为机器人及应用、数据融合、信息无障碍技术；杜凡宇（1989-),男，四川南 充人，硕士，主要研究方向为移动机器人自主导航（353861258@ q q.c o m );罗元（1972-),女，湖北宜昌人，教授，博士，主要研究方向为机器视觉、智 能信号处理；熊艳（1989-),女，贵州贵阳人，硕士，主要研究方向为移动机器人自主导航.

视觉传感器项目经济效益分析报告

第一章项目建设背景 一、产业发展分析 智能制造是基于新一代信息通信技术与先进制造技术深度融合， 贯穿于设计、生产、管理、服务等制造活动的各个环节，具有自感知、自学习、自决策、自执行、自适应等功能的新型生产方式。加快发展 智能制造，是培育我国经济增长新动能的必由之路，是抢占未来经济 和科技发展制高点的战略选择，对于推动我国制造业供给侧结构性改革，打造我国制造业竞争新优势，实现制造强国具有重要战略意义。 （一）发展现状和形势 全球新一轮科技革命和产业变革加紧孕育兴起，与我国制造业转 型升级形成历史性交汇。智能制造在全球范围内快速发展，已成为制 造业重要发展趋势，对产业发展和分工格局带来深刻影响，推动形成 新的生产方式、产业形态、商业模式。发达国家实施“再工业化”战略，不断推出发展智能制造的新举措，通过政府、行业组织、企业等 协同推进，积极培育制造业未来竞争优势。 经过几十年的快速发展，我国制造业规模跃居世界第一位，建立 起门类齐全、独立完整的制造体系，但与先进国家相比，大而不强的 问题突出。随着我国经济发展进入新常态，经济增速换挡、结构调整

阵痛、增长动能转换等相互交织，长期以来主要依靠资源要素投入、 规模扩张的粗放型发展模式难以为继。加快发展智能制造，对于推进 我国制造业供给侧结构性改革，培育经济增长新动能，构建新型制造 体系，促进制造业向中高端迈进、实现制造强国具有重要意义。 随着新一代信息技术和制造业的深度融合，我国智能制造发展取 得明显成效，以高档数控机床、工业机器人、智能仪器仪表为代表的 关键技术装备取得积极进展；智能制造装备和先进工艺在重点行业不 断普及，离散型行业制造装备的数字化、网络化、智能化步伐加快， 流程型行业过程控制和制造执行系统全面普及，关键工艺流程数控化 率大大提高；在典型行业不断探索、逐步形成了一些可复制推广的智 能制造新模式，为深入推进智能制造初步奠定了一定的基础。但目前 我国制造业尚处于机械化、电气化、自动化、数字化并存，不同地区、不同行业、不同企业发展不平衡的阶段。发展智能制造面临关键共性 技术和核心装备受制于人，智能制造标准/软件/网络/信息安全基础薄弱，智能制造新模式成熟度不高，系统整体解决方案供给能力不足， 缺乏国际性的行业巨头企业和跨界融合的智能制造人才等突出问题。 相对工业发达国家，推动我国制造业智能转型，环境更为复杂，形势 更为严峻，任务更加艰巨。我们必须遵循客观规律，立足国情、着眼

浅谈机器视觉传感器

浅谈机器视觉传感器 机器视觉传感器是整个机器视觉系统信息的直接来源,它的选择取决于准确性、输出、灵敏度、机器视觉系统的成本以及对应用要求的充分理解。对传感器主要性能的基本理解能够帮助开发人员迅速缩小他们的查找范围，找到合适的传感器。 大多数的机器视觉系统的用户认识到相机是系统的关键要素，经常把它当作视觉系统的“芯片”。相机本身是一个复杂的系统：包括镜头、信号处理器、通讯接口，以及最核心的部分——把光子转换成电子的器件：图像传感器。镜头和其它的部件共同配合来支持相机的功能，传感器最终决定相机的最高性能。 业内的许多讨论都集中在加工技术上，以及CMOS和CCD传感器孰优孰劣。这两种技术都有其优势和不足之处，所加工的传感器有着不同的性能。最终用户关心的不是传感器是“如何”被制造出来的，而是其在最终应用中的表现。 在指定的应用中，三个关键的要素决定了传感器的选择：动态范围、速度和响应度。动态范围决定系统能够抓取的图像的质量，也被称作对细节的体现能力。传感器的速度指的是每秒种传感器能够产生多少张图像和系统能够接收到的图像的输出量。响应度指的是传感器将光子转换为电子的效率，它决定系统需要抓取有用的图像的亮度水平。传感器的技术和设计共同决定上述特征，因此系统开发人员在选择传感器时必须有自己的衡量标准，详细的研究这些特征将有助于做出正确的判断。 正确理解动态范围 传感器的动态范围是最容易使人疑惑和误解的地方，这是因为机器视觉系统是数字的。图像的动态范围包括两部分：一是传感器能够工作的曝光范围（亮度的倍数）；其次是传感器能够数字化像素信号的电平的数量，用位数表示。这两部分通常是紧密相关的。 曝光的动态范围表示传感器能够正常工作的亮度水平。当光子撞击图像传感器的活动像素区域时产生电子，传感器将其捕获并存储起来以备系统读取。撞击活动区域的光子数越多，产生的电子数就越多，在读取的间隔中，该过程持续的时间越长，被存储的电子就越多。决定传感器曝光动态范围的参数之一就是填充存储阱的曝光。制造传感器的半导体加工工艺和电路设计共同决定阱的容量或深度。 电子噪音是传感器能够工作的最低曝光水平，尽管没有任何光子撞击活动的像素区域，图像传感器也将以热量发射的形式产生电子。要产生可识别的信号，必须有足够的光子撞击活动的像素区域，以便在存储阱中有比暗电流噪音所产生的电子数更多的电子。传感器的最低曝光率是产生至少与噪音电子同样多的光电子数。只有在超过噪音等量的曝光水平时，传感器才能产生有用的信息。 传感器的曝光动态范围是由其物理和电路设计所决定的功能，而数字动态范围只是由电路设计所决定的功能。图像传感器的数字动态范围只是说明它能够提供给视觉系统的明显

视觉系统的几大关键技术

视觉系统的几大关键技术 机器人视觉系统是指用计算机来实现人的视觉功能，也就是用计算机来实现对客观的三维世界的识别。人类接收的信息70%以上来自视觉，人类视觉为人类提供了关于周围环境的详细可靠信息。 人类视觉所具有的强大功能和完美的信息处理方式引起了智能研究者的极大兴趣，人们希望以生物视觉为蓝本研究一个人工视觉系统用于机器人中，期望机器人拥有类似人类感受环境的能力。机器人要对外部世界的信息进行感知，就要依靠各种传感器。就像人类一样，在机器人的众多感知传感器中，视觉系统提供了大部分机器人所需的外部相界信息。因此视觉系统在机器人技术中具有重要的作用。 依据视觉传感器的数量和特性，目前主流的移动机器人视觉系统有单目视觉、双目立体视觉、多目视觉和全景视觉等。 单目视觉，单目视觉系统只使用一个视觉传感器。单目视觉系统在成像过程中由于从三维客观世界投影到N维图像上，从而损失了深度信息，这是此类视觉系统的主要缺点(尽管如此，单目视觉系统由于结构简单、算法成熟且计算量较小，在自主移动机器人中已得到广泛应用，如用于目标跟踪、基于单目特征的室内定位导航等。同时，单目视觉是其他类型视觉系统的基础，如双目立体视觉、多目视觉等都是在单目视觉系统的基础上，通过附加其他手段和措施而实现的。 双目立体视觉。双目视觉系统由两个摄像机组成，利用三角测量原理获得场景的深度信息，并且可以重建周围景物的三维形状和位置，类似人眼的体视功能，原理简单。双目视觉系统需要精确地知道两个摄像机之间的空间位置关系，而且场景环境的3D信息需要两个摄像机从不同角度，同时拍摄同一场景的两幅图像，并进行复杂的匹配，才能准确得到立体视觉系统能够比较准确地恢复视觉场景的三维信息，在移动机器人定位导航、避障和地图构建

双目视觉传感器系统

双目视觉传感器系统 视觉检测广泛地应用于工件的完整性、表面平整度的测量:微电子器件(IC芯片、PC板、BGA)等的自动检测;软质、易脆零部件的检测;各种模具三维形状的检测;机器人的视觉导引等。最具有吸引力的是由视觉传感器阵列组成的大型物体(如白车身)空间三维尺寸多传感器视觉检测系统。 双目视觉传感器由两台性能相同的面阵CCD摄像机组成,基于立体视差的原理,可完成视场内的所有特征点的三维测量,尤其是其它类型的视觉传感器所不能完成的测量任务,如圆孔的中心、三棱顶点位置的测量等。因此,双目视觉传感器是多传感器视觉检测系统的主要传感器之一。要实现双目视觉传感器直接测量大型物体关键点的三维测量,就必须知道传感器的内部参数(摄像机的参数)、结构参数(两摄像机间的位置关系)及传感器坐标系与检测系统的整体坐标系的关系(即全局标定)。因此,在实际测量之前,先要对摄像机进行参数标定。一般方法是,传感器被提供给整个系统使用前,就离线完成传感器的内部参数及结构参数的标定,采用一标准二维精密靶标及一维精密导轨,通过移动导轨来确定坐标系的一个坐标,通过摄像机的像面坐标及三个世界坐标的对应关系求得这些参数。 这种方法的缺点是:标定过程中,需要精确调整靶标与导轨的垂直关系,而且需多次准确移动导轨;同时标定过程的环境与实际测量的情形有差异;传感器在安装的过程中,易引起部分参数的变化,需多次的拆卸;摄像机还需进行全局标定。由此可知标定的劳动强度大,精度难以保证。本文提出了一种现场双目传感器的标定方法,只需先确定摄像机的部分不易变化的参数,其它参数在摄像机安装到整个系统后进行标定。该方法大大地减少了上述因素的影响,能得到满意的标定精度。 双目视觉测量探头由2个CCD摄像机和1个半导体激光器组成，如下图所示。

智能的视觉传感器技术及应用【深度解析】

智能的视觉传感器技术及应用 内容来源网络，由“深圳机械展（11万㎡，1100多家展商，超10万观众）”收集整理！ 更多cnc加工中心、车铣磨钻床、线切割、数控刀具工具、工业机器人、非标自动化、数字化无人工厂、精密测量、数控系统、3D打印、激光切割、钣金冲压折弯、精密零件加工等展示，就在深圳机械展. 视觉传感技术是传感技术七大类中的一个，视觉传感器是指：通过对摄像机拍摄到的图像进行图像处理，来计算对象物的特征量（面积、重心、长度、位置等），并输出数据和判断结果的传感器。 一、视觉传感器概述 视觉传感技术是传感技术七大类中的一个，视觉传感器是指：通过对摄像机拍摄到的图像进行图像处理，来计算对象物的特征量（面积、重心、长度、位置等），并输出数据和判断结果的传感器。 二、分类 1、3D视觉传感技术 3D视觉传感器具有广泛的用途，比如多媒体手机、网络摄像、数码相机、机器人视觉导航、汽车安全系统、生物医学像素分析、人机界面、虚拟现实、监控、工业

检测、无线远距离传感、显微镜技术、天文观察、海洋自主导航、科学仪器等等。这些不同的应用均是基于3D视觉图像传感器技术。特别是3D影像技术在工业控制、汽车自主导航中具有急迫的应用。 2、智能视觉传感技术 智能视觉传感技术下的智能视觉传感器也称智能相机，是近年来机器视觉领域发展最快的一项新技术。智能相机是一个兼具图像采集、图像处理和信息传递功能的小型机器视觉系统，是一种嵌入式计算机视觉系统。它将图像传感器、数字处理器、通讯模块和其他外设集成到一个单一的相机内，由于这种一体化的设计，可降低系统的复杂度，并提高可靠性。同时系统尺寸大大缩小，拓宽了视觉技术的应用领域。 智能视觉传感器的易学、易用、易维护、安装方便，可在短期内构建起可靠而有效的视觉检测系统等优点使得这项技术得到飞速的发展。 三、视觉传感技术的实现基础 视觉传感器的图像采集单元主要由CCD/CMOS像机、光学系统、照明系统和图像采集卡组成，将光学影像转换成数字图像，传递给图像处理单元。通常使用的图像传感器件主要有CCD图像传感器和CMOS图像传感器两种。下面将介绍两种传感器的实现原理及优缺点。 类别CCD CMOS 生产线专用通用 成本高低

单目视觉图像深度测量方法研究

单目视觉图像深度测量方法研究 相机与其它传感器相比,具有能够直观反映客观世界、数据量大、信息丰富等特点,而且通常价格较低、配置方便,是自动化装置和机器人感知环境传感器中的优先选择之一。但由于普通相机在拍摄时获得的是被拍摄场景投影到成像平面上的二维图像,丢失了场景的深度信息,这使得机器无法通过图像直接得到场景中物体的远近、大小和运动速度等信息,因此需要从二维图像中恢复深度信息,即深度测量。深度测量在工业自动化、智能机器人、目标检测和跟踪、智能交通、三维建模和3D视频制作等领域都有广泛的应用。深度测量方法有很多种,其中基于单目视觉的图像深度测量方法具有设备简单、成本低廉、操作方便等特点而成为研究热点,并且单目相机体积小,重量轻,在一些有空间大小或载荷限制的特定场合以及手眼系统等应用中,需要或只能使用基于单目视觉的图像深度测量方法,而目前该测量方法还很不成熟,有必要对其计算原理、技术方法等方面进行研究。 因此本文对基于单目视觉的图像深度测量方法开展研究,主要工作和创新点如下:(1)提出一种基于熵和加权Hu氏不变矩的目标物体绝对深度的测量方法。该方法用普通单目相机拍摄同一场景的两幅图像,拍摄时保持相机的参数不变,将相机沿光轴方向移动,分别在物距间隔为d的前后两处各拍摄一幅图像,然后采用LBF模型的方法分割出图像中的物体,并求出各个目标物体像的面积,再将物体像的熵的相对变化率和加权Hu氏不变矩结合起来实现图像内物体的自动匹配,最后运用本文推导的公式计算出各个目标物体的绝对深度。文中采用真实场景图像对该方法进行了实验验证并与其他方法进行了对比,结果表明了该方法的有效性。(2)提出一种基于SIFT特征的目标物体绝对深度的测量方法,该方法同样需要按照上面的方法获取同一场景的两幅图像,然后分别对这两幅图像进行图像分割和SIFT特征点提取,并进行图像中的目标物体匹配,接着用凸包和几何形状约束从匹配物体中选出一对最佳直线段,最后根据光学成像原理利用直线段长度计算出场景中静态目标物体的绝对深度信息。 由于是通过被测量物体上的两个SIFT特征点所成的直线段长度来计算出物体的绝对深度信息的,所以该方法鲁棒性较好,不受场景中被测量目标物体部分遮挡或缺失的限制,对比实验表明该方法测量精度高于现有其他方法。(3)提出一种基于梯度信息和小波分析的单幅图像相对深度测量方法。该方法首先利用图像

中国视觉图像传感器行业深度研究及市场前景预

2017-2022年中国视觉图像传感器行业深度研究及市场前景预测报告

一、基本信息 报告名称：2017-2022年中国视觉图像传感器行业深度研究及市场前景预测报告 报告编号：0779722 市场价：纸介版：7800元电子版：8000元纸介＋电子版：8200元 优惠价：￥7200 元 咨询热线：400 612 8668、、传真： Email： 在线阅读：-08/2011_2016shijuetuxiangchuanganqixing/ 提示信息：订购英文、日文等版本报告，请拨打订购咨询电话或发邮件咨询。 二、内容介绍 2011-2016年视觉图像传感器行业发展趋势及投资规划分析报告-- 在大量周密的市场调研基础上，主要依据了国家统计局、国家商务部、国家发改委、国务院发展研究中心、中国海关总署、化工行业协会、国内外相关刊物的基础信息以及化工行业专业研究单位等公布和提供的大量资料，结合深入的市场调查资料，立足于当前金融危机对全球及中国宏观经济、政策、主要行业的影响，重点探讨了视觉图像传感器行业的整体及其相关子行业的运行情况，并对未来视觉图像传感器行业的发展趋势和前景进行分析和预测。 《2017-2022年中国视觉图像传感器行业深度研究及市场前景预测报告》数据及时全面、图表丰富、反映直观，在对市场发展现状和趋势进行深度分析和预测的基础上，研究了视觉图像传感器行业今后的发展前景，为企业在当前激烈的市场竞争中洞察投资机会，合理调整经营策略；为战略投资者选择恰当的投资时机，公司领导层做战略规划，提供了准确的市场情报信息以及合理的参考性建议，《2017-2022年中国视觉图像传感器行业深度研究及市场前景预测报告》是相关企业、相关研究单位及银行政府等准确、全面、迅速了解目前该行业发展动向、把握企业战略发展定位方向不可或缺的专业性报告。 第一章中国视觉图像传感器行业发展状况综述 第一节中国视觉图像传感器行业界定 一、视觉图像传感器行业的界定及分类 二、视觉图像传感器行业的特征 三、视觉图像传感器的主要用途

图像深度与双目视觉

图像深度与双目视觉 平行式双目视觉 双目视觉技术是基于视差原理，通过两台成像设备从不同的角度拍摄场景图像或是由单个成像设备在不同时刻从不同的角度拍摄场景图像，利用图像对中对应点所处图像对位置的偏差，以及三维成像原理就可以计算出被测点的深度信息。双目视觉的模型中，又可分为平行式双目视觉和非平行式双目视觉，其中平行式双目视觉模型最简单，应用也最为广泛，双目视觉模型的示意图如图所示。 平行式双目视觉 平行式双目视觉中，两成像平面共面，两摄像头光轴平行，且图像两图像垂直对准，则点P 在左右成像平面中的视差就是二者x坐标的之差。

非平行式双目视觉 非平行式双目视觉中，两成像平面相交，两摄像机光轴相交于远处一点或是空间异面，点A 在左右视图中形成的视差在成像平面的x、y方向均有分量，通过坐标变换矩阵来实现三维 重建和深度计算，计算量大且较难实现。 三角测量原理 基于平行式双目视觉，在获得空间某点P在左右视图中的视差d后，用三角测量的原理即可恢复出P点的深度信息，如图所示 三角测量原理

如图，两摄像机距离为T，焦距均为f，点P在左右视图中的视差为 ，则点P的深度信息可以用相似三角形的原理算出： 即： 从上式可以看出，图像的深度与相机焦距和两相机距离成正比，与视差成反比，对于同一个双目视觉系统，图像深度仅与视差有关，其二者成非线性关系。当视差接近于0时，微小的视差变化也会导致很大的深度变化；当视差较大时，微小的视差变化几乎不会引起深度多大的改变。结果就是，这样的双目视觉系统仅对于物体与摄像机相距较近的时候才有较高的深度精度。 图像深度与视差关系

立体匹配算法的一般步骤 一、匹配代价计算 匹配代价计算是整个立体匹配算法的基础，实际是对不同视差下进行灰度相似性测量。常见的方法有灰度差的平方SD（squared intensity differences），灰度差的绝对值AD（absolute intensity differences）等。另外，在求原始匹配代价时可以设定一个上限值，来减弱叠加过程中的误匹配的影响。以AD法求匹配代价为例，可用下式进行计算，其中T为设定的阈值。 二：匹配代价叠加 一般来说，全局算法基于原始匹配代价进行后续算法计算。而区域算法则需要通过窗口叠加来增强匹配代价的可靠性，根据原始匹配代价不同，可分为： 三：视差获取 对于区域算法来说，在完成匹配代价的叠加以后，视差的获取就很容易了，只需在一定范围内选取叠加匹配代价最优的点（SAD和SSD取最小值，NCC取最大值）作为对应匹配点，如胜者为王算法WTA（Winner-take-all）。而全局算法则直接对原始匹配代价进行处理，一般会先给出一个能量评价函数，然后通过不同的优化算法来求得能量的最小值，同时每个点的视差值也就计算出来了。 四：视差细化 大多数立体匹配算法计算出来的视差都是一些离散的特定整数值，可满足一般应用的精度要求。但在一些精度要求比较高的场合，如精确的三维重构中，就需要在初始视差获取后采用一些措施对视差进行细化，如匹配代价的曲线拟合、图像滤波、图像分割等。 有关立体匹配的介绍和常见匹配算法的比较，推荐大家看看Stefano Mattoccia 的讲 义 Stereo Vision: algorithms and applications，190页的ppt，讲解得非常形象详尽。

基于多尺度深度特征的视觉显著性

基于多尺度深度特征的视觉显著性 视觉显著性在认知和计算科学是一个基本的问题，包括计算机视觉。在本文中，我们发现一个高质量的视觉显著性模型可以使用深度卷积神经网络抽取多尺度特征来学习，这些在视觉识别工作中已经有很多成功的例子。为了学习显著性模型，我们提出一种为了在三个不同的尺度提取的特征可以和CNN的顶层充分连接的神经网络架构。接着我们提出了一个细化方法来加强显著性结果的空间一致性。最后，融合多个显著图计算为图像分割的不同水平可以更好的促进性能，收益率显著图比从单一分割产生的图像要好。为了促进视觉显著模型的进一步研究和评价，我们也建立一个新的拥有4447张挑战性图片的大型数据库及其注释。实验结果表明,我们提出的方法在所有公共基准能够实现最先进的性能,在MSRA-B数据集和我们的新数据集(HKU-IS)改善F-Measure的效果分别为5.0%和13.2%,降低了这两个数据集平均绝对误差分别为5.7%和35.1%。 1.介绍 总结，这篇文章有以下贡献： 一个新的视觉显著模型被提出用于从一个拥有多个完全连接层的深度神经网络的嵌套的窗口将多尺度CNN特征提取。用于显著性估计的深度神经网络是可以用一组标记的显著图区域来训练的。 一个完整的显著性框架是由进一步整合我们的用空间一致性模型和多级图像分割基于CNN的显著性模型开发而成的。 HKU-IS是用来显著性模型研究和评估而创建的一个新的具有挑战的数据集。这个数据集是对外公开的。我们提出的显著性模型已经成功地验证了这个新数据集和所有现有的数据集。 2.相关工作 视觉显著计算可以分为自底向上和自顶向下的方法或两者的混合。自底向上的模型主要是基于c enter-surround方案,通过低级视觉属性的线性或非线性结合来计算主显著图,如颜色、强度、结构和方向。自上而下的方法通常需要高层知识的整合,如在计算过程中目标和人脸识别检测。最近，设计区别特征和显著先验的工作已经取得了很大成效。大多数方法基本上都遵循区域对比框架,旨在设计更好的描述图像区域与其周边地区的特殊性的特性。在【26】中，三个新奇特征与条件随机场（条件随机场（conditional random field，简称 CRF），是一种鉴别式机率模型，是随机场的一种，常用于标注或分析序列资料，如自然语言文字或是生物序列。条件随机场为无向性之图模型，图中的顶点代表随机变量，顶点间的连线代表随机变量间的相依关系，在条件随机场当中，随机变量 Y 的分布为条件机率，给定的观察值则为随机变量 X。原则上，条件随机场的图模型布局是可以任意给定的，一般常用的布局是链结式的架构，链结式架构不论在训练（training）、推论（inference）、或是解码（decoding）上，都存在有效率的算法可供演算。）结合。在【33】中提出了一个基于低秩矩阵恢复的模型用于整合底层视觉特征与高层次先验。 显著先验和中心先验与边界先验一样被广泛应用于启发结合低级线索的和改善显著估计。这些显著先验直接结合其他显著的线索权重或者用于特征学习算法。虽然这些经验对于很多图像来说可以改变显著结果，但当显著目标偏离中心或明显在图像边界重叠就会失败。我们应该注意到目标位置线索和基于背景的背景模型在我们的框架中并没有被忽视，而是一直通过CNN的多尺度特征提取和神经网络训练含蓄地纳入进我们的模型。 最近，CNNs在视觉识别工作中取得了很多成就，包括图像分类、目标检测和场景解析。Dona hue等在【11】中指出从ImageNet数据集训练的Krizhevsky的CNN提取的特征可以转化成一般的任务。Razavian等在【30】中拓展他们的结果并得出深度学习和CNNs对于所有的视觉识别任务可以成为一个强有力的候选的结论。然而，CNN特征并没有探索视觉显著性研究主要是因为在【11,30】