基于机器视觉的工件智能抓取技术研究

基于机器视觉的工业机器人工件搬运技术研究

1.1研究背景

自 19 世纪 60 年代问世以来，工业机器人不断发展和完善，现已得到广泛应用，机器人产业也逐渐成熟[]1。目前，全世界已拥有 100 多万台工业机器人广泛应用在焊接、搬运、装配、喷涂、修边、拾料、包装、堆垛和上下料等单调或复杂的作业中，为企业节约了大量的劳动成本，大大提高了劳动生产率。工业机器人是面向工业领域的多关节机械手或多自由度的机器人，它在稳定产品品质、提高生产效率和改善劳动条件等方面有着十分重要的作用，它的应用能够使企业大大缩短新产品的换产周期和节约劳动成本，从而提高了产品的市场竞争力[]23-。

随着当代工业革命深入发展，工业生产日益趋向自动化，工业机器人技术也正朝着智能、柔性的方向发展。许多发达国家对于智能工业机器人的研究都较为重视，我国也早已将其纳入国家高科技发展规划。国家层面的重视也必将给工业机器人技术带来新的跨越式发展，机器人的发展也必将对社会经济和生产力的发产生更加深远的影响

1.2 研究目的和意义

对于工作在自动化生产线上或柔性制造系统中的工业机器人来说，其完成最多的一类操作是“抓取—放置”动作，比如流水线上的工件搬运、装配以及各工位之间的工件转移和上下料。机器人要完成这类操作是经过复杂计算的：首先，机器人必须知道怎么抓，其次机器人应该知道怎么放；同时在这个过程还要伴随着机器人运动学分析的过程。传统的工业机器人完成这类操作，必须经过精确的逐点示教后，才能一步一步的按照固定程序执行。在这个过程中，工件相对于机器人的初始位姿（位置和姿态）和终止位姿是事先规定的，但很多情况下，特别是流水线场合，工件的位姿常常是不固定的。这就导致实际目标工件的位姿与理想工件位姿总是有偏差的，这种偏差哪怕很小都会导致机器人操作任务的失败。这种由于环境的变化而导致机器人不能很好地完成任务的情况极大地限制了机器人的实际应用。这就要求工业机器人具备一定的环境适应能力，即工业机器人智能化。智能工业机器人的智能特征在于它具有与外部世界、对象、环境和人相互协调的工作机能，具体表现在机器视觉、接近

觉、触觉和力觉等方面[]4。机器视觉是用机器代替人眼来做测量和判断的，其本质是使计算机具有认知周围环境信息的能力。这种能力不仅使机器能感知周围物体的形状、位置、姿态、运动等等信息，而且能相应地对这些信息进行描述、理解和识别。将机器视觉与机器人结合到一起，也就产生了机器人视觉。机器人视觉技术是用来模拟人类视觉，使机器人通过获取视觉信息从而对操作环境进行判别，给机器人赋予更强大的应对能力，大大增强了机器人的柔性。因而基于视觉引导的机器人拥有着广阔的发展空间，具有重要的科研和应用价值。

1.3 国内外现状

目前，机器视觉技术已经从最初的实验室阶段逐渐走向成熟，并且在工业生产线上已经有实际应用。德国、日本、美国和韩国处在智能工业机器人领域应用研究的前沿。日本从最初的模仿到现在的独创，找到了自己的技术创新之路。德国西门子公司也紧跟着时代的步伐，将机器视觉渗透到各个领域，应用到汽车发动机装配，生产线工件分拣等领域。美国更是机器人技术的创新发源地，其机器视觉广泛应用在工业和军事上，机械手经销商，包括Fanuc 公司，Motman 公司和Staubli 公司都推出了“拣选”系统[]5。

如图 1.1 所示，日本川崎设计的工业机器人主要应用在基于视觉系统的大型物品装卸、树脂成形机械抓取和汽车车门的边角打磨工程等领域。这种机器人可以结合具体的实际应用和目标方法，配置不同的选装件和相关参数，能够适应各种应用场合。通过使用机器人内部搭载标准的机器人语言，它还可以实现高性能的动作控制和时序控制。

图 1.1基于视觉系统的大型物品装卸

图 1.2所示的是美国普渡大学研究的一种基于视觉控制的Bin-picking 系统[]6，该系统可以从多种零件中分拣出圆形零件，它是通过简单的圆弧边界特征来识别圆形零件的。图

1.3 所示的是瑞典ABB 公司最新推出的第二代拾取机器人FlexPicker IRB360，该机器人拥有有效载荷大、操作速度快、简单有效等优点，能够在2D 视觉的帮助下，以高达 2 次/秒的速度捡取传送带上的物品。总的来说，美国、日本、欧洲一些发达国家在机器人视觉技术有着丰富的经验，已经开发出多款成熟产品，广泛应用在微装配、空间和军事领域。

图1.2 Bin-Picking机器人图1.3 ABB Flex-Picker机器人

我国对工业机器人的研究起步较晚，从90 年代初期起，我国在工业机器人领域才取得一定的进展。随着近几年科技的进步，我国在这方面发展迅速，取得了不少科研成果，机器人的结构和控制理论不断得到创新，生产制造工艺也逐渐成熟，不断有自主知识产权的机器人产品相继问世，此外还相继建立了20 多个机器人产业化基地，实施了100 多项机器人

78-。

应用工程，机器人产业不断壮大和发展[]

新松机器人自动化股份有限公司研制机器人是拥有自主知识产权和核心技术的工业搬运机器人，它可用于锻造生产和铸件落砂等工作条件恶劣的场合，降低工人的劳动强度[]9。北京航空航天大学于1994 年成功研制了七自由度机器人操作臂，并且研制出一系列改进型的冗余自由度机器人实验样机[]10。方跃提出了采用灵活角来度量操作器灵活程度，将机器人的工作空间根据灵活程度的不同划分为相应的有限灵活工作空间，高同以梯度投影法为基础，采用线性加权法，研究冗余度机器人的多指标融合优化问题。冗余自由度机器人另一个研究重点是运动学逆解，如图 1.5所示，为深圳众为兴技术股份有限公司生产的四自由度分拣机器人。该机器人在分类分拣的应用中具有视觉导引功能，重点介绍了众为兴SCARA 机

器人及视觉系统，并在现场用实物生动展示了具有视觉功能的众为兴机器人在分类分拣的应用。众为兴公司开发研制的SCARA 机器人，可应用在搬运、分拣一些较小的规则工件。

图1.5众为兴展出的SCARA机器人

1.4 本课题的研究内容

本文是针对基于视觉引导的工业机器人工件搬运技术进行的研究，简单的讲，就是在一台6 轴的工业机器人的基础上引入机器视觉，利用机器人对视觉的理解，完成工业生产中工件的抓取和放置操作。在这个操作过程中，工件识别与定位和机器人运动学反解是两个关键环节。工件识别与定位是为机器人提供操作和如何操作的信息，而机器人运动学反解的准确性直接影响到操作能否完成和相应的操作精度。整个工件搬运的具体流程是：在机器人工作之前，先通过上方摄像机实时地采集工件图像，并送到图像处理系统，以便确定所感兴趣的工件以及该工件相对于机器人的位姿，最后将位姿信息反解成工业机器人熟悉的关节角度和角度控制信息，从而实现利用视觉引导机器人准确地抓取工件。同时根据已抓取工件的放置要求，进一步引导机器人完成工件的定点放置，从而实现机器人搬运操作。

本课题的研究内容围绕物体识别这个中心展开，主要包括以下几个方面：

1.如何获取图像

获取图像是进行本课题研究的前提，顺利的通过摄像头设备获取到原始图像是一切研究的根本

2.如何对图像进行预处理

视觉系统中直接使用的图像，必须在进行灰度校正、噪声过滤等图像预处理。将图像中感兴趣的特征有选择地突出，衰减其不需要的特征，预处理后的输出图像并不需要去逼近原图像。

3.如何对预处理以后的图像进行特征识别和特征提取

已经把待测目标工件进行过图像预处理，接下来要针对静态工件的特征提取，最后要根据已经提取的目标工件的特征进行分类。特征提取的意义于要区分不同种类的工件就要把它们之间不同的信息提取出来，作为识别的前提条件。一般来说，提取普通特征包括周长、边缘、面积、曲率、角度和物体质心等

4.如何根据提取的特征对目标进行分类和目标定位

目标分类是指对得到的不同目标进行区分并将其归为某一已知类的过程。对于图像目标来说通常利用图像特征来对目标进行描述，然后对其分类。通过模版匹配计算目标上空间点和像素点之间的对应关系。然后创建模版，对后续的图像进行目标定位。

5.如何跟踪目标

对于运动的目标，通过跟踪能够得到目标的速度和加速度，并可以对将来目标出现的位置进行预测

6.如何将目标在图像中的位置转化到机器人基坐标系中并进行机器人运动学反解

通过相机标定得到图像坐标与机器人基坐标之间的转换关系，将目标在图像中的位置信息转化为机器人基坐标系中的具体坐标，并通过该坐标进行机器人运动学逆解，得到关节运动信息

7.如何规划路径并控制机器人进行目标抓取

通过前面得到的运动学逆解，合理的设置机器人抓取运动规划，包括路径规划和手部抓取规划，路径规划是研究按照何种路径，将机器人手部坐标系的原点和目标抓取坐标系的原点重合的问题，抓取点规划是针对不同形状的物体，如何选择合适夹持点位置的问题。

1.5本课题的研究方法

1.5.1获取图像

1)硬件介绍

一个稳定的视觉系统的构建需要根据任务的特点和现场环境的特点进行，例如精度，目

标尺寸，检测速度，安装空间大小等要求，都将影响系统硬、软件的选择。典型的视觉系统包括的硬件很多，但最重要的最基本的三件设备是：光源、镜头和相机。本节主要给出本系统所用硬件的参数并对其进行简单介绍

1.光源

由于所有非发光物体都是通过反射光才能在传感器上留下影像，所以光源的正确选择是保证视觉系统正常工作的基础。在选择视觉系统光源时要注意，使用的光源要把感兴趣目标和背景区分开来，削减非关心目标或噪声的干扰，并且光源本身不会带来额外的干扰，

2.镜头

镜头与人眼的晶状体具有类似的功能，如果没有安装镜头进行拍摄，得到的图像将是花白色，不包含任何场景信息。所以镜头的作用是汇聚目标反射回的光，在感光原件上产生细节丰富，锐利的图像。镜头的参数选择一般是根据配用的摄像机感光原件的大小来进行的，如果二者的参数不合适，将出现图像记录不完整，视场角不符合要求或者画面在焦点外的问题本文选择的是COMUPTAR公司的M0814-MP2型号的镜头，参数如表所示：

性能指标参数

靶面尺寸2/3’’

焦距8

最大成像尺寸8.8*6.6

控制光圈手动聚焦手动变焦手动

接口C-接口

尺寸33.5*28.2

3.摄像机

本系统使用的是Basler公司的acA2500-14gm型号的工业相机，如图所示，该相机的性能指标和参数如表所示：

图3 Basler acA2500-14gm型号工业相机

性能指标参数

传感器类型Aptina MT9P CMOS, rolling shutter

有效图像元素2592*1944

像素尺寸 2.2 x 2.2

数据位数12

镜头接口C-mount, CS-mount

传输方式Gigabit Ethernet

帧率14

供电要求Via Power over Ethernet (802.3af) or + 12VDC (±10%) via the camera′s 6-pin Hirose connector

外形尺寸42 x 29 x 29

表1 Basler acA2500-14gm型号工业相机参数

5.拍摄参数设定

为了提高图像处理速度并兼顾分辨率，选择的拍摄参数如下表：

图像尺寸待定

色彩待定

ISO速度待定

帧频待定

记录频率待定

2）软件介绍

OpenCV的全称是：Open Source Computer Vision Library。OpenCV是一个基于（开源）发行的跨平台计算机视觉库，可以运行在Linux、Windows和Mac OS操作系统上。它轻量级而且高效——由一系列C 函数和少量C++ 类构成，同时提供了Python、Ruby、MATLAB 等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法，它可以完成以下工作：

1.图像数据操作（内存分配与释放，图像复制、设定和转换）

2.图像/视频的输入输出（支持文件或摄像头的输入，图像/视频文件的输出）

3.矩阵/向量数据操作及线性代数运算（矩阵乘积、矩阵方程求解、特征值、奇异值分解）支持多种动态数据结构（链表、队列、数据集、树、图）

4.基本图像处理（去噪、边缘检测、角点检测、采样与插值、色彩变换、形态学处理、直方图、图像金字塔结构）

5.结构分析（连通域/分支、轮廓处理、距离转换、图像矩、模板匹配、霍夫变换、多项式逼近、曲线拟合、椭圆拟合、狄劳尼三角化）

6.摄像头定标（寻找和跟踪定标模式、参数定标、基本矩阵估计、单应矩阵估计、立体视觉匹配）

7.运动分析（光流、动作分割、目标跟踪）

8.目标识别（特征方法、HMM模型）

HALCON软件介绍

HALCON是一款来自德国慕尼黑的世界顶级机器视觉编程环境，该软件以面向问题为基础，涉及工业领域中光学工程、精密制造、包装、半导体、印刷、机械等行业。使用它可以迅速构建一个准确、稳定、高效率的视觉解决方案。该软件具有强大的函数库，能导出C++、C、VB等语言，缩短了代码编写时间，为构建独立的视觉系统提供了方便。利用HALCON软件构建一个独立视觉系统分为三个步骤：

该软件最大特点是模范化和模块化，所有的算子都具有同一的输入输出格式，下面是一个典型的算子结构：Operator(iconic input:iconic output:control input:control output) HALCON语言的数据有两种：一种是控制参数，包含数字、数组，字符串等；另一种是图形参数，包含图像，区域和边缘数据等。从典型算子结构可以看出，图形参数首先输入的参数，然后是控制参数，并且顺序是输入数据和输出数据相间隔，也即是：Operator(输入图形参数：输出图形参数：输入控制参数：输出控制参数）。

1.5.2图像预处理

1）图像灰度化

将RGB彩色图像转化为单通道图像，灰度范围为0-255，可以很大程度上提高运算的速度Image cam_gray=cam.Convert();

Cam是摄像机采集的彩色图像

2）直方图均衡化

对于工件和背景灰度相差不大的情况，可以通过直方图均衡化增加图像的对比度，使工件在

背景中更突出

cvEqualizeHist函数可以增大图像灰度的动态范围，从而增加对比度

3）图像滤波消除噪声信息

对于环境中的各种干扰，相机的成像噪声，可以通过预处理阶段消除或者削弱噪声的影响，具体可以使用各种滤波算子，如中值滤波，高斯平滑滤波，均值滤波，在OpenCV中都有对应的函数可以调用

1.5.3图像识别

模式识别应用与图像信号处理领域就成为了图像识别，它是一种利用计算机对图像进行描述和分类的技术，在机器视觉中具有广泛的应用，涉及文字，条码，车牌识别，目标分类等应用场合，识别的过程其实是一个分类的过程，将满足判断条件的对象归为一类，而不满足条件的划分为其他类，首先对目标图像进行特征提取，然后将它和已知的模式向量进行比较，比较的过程是函数计算的过程，通过计算得到相似程度值，根据该值判断目标是否与已知库中的目标相似，从而得到相应的识别或者不识别信号，根据分类标准选择的不同，可以将识别方法分为：基于概率统计方法的识别，基于模版匹配方法的识别，基于多传感器信息融合方法的识别等[]11。通常，图像识别有以下三步，如图所示

图3 图像识别的步骤

主要有三个任务：图像分割、目标分类、图像匹配

1）图像分割

要将图像分割为区域，就要有分割的标准，这个标准就叫做阈值，获取合适阈值的方法很多，通常可以分为手动获取和自动获取，当进行手动获取时，通常借鉴图像灰度直方图的分布来帮助选择，最简单的自动全局阈值的方法是：首先选择一个初始阈值估计值

（max min g T g <<

然后利用该阈值对图像进行初始分割得到G1和G2区域。对G1和G2区域中所有像素计算灰度平均值21,μμ，计算得到的新阈值为T=2/)(21μμ+，利用新阈值对图像进行重新分割，然后重复前面两步，直至前后两次T 值之差小于设定值时停止。然后利用最终得到的最佳阈值将区域分割为两部分，从而得到二值图像：

T

y x f T y x f y x g >

区域联通标记是建立在像素点邻接性的基础之上的，邻接性是一种相似性的度量方法，常用的类型有4-邻接、8-邻接、和对角邻接

X X P X

X

4-邻接

X X X

X P X

X X X

8-邻接

X X

P

X X

对角邻接

提取连通成分的过程实际上也是标记连通成分的过程，通常的做法是给图像中的每个连通区域分配一个唯一的编号，这样的图像成为标注图像。得到各个编号区域，就能计算区域的面积，中重心，圆度，外接/内切圆半径等特征参数，以供所需区域的选择，本例采用面积特征进行选择，得到目标模版图像

2.目标分类

目标分类是对得到的不同目标进行区分并将其归为某一已知类的过程。对于图像目标来说通

常利用图像特征来对目标进行描述，然后再对其分类，目标分类是目标识别过程中的重要步骤目前已经广泛应用于图像分割，目标识别，变化检测，字符识别等场合。

根据待分类目标的外形，可将分类任务分为两类。第一类是针对搜索目标外形固定，并且不同类型目标的特征区域明显，这种情况可以采用模版匹配的方法对其进行分类，第二类是针对目标外形不是特别明显，人工无法选择出合适的分类方法对其进行分类，这种情况下就需要利用已知类型信息的目标图像对分类器进行训练，让分类器对后续的图像进行分类。常用的分类器有三种，分别是基于多层感知分类器MLP，基于支持向量机分类器SVM，基于高斯混合模型分类器GMM，本文采用MLP分类器，具体步骤为：

图X 目标分类的一般步骤

首先创建某一类型的分类器，然后对一直目标进行分析，得到描述该类型目标的特征向量，然后利用特征向量对分类器进行训练，得到判别函数，这时分类器就获得了分类的原则，然后对后续的未知目标进行分类，同样也需要对目标进行特征提取得到特征向量，然后利用分类器对向量进行计算，得到分类结果。这里使用的是OpenCV或者Halcon中提供的分类器3图像匹配

用创建模版图像的方法可以用于检测图像来确定目标的位置，但是通过图像分割的方法来得到一个稳定的目标识别系统是非常困难的。例如背景发生拜年话，目标被部分遮挡，目标与摄像机间距离变化，多个目标出现等都导致分割的困难，而图像匹配可以解决这些问题。图像匹配是指利用已知的目标模式，对不同时刻或视角下拍摄的两幅图像间寻找相同或相近的目标模式，使期望的目标建立起对应关系的过程，图像匹配算法按照特征选择层次的不同分为两大类，

?????

?????????????????????形状匹配边缘拟合几何基元匹配

边缘匹配点匹配基于图像特征的匹配基于统计矩检测，分层搜索加速算法：序贯相似度绝对值算法：基于相似性度量基于灰度值相关的匹配NC SSD SAD ,,

基于灰度值相关的匹配是利用图像的直接灰度值特征，其计算过程为：移动模版至待匹配图像的各个位置，计算每个位置时模版本身与所覆盖区域的相似性计算值，将得到的一系列计算值进行比较，极值处便是目标所在的位置。这种方法计算量大，达不到实时性要求，并且不能适应光照条件变化、尺度变化，遮挡等情况，为了解决实时性要求，采用基于图像特征的匹配方法，这种匹配方法有很好的鲁棒性，基于特征的匹配是指，对模版图像和匹配图像分别进行特征提取，用相似性度量函数计算对应特征之间的相似程度的匹配方法，特征的选择有很多，一般来说灰度变化大的地方是信息量最丰富的地方，比如，角点，轮廓，边缘，直线，纹理等。本文采用的是基于形状匹配的方法，该方法是多种技术的综合，既用到了金字塔匹配模型，也用到了图像的轮廓特征，该方法的一般流程如图，匹配后得到目标在图像中的位置坐标如下表： 序号

目标个数 坐标 角度 准确度 1

1 （289.042，311.058） -0.0005

2 98.365 2

1 （145.325，178.698） 6.32541 99.45

2 ....

...... ...... ..... ......

图X.基于形状匹配的步骤[]12

4.目标跟踪

目标跟踪是一个对运动目标或者运动相机采集到的图像序列进行连续确定目标位置的过程，目标定位是目标跟踪的基础，通过跟踪能够得到目标的运动轨迹从而可以对将来目标出现的位置进行预测，通过轨迹能够得到目标的速度和加速度，从而可以为运动学研究提供一种测量手段。此外，通过目标跟踪可以对预先设定好出现范围和形状的目标进行监视，如果其出现范围或者形状发生变化时，便发出相应的报警信号。

目标跟踪可以分为两大方法：第一类是基于边缘特征的方法;第二类是基于目标内部投影点信息的方法，如光流法，模版匹配法。本位采用第二类中的模版匹配方法，由于匹配计算量较大，可采用以下途径减少运算量：首先计算第一副图像中目标的位姿，由于目标运动的连续性，对得到的位姿进行限制，定义一个跟踪范围圆（下一个目标可能出现的区域），然后在指定范围内对后续图像进行目标匹配。由于本文采用的传送带运动状态为匀速直线运动，因此只要计算出目标的速度和位置便能写出轨迹方程来。

定义参考坐标系：

在传送带上定义参考坐标系的目的，是为了将目标位姿与机器人基坐标系联系起来。参考坐标系的X轴与传送带中线重合，方向指向目标运动方向，y轴指向机器人一侧，Z轴垂直于传送带平面向上。

左侧方框区域代表相机的视野范围，右侧外圆区域为机器人工作空间范围，内圆区域代表机器人工作空间与传送带在平面相交区域。工件从左侧进入，在计时起点处开始计时。相机对经过计时起点的目标进行连续拍照，估算出目标重心在参考坐标系中的坐标和速度。在进行实验之前通过离线测量的方法，得到参考坐标系与机器人基座之间的相对位姿

ref base H ，同样可以计算出参考坐标系在摄像机坐标系下的位姿

ref cam H 由离线测量得到的位姿关系

ref base H 和ref cam H ，可以计算出机器人基座于摄像机之间的位姿矩阵。

)()(

)()(11obj cam ref cam obj ref ref base ref cam base cam

H H H H H H ?=?=-- 然后通过目标定位得到目标的位姿

obj cam H ，再计算出目标重心相对于参考坐标系的位姿obj ref H ，由obj ref H 可以得到目标重心的坐标（000,,z y x ）

，过重心点做一条平行于参考坐标系x 轴的直线，与机器人工作空间区域相交与两点：),(11y x ，()22,y x 。这两点便是目标进出工作空间的坐标点。由这两点结合运动速度就可以计算出目标何时进入和离开机器人的工作空间范围，在这个时间段中选择任一时刻即可对目标进行抓取。

目标速度V 的计算，可以在摄像机视野内，取间隔10张的两幅图像，计算目标中心在运动

方向的位移，除以拍摄这10张图像所经历的时间，即可得到目标的速度。

1.5.6IRB120型机器人控制

工业机器人的控制方法分类：

分类依据类型特点

根据控制量所处空

间

关节空间运动规划和控制对象为各个关节角，是其他控制方法的基础笛卡尔空间在关节空间控制的基础上实现通过给定路径上各点出的位姿，来保证运动的确定性

根据控制

量

位置以末端执行器的位置为被控对象，在三维空间或者关节空间对机器人进行控制

速度使任务动作以指定的速度进行，例如目标跟踪过程

加速度考虑到机器人的惯性负载，对加速段和减速段之间的过度进行规划，使之运行平稳

力（力矩）考虑到目标抓取时的握紧力或者使用工具时的力矩等因素

根据控制算法

PID控制由比例、积分和微分单元构成，理论成熟

自适应控制系统的舒服发生变化或者收到干扰时，系统通过改变自身参数来自我调节，使输出仍满足性能要求

神经网络控制属于黑箱控制，具有较好的学习能力

本研究所完成的内容属于较为简单的抓取任务，所以使用位置控制方法就能满足要求

2.机器人抓取运动规划

机器人抓取运动规划包括路径规划和手部抓取方式规划。路径规划是研究按照何种路径，将机器人手部坐标系原点与目标抓取坐标系原点重合的问题；抓去店规划是针对不同形状的物体，如何选择合适夹持点位置的问题

路径点动作目标

P0 INIT 初始位置

P1 MOVE 到达

P1 GRASP 抓取

P2 MOVE 提升

P3 MOVE 移至待放置位置上方

P4 MOVE 到达放置位置

P4 RELEASE 松开

P5 MOVE 提升

P0 MOVE 回位

1.6本课题的重点难点

实时性是在线抓取的一项重要指标，算法的速度是必须考虑的，因为在工业生产线中，速度性能是最重要的指标，工件分拣的要求更是严格，要求算法识别的速度相当快，这样才能带来经济效益，所以如何在传送带速度比较高的情况下仍然保持识别定位的准确性是本课题的一个难点，定位精度也是一个重点，这直接关系到机械手能否在正确的时间间隔内运动到指定位置进行有效抓取，如何对算法进行优化从而提高定位算法的定位精度，也是本次研究的一个重点和难点

参考文献

[1] 毕胜.国内外工业机器人的发展现状.机械工程师，2008，07：5~7.

[2] 吴振彪，王正家（第一版）.工业机器人.武汉：华中科技大学出版社，2006.7~9.

[3] 蔡鹤皋.机器人技术的发展与在制造业中的应用.机械制造与自动化，2004，33(1)6~7．

[4] 张广军.机器视觉.北京:科学出版社，2005.1，34~36，38~45

[5] 权欢欢，张洛平.装配线零件图像识别与系统实现：(硕士学位论文). 河南：河南科技大学，2008.

[6] Rahardja K. Kosaka A. Vision-based bin-picking: recognition and localization of multiple complex objects using simple visual cues. Robot Vision Lab., Purdue Univ., West Lafayette, IN;

[7] 徐方.工业机器人产业现状与发展.机器人技术与应用，2007. 5：2~4.

[8] 赵臣，王刚.我国工业机器人产业发展的现状调研报告.机器人技术与应用，2009，2：

8~13.

[9] 徐方，邹风山，郑春晖.新松机器人产业发展及应用.机器人技术与应用，2011，(5)：14~18.

[10] 倪受东，袁祖强，文巨峰.冗余自由度机器人机构学研究现状.南京工业大学学报，2002, 24(4)：107~110.

[11]杨贺然.基于机器视觉的移动目标机器人抓取研究（硕士学位论文）北京：北京化工大学2008

[12]吴源远.高速分拣机械手视觉识别技术研究[D].无锡：江南大学，2009

《机器视觉及其应用》习题

第一章机器视觉系统构成与关键技术 1、机器视觉系统一般由哪几部分组成？机器视觉系统应用的核心目标是什么？主要的分 成几部分实现？ 用机器来延伸或代替人眼对事物做测量、定位和判断的装置。组成：光源、场景、摄像机、图像卡、计算机。用机器来延伸或代替人眼对事物做测量、定位和判断。三部分：图像的获取、图像的处理和分析、输出或显示。 2、图像是什么？有那些方法可以得到图像？ 图像是人对视觉感知的物质再现。光学设备获取或人为创作。 3、采样和量化是什么含义？ 数字化坐标值称为取样，数字化幅度值称为量化。采样指空间上或时域上连续的图像（模拟图像）变换成离散采样点（像素）集合的操作；量化指把采样后所得的各像素的灰度值从模拟量到离散量的转换。采样和量化实现了图像的数字化。 4、图像的灰度变换是什么含义？请阐述图像反色算法原理？ 灰度变换指根据某种目标条件按照一定变换关系逐点改变原图像中每一个像素灰度值，从而改善画质，使图像的显示效果更加清晰的方法。对于彩色图像的R、G、B各彩色分量取反。 第二章数字图像处理技术基础 1、对人类而言，颜色是什么？一幅彩色图像使用RGB色彩空间是如何定义的？24位真彩 色，有多少种颜色？ 对人类而言，在人类的可见光范围内，人眼对不同波长或频率的光的主观感知称为颜色。 一幅图像的每个像素点由24位编码的RGB 值表示：使用三个8位无符号整数（0 到255）表示红色、绿色和蓝色的强度。256*256*256=16,777,216种颜色。 2、红、绿、蓝三种颜色为互补色，光照在物体上，物体只反射与本身颜色相同的色光而吸 收互补色的光。一束白光照到绿色物体上，人类看到绿色是因为？ 该物体吸收了其他颜色的可见光，而主要反射绿光，所以看到绿色。 3、成像系统的动态范围是什么含义？ 动态范围最早是信号系统的概念，一个信号系统的动态范围被定义成最大不失真电平和噪声电平的差。而在实际用途中，多用对数和比值来表示一个信号系统的动态范围，比如在音频工程中，一个放大器的动态范围可以表示为： D = lg（Power_max / Power_min）×20； 对于一个底片扫描仪，动态范围是扫描仪能记录原稿的灰度调范围。即原稿最暗点的密度（Dmax）和最亮处密度值(Dmin)的差值。 我们已经知道对于一个胶片的密度公式为D = lg（Io/I）。那么假设有一张胶片，扫描仪向其投射了1000单位的光，最后在共有96%的光通过胶片的明亮（银盐较薄）部分，而在胶片的较厚的部分只通过了大约4%的光。那么前者的密度为： Dmin=lg（1000/960）= 0.02； 后者的密度为： Dmax=lg（1000/40）= 1.40 那么我们说动态范围为：D=Dmax-Dmin=1.40-0.02=1.38。

机器视觉技术发展现状文献综述

机器视觉技术发展现状 人类认识外界信息的80%来自于视觉，而机器视觉就是用机器代替人眼来做 测量和判断，机器视觉的最终目标就是使计算机像人一样，通过视觉观察和理解 世界，具有自主适应环境的能力。作为一个新兴学科，同时也是一个交叉学科，取“信息”的人工智能系统，其特点是可提高生产的柔性和自动化程度。目前机器视觉技术已经在很多工业制造领域得到了应用，并逐渐进入我们的日常生活。 机器视觉是通过对相关的理论和技术进行研究，从而建立由图像或多维数据中获机器视觉简介 机器视觉就是用机器代替人眼来做测量和判断。机器视觉主要利用计算机来模拟人的视觉功能，再现于人类视觉有关的某些智能行为，从客观事物的图像中提取信息进行处理，并加以理解，最终用于实际检测和控制。机器视觉是一项综合技术，其包括数字处理、机械工程技术、控制、光源照明技术、光学成像、传感器技术、模拟与数字视频技术、计算机软硬件技术和人机接口技术等，这些技术相互协调才能构成一个完整的工业机器视觉系统[1]。 机器视觉强调实用性，要能适应工业现场恶劣的环境，并要有合理的性价比、通用的通讯接口、较高的容错能力和安全性、较强的通用性和可移植性。其更强调的是实时性，要求高速度和高精度，且具有非接触性、实时性、自动化和智能 高等优点，有着广泛的应用前景[1]。 一个典型的工业机器人视觉应用系统包括光源、光学成像系统、图像捕捉系统、图像采集与数字化模块、智能图像处理与决策模块以及控制执行模块。通过 CCD或CMOS摄像机将被测目标转换为图像信号，然后通过A/D转换成数字信号传送给专用的图像处理系统，并根据像素分布、亮度和颜色等信息，将其转换成数字化信息。图像系统对这些信号进行各种运算来抽取目标的特征，如面积、 数量、位置和长度等，进而根据判别的结果来控制现场的设备动作[1]。 机器视觉一般都包括下面四个过程：

完整版机器视觉思考题及其答案

什么是机器视觉技术？试论述其基本概念和目的。答：机器视觉技术是是一门涉及人工智能、神经生物学、心理物理学、计算机科学、图像处理、模式识别等诸多领域的交叉学科。机器视觉主要用计算机来模拟人的视觉功能，从客观事物的图像中提取信息，进行处理并加以理解，最终用于实际检测、测量和控制。机器视觉技术最大的特点是速度快、信息量大、功能多。机器视觉是用机器代替人眼来完成观测和判断，常用于大批量生产过程汇总的产品质量检测，不适合人的危险环境和人眼视觉难以满足的场合。机器视觉可以大大提高检测精度和速度，从而提高生产效率，并且可以避免人眼视觉检测所带来的偏差和误差。机器视觉系统一般由哪几部分组成？试详细论述之。答：机器视觉系统主要包括三大部分：图像获取、图像处理和识别、输出显示或控制。图像获取：是将被检测物体的可视化图像和内在特征转换成能被计算机处理的一系列数据。 该部分主要包括，照明系统、图像聚焦光学系统、图像敏感元件（主要是CCD和CMOS采 集物体影像。 图像处理和识别：视觉信息的处理主要包括滤波去噪、图像增强、平滑、边缘锐化、分割、图像识别与理解等内容。经过图像处理后，图像的质量得到提高，既改善了图像的视觉效果又便于计算机对图像进行分析、处理和识别。 输出显示或控制：主要是将分析结果输出到显示器或控制机构等输出设备。试论述机器视觉技术的现状和发展前景。 答：。机器视觉技术的现状：机器视觉是近20?30年出现的新技术，由于其固有的柔性好、 非接触、快速等特点，在各个领域得到很广泛的应用，如航空航天、工业、军事、民用等等领域。 发展前景：随着光学传感器、信息技术、信号处理、人工智能、模式识别研究的不断深入和计算机性价比的不断提高，机器视觉技术越来越成熟，特别是市面上已经有针对机器视觉系统开发的企业提供配套的软硬件服务，相信越来越多的客户会选择机器视觉系统代替人力进行工作，既便于管理又节省了成本。价格持续下降、功能逐渐增多、成品小型化、集成产品增多。 机器视觉技术在很多领域已得到广泛的应用。请给出机器视觉技术应用的三个实例并叙述之。答：一、在激光焊接中的应用。通过机器视觉系统，实时跟踪焊缝位置，实现实时控制，防止偏离焊缝，造成产品报废。 二、在火车轮对检测中的应用，通过机器视觉系统抓拍轮对图像，找出轮对中有缺陷的轮对，提高检测精度和速度，提高效率。 三、大批量生产过程中的质量检查，通过机器视觉系统，对生产过程中的产品进行质量检查 跟踪，提高生产效率和准确度。 什么是傅里叶变换，分别绘出一维和二维的连续及离散傅里叶变换的数学表达式。论述图像傅立叶变换的基本概念、作用和目的。 答：傅里叶变换是将时域信号分解为不同频率的正弦信号或余弦函数叠加之和。一维连续函数的傅里叶变换为：一维离散傅里叶变换为：二维连续函数的傅里叶变换为：二维离散傅里叶变换为： 图像傅立叶变换的基本概念：傅立叶变换是数字图像处理技术的基础，其通过在时空域和频率域来回切换图像，对图像的信息特征进行提取和分析，简化了计算工作量，被喻为描述图像信息的第二种语言，广泛应用于图像变换，图像编码与压缩，图像分割，图像重建等。作用和目的：图像的频率是表征图像中灰度变化剧烈程度的指标，是灰度在平面空间上的梯度。傅立叶变换的物理意义是将图像的灰度分布函数变换为图像的频率分布函数，傅立叶逆变换是将图像的频率分布函数变换为灰度分布函数。图像灰度变换主要有哪几种形式？各自的特点和作用是什么？ 答：灰度变换:基于点操作，将每一个像素的灰度值按照一定的数学变换公式转换为一个新的灰度值。灰度变换是图像增强的一种重要手段，它可以使图像动态范围加大，使图像的对比度扩展，

基于机器视觉的工件识别和定位文献综述

基于机器视觉的工件识别和定位文献综述 1.前言 1.1工业机器人的现状与发展趋势 机器人作为一种最典型的应用范围广、技术附加值高的数字控制装备，在现代先进生产制造业中发挥的作用越来越重要，机器人技术的发展将会对未来生产和社会发展起到强有力的推动作用。《2l 世纪日本创建机器人社会技术发展战略报告》指出，“机器人技术与信息技术一样，在强化产业竞争力方面是极为重要的战略高技术领域。培育未来机器人产业是支撑2l 世纪日本产业竞争力的产业战略之一，具有非常重要的意义。” 研发工业机器人的初衷是为了使工人能够从单调重复作业、危险恶劣环境作业中解脱出来，但近些年来，工厂和企业引进工业机器人的主要目的则更多地是为了提高生产效率和保证产品质量。因为机器人的使用寿命很长，大都在10 年以上，并且可以全天后不间断的保持连续、高效地工作状态，因此被广泛应用于各行各业，主要进行焊接、装配、搬运、加工、喷涂、码垛等复杂作业。伴随着工业机器人研究技术的成熟和现代制造业对自动生产的需要，工业机器人越来越被广泛的应用到现代化的生产中。 现在机器人的价格相比过去已经下降很多，并且以后还会继续下降，但目前全世界范围的劳动力成本都有所上涨，个别国家和地区劳动力成本又很高，这就给工业机器人的需求提供了广阔的市场空间，工业机器人销量的保持着较快速度的增长。工业机器人在生产中主要有机器人工作单元和机器人工作生产线这两种应用方式，并且在国外，机器人工作生产线已经成为工业机器人主要的应用方式。以机器人为核心的自动化生产线适应了现代制造业多品种、少批量的柔性生产发展方向，具有广阔的市场发展前景和强劲生命力，已开发出多种面向汽车、电气机械等行业的自动化成套装备和生产线产品。在发达国家，机器人自动化生产线已经应用到了各行各业，并且已经形成一个庞大的产业链。像日本的FANUC、MOTOMAN，瑞典的ABB、德国的KUKA、意大利的COMAU 等都是国际上知名的被广泛用于自动化生产线的工业机器人。这些产品代表着当今世界工业机器人的最高水平。 我国的工业机器人前期发展比较缓慢。当将被研发列入国家有关计划后，发展速度就明显加快。特别是在每次国家的五年规划和“863”计划的重点支持下，我国机器人技术的研究取得了重大发展。在机器人基础技术和关键技术方面都取得了巨大进展，科技成果已经在实际工作中得到转化。以沈阳新松机器人为代表的国内机器人自主品牌已迅速崛起并逐步缩小与国际品牌的技术差距。 机器人涉及到多学科的交叉融合，涉及到机械、电子、计算机、通讯、控制等多个方面。在现代制造业中，伴随着工业机器人应用范围的扩大和机器人技术的发展，机器人的自动化、智能化和网络化的程度也越来越高，所能实现的功能也越来越多，性能越来越好。机器人技术的内涵已变为“灵活应用机器人技术的、具有实在动作功能的智能化系统。”目前，工业机器人技术正在向智能机器和智能系统的方向发展，其发展趋势主要为：结构的模块化和可重构化；控制技术的开放化、PC 化和网络化；伺服驱动技术的数字化和分散化；多传感器融合技术的实用化；工作环境设计的优化和作业的柔性化以及系统的网络化和智能化等方面。 1.2机器视觉在工业机器人中的应用 工业机器人是FMS（柔性加工）加工单元的主要组成部分，它的灵活性和柔性使其成为自动化物流系统中必不可少的设备，主要用于物料、工件的装卸、分捡和贮运。目前在全世界有数以百万的各种类型的工业机器人应用在机械制造、零件加工和装配及运输等领域，

机器视觉课后心得体会

. ;.. 经过机器视觉技术及应用这门课程的学习，我觉得受益匪浅。可以说这门课 程更偏重于实践，也很好的锻炼了我们，老师讲课很认真，ppT准备的很详细，对于一些关键问题的讲解更是深入浅出。机器视觉技术，即采用机器代替人眼来做测量和判断。机器视觉系统是指通过机器视觉产品即图像摄取装置，分CMOS 和CCD两种把图像抓取到，然后将该图像传送至处理单元，通过数字化处理，根据像素分布和亮度、颜色等信息，来进行尺寸、形状、颜色等的判别，进而根据判别的结果来控制现场的设备动作。机器视觉主要用计算机来模拟人的视觉功能，但并不仅仅是人眼的简单延伸，更重要的是具有人脑的一部分功能一一从客观事物的图像中提取信息，进行处理并加以理解，最终用于实际检测、测量和控制。 机器视觉不同于计算机视觉，它涉及图像处理、人工智能和模式识别，机器视觉是将计算机视觉应用于工业自动化。 目前在机器视觉系统中；CCD 摄像机以其体积小巧、性能可靠、清晰度高等优点得到了广泛使用。机器视觉伴随计算机技术、现场总线技术的发展，技术日臻成熟，已是现代加工制造业不可或缺的产品，广泛应用于食品和饮料、化妆品、制药、建材和化工、金属加工、电子制造、包装、汽车制造等行业。在未来的几年内，随着中国加工制造业的发展，对于机器视觉的需求也逐渐增多；随着机器视觉产品的增多，技术的提高，国内机器视觉的应用状况将由初期的低端转向高端。加之机器视觉的介入，自动化将朝着更智能、更快速的方向发展。 通过本课程的学习，我们掌握了一些机器视觉方面的基本知识。这门课对于我们生活方面有很大的实用性，可以让我们了解到机器视觉的基本构造，对成为技术应用型人才，适应社会和培养实践能力与技能都起到了很大的作用。这样的学习让我们将知识更灵活的运用，更好的将知识和实践结合在一起并转化为技能。 通过这门课程的学习，我们懂得更多，收获更多，提升了自身操作能力的同时又学到了很多东西，我相信在以后的课堂学习和实践学习中可以掌握更多更深入的知识，不断的提高自身的学习与应用能力。

机器视觉在自动化生产中的应用

机器视觉在自动化生产中的应用 如今，自动化技术在我国发展迅猛，人们对于机器视觉的认识更加深刻，对于它的看法也发生了很大的转变。机器视觉系统提高了生产的自动化程度，让不适合人工作业的危险工作环境变成了可能，让大批量、持续生产变成了现实，大大提高了生产效率和产品精度。快速获取信息并自动处理的性能，也同时为工业生产的信息集成提供了方便。随着机器视觉技术成熟与发展，我们不难发现其应用范围越加的广泛，根据这些领域，我们大致可以概括出机器视觉的五大典型应用，这五大典型应用也基本可以概括出机器视觉技术在工业生产中能够起到的作用。 一、图像识别应用 图像识别，是利用机器视觉对图像进行处理、分析和理解，以识别各种不同模式的目标和对象。图像识别在机器视觉工业领域中最典型的应用就是二维码的识别了，二维码就是我们平时常见的条形码中最为普遍的一种。将大量的数据信息存储在这小小的二维码中，通过条码对产品进行跟踪管理。通过机器视觉系统，可以方便的对各种材质表面的条码进行识别读取，大大提高了现代化生产的效率。 二、图像检测应用 检测是机器视觉工业领域最主要的应用之一，几乎所有产品都需要检测，而人工检测存在着较多的弊端，人工检测准确性低，长时间工作的话，准确性更是无法保证，而且检测速度慢，容易影响整个生产过程的效率。因此，机器视觉在图像检测的应用方面也非常的广泛，例如：硬币边缘字符的检测。2000年10月新发行的第五套人民币中，壹圆硬币的侧边增强了防伪功能，鉴于生产过程的严格控制要求，在造币的最后一道工序上安装了视觉检测系统。另外，其还可应用于印刷过程中的套色定位以及较色检查、包装过程中的饮料瓶盖的印刷质量检查，产品包装上的条码和字符识别，玻璃瓶的缺陷检测等。其中，机器视觉系统对玻璃瓶的缺陷检测，也包括了药用玻璃瓶范畴，也就是说机器视觉也涉及到了医药领域，其主要检测包括尺寸检测、瓶身外观缺陷检测、瓶肩部缺陷检测、瓶口检测等。 三、视觉定位应用 视觉定位要求机器视觉系统能够快速准确的找到被测零件并确认其位置。在半导体封装领域，设备需要根据机器视觉取得的芯片位置信息调整拾取头，准确拾取芯片并进行绑定，这就是视觉定位在机器视觉工业领域最基本的应用。 四、物体测量应用 机器视觉工业应用最大的特点就是其非接触测量技术，同样具有高精度和高速度的性能，但非接触无磨损，消除了接触测量可能造成的二次损伤隐患。常见的测量应用包括，齿轮，接插件，汽车零部件，IC元件管脚，麻花钻，罗定螺纹检测等。 五、物体分拣应用 实际上，物体分拣应用是建立在识别、检测之后一个环节，通过机器视觉系统将图像进行处理，实现分拣。在机器视觉工业应用中常用于食品分拣、零件表面瑕疵自动分拣、棉花纤维分拣等。

机器视觉基本介绍

机器视觉基本概念 2018.1.29 机器视觉系统 作用：利用机器代替人眼来做各种测量和判断。 它是计算机学科的一个重要分支，它综合了光学、机械、电子、计算机软硬件等方面的技术，涉及到计算机、图像处理、模式识别、人工智能、信号处理、光机电一体化等多个领域。 机器视觉系统的特点：是提高生产的柔性和自动化程度。在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉；同时在大批量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。而且机器视觉易于实现信息集成，是实现计算机集成制造的基础技术。可以在最快的生产线上对产品进行测量、引导、检测、和识别，并能保质保量的完成生产任务 视觉检测：指通过机器视觉产品（即图像摄取装置，分CMOS 和CCD 两种）将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。是用于生产、装配或包装的有价值的机制。它在检测缺陷和防止缺陷产品被配送到消费者的功能方面具有不可估量的价值。 照明 照明是影响机器视觉系统输入的重要因素，它直接影响输入数据的质量和应用效果。由于没有通用的机器视觉照明设备，所以针对每个特定的应用实例，要选择相应的照明装置，以达到最佳效果。 光源可分为可见光和不可见光。常用的几种可见光源是白帜灯、日光灯、水银灯和钠光灯。可见光的缺点是光能不能保持稳定。如何使光能在一定的程度上保持稳定，是实用化过程中急需要解决的问题。另一方面，环境光有可能影响图像的质量，所以可采用加防护屏的方法来减少环境光的影响。 照明系统按其照射方法可分为：背向照明、前向照明、结构光和频闪光照明等。其中，背向照明是被测物放在光源和摄像机之间，它的优点是能获得高对比度的图像。前向照明是光源和摄像机位于被测物的同侧，这种方式便于安装。结构光照明是将光栅或线光源等投射到被测物上，根据它们产生的畸变，解调出被测物的三维信息。频闪光照明是将高频率的光脉冲照射到物体上，摄像机拍摄要求与光源同步。 镜头 FOV（Field of Vision）=所需分辨率*亚象素*相机尺寸/PRTM（零件测量公差比） 镜头选择应注意： ①焦距②目标高度③影像高度④放大倍数⑤影像至目标的距离⑥中心点/节点⑦畸变

基于机器视觉的产品检测技术研究文献综述

基于机器视觉的产品识别检测技术研究 摘要：机器视觉检测系统采用CCD照相机将被检测的目标转换成图像信号，传送给图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号，图像处理系统对这些信号进行各种运算来抽取目标特征，如面积、数量、位置，再根据预设的允许度和其他条件输出结果，包括尺寸、个数、合格/不合格、标识有无等，实现自动识别功能。机器视觉的研究是从20世纪60年代中期开始70年代已形成几个重要研究分支：目标制导的图像处理、图像处理和分析的并行运算、序列图像分析和运动参量求值、视觉知识的表示、视觉系统的知识库等。 关键词：机器视觉；CCD相机；图像处理；产品检测。

引言 机器视觉就是用机器代替人眼来做测量和判断，它是一项综合技术，其中包括数字图像处理技术、控制技术、电光源照明技术、光学成像技术、传感技术、模拟与数字视频技术等，机器视觉更强调实用性，要求能够适应工业生产中恶略的环境，要有通用的工业接口。电视摄像技术的成熟与计算机技术的发展使得机器视觉研究成为可能，它作为早期人工智能的一部分，由于技术条件的限制进展缓慢。后来在随着计算机技术的快速发展，机器视觉的研究得到了迅速发展在国外，机器视觉的应用普及主要体现在半导体及电子行业，机器视觉系统在产品检测方面已经得到了广泛的应用。在中国机器视觉技术应用开始与90年代，目前国内机器视觉大多为外国品牌，不过随着机器视觉的应用，国内公司技术上已经逐渐成熟。与此同时，随着配套基础设施建设的完善，技术、资金的积累，各行各业对机器视觉技术的工业自动化、智能化需求开始广泛出现。国内高校校、研究所和企业在这个领域进行了积极探索和大胆尝试，这都将促进工业检测自动化技术向智能化发展。

机器视觉的现状及其应用

河北工业大学 院系：河北工业大学机械工程学院 班级：机研155班 姓名：翟云飞 学号： 201531204037 题目：机器视觉技术及其应用

目录 1.机器视觉的发展现状 2.机器视觉系统组成 2.1机器视觉系统的工作原理 3.机器视觉的应用 3.1基于机器视觉的FPC嵌入式检测系统检测系统 3.2基于机器视觉的柔性制造岛在线零件识别系统 3.3基于机器视觉的PCB光板缺陷检测技术 3.4新兴行业 4.机器视觉发展趋势 5.中国机器视觉产业的发展现状 5.1、随着产业化的发展对机器视觉的需求将呈上升趋势 5.2、统一开放的标准是机器视觉发展的原动力 5.3、基于嵌入式的产品将取代板卡式产品 5.4、标准化、一体化解决方案也将是机器视觉的必经之路 6.参考文献

1.中国机器视觉的发展趋势 近年来，机器视觉已经发展成为光电子的一个应用分支，广泛应用于微电子、PCB生产、自动驾驶、印刷、科学研究和军事等领域。机器视觉在中国的蓬勃发展，使从事机器视觉的公司和人员大量涌现。首先概述了机器视觉技术的基本原理并分析了机器视觉系统的构建；接着论述了机器视觉技术的当前主要应用领域与情况；最后分析了现阶段机器视觉技术存在的问题。 2.机器视觉系统组成及其工作原理 简言之，机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是指通过机器视觉产品（即图像摄取装置，分CMOS和CCD两种）将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。 从原理上机器视觉系统主要由三部分组成：图像的采集、图像的处理和分析、输出或显示。—个典型的机器视觉系统应该包括光源、光学系统、图像捕捉系统、图像数字化模块、数字图像处理模块、智能判断决策模块和机械控制执行模块，如图1所示。

基于机器视觉的产品检测技术研究

基于机器视觉的产品检测技术研究 1、机器视觉 1.1机器视觉的概念 机器视觉被定义为用计算机来模拟人的视觉功能，从客观事物的图像中提取信息，进行处理并加以理解，最终用于实际检测、测量和控制。一个典型的工业机器视觉应用系统包括光源、光学系统、图像采集系统、数字图像处理与智能判断决策模块和机械控制执行模块。系统首先通过CCD相机或其它图像拍摄装置将目标转换成图像信号,然后转变成数字化信号传送给专用的图像处理系统，根据像素分布!亮度和颜色等信息，进行各种运算来抽取目标的特征,根据预设的容许度和其他条件输出判断结果。 值得一提的是，广义的机器视觉的概念与计算机视觉没有多大区别，泛指使用计算机和数字图像处理技术达到对客观事物图像的识别、理解。而工业应用中的机器视觉概念与普通计算机视觉、模式识别、数字图像处理有着明显区别，其特点是： 1、机器视觉是一项综合技术，其中包括数字图像处理技术、机械工程技术、控制技术、电光源照明技术，光学成像技术、传感器技术、模拟与数字视频技术、计算机软硬件技术、人机接口技术等。这些技术在机器视觉中是并列关系。相互协调应用才能构成一个成功的工业机器视觉应用系统。 2、机器视觉更强调实用性，要求能够适应工业生产中恶劣的环境，要有合理的性价比，要有通用的工业接口，能够由普通工作者来操作，有较高的容错能力和安全性，不会破坏工业产品，必须有较强的通用性和可移植性。 3、对机器视觉工程师来说，不仅要具有研究数学理论和编制计算机软件的能力，更需要光、机、电一体化的综合能力。 4、机器视觉更强调实时性,要求高速度和高精度，因而计算机视觉和数字图像处理中的许多技术目前还难以应用于机器视觉，它们的发展速度远远超过其在工业生产中的实际应用速度。 1.2机器视觉的研究范畴 从应用的层面看，机器视觉研究包括工件的自动检测与识别、产品质量的自动检测、食品的自动分类、智能车的自主导航与辅助驾驶、签字的自动验证、目标跟踪与制导、交通流的监测、关键地域的保安监视等等。从处理过程看,机器视觉分为低层视觉和高层视觉两阶段。低层视觉包括边缘检测、特征提取、图像分割等，高层视觉包括特征匹配、三维建模、形状分析与识别、景物分析与理解等。从方法层面看，有被动视觉与主动视觉之，又有基于特征的方法与基于模型的方法之分。从总体上来看，也称作计算机视觉。可以说，计算机视觉侧重于学术研究方面，而机器视觉则侧重于应用方面。 机器人视觉是机器视觉研究的一个重要方向，它的任务是为机器人建立视觉系统，使得机器人能更灵活、更自主地适应所处的环境，以满足诸如航天、军事、工业生产中日益增长的需要（例如，在航天及军事领域对于局部自主性的需要，在柔性生产方式中对于自动定位与装配的需要，在微电子工业中对于显微结构的检测及精密加工的需要等）。机器视觉作为一门工程学科，正如其它工程学科一样，是建立在对基本过程的科学理解之上的。机器视觉系统的设计依赖于具体的问题，必须考虑一系列诸如噪声、照明、遮掩、背景等复杂因素，折中地处理信噪比、分辨率、精度、计算量等关键问题。 1.3机器视觉的研究现状 机器视觉研究出现于60年代初期，电视摄像技术的成熟与计算机技术的发展使得机器视觉研究成为可能。它作为早期人工智能研究的一部分，由于技术条件的限制，进展缓慢。80年代初，在D·Marr提出的计算视觉理论指导下，机器视觉研究得到了迅速发展，成为

人工智能机器视觉

计算机视觉综述 摘要：自从1956 年Dartmouth学会上提出“人工智能”后，世界各国的研究者发展了众多理论和原理。人工智能是一门极富挑战性的学科，研究他的工作人员必须懂得多门学科的知识，比如计算机、心理学、哲学、生物学、仿生学等等，它涉及的范围相当的广泛。并且在这些广泛的学科又由不通的领域组成，如计算机学习、计算机视觉等。研究人工智能的目的是使机器能够担任一些需要人工处理的工作。而这些工作需要做一定的决策，要求机器能够自行的根据当时的环境做出相对较好的决策。这就需要计算机不仅仅能够计算，还能够拥有一定得智能。而要对周围的环境进做出好的决策就需要对周边的环境进行分析,即要求机器能够“看”到周围的环境，并能够理解它们。就像人做的那样。所以计算机视觉是人工智能中非常重要的一个领域。 关键词:人工智能计算机; 视觉; 图像; 1、计算机视觉的应用 人类正在进入信息时代，计算机将越来越广泛地进入几乎所有领域。一方面是更多未经计算机专业训练的人也需要应用计算机，而另一方面是计算机的功能越来越强，使用方法越来越复杂。这就使人在进行交谈和通讯时的灵活性与目前在使用计算机时所要求的严格和死板之间产生了尖锐的矛盾。人可通过视觉和听觉，语言与外界交换信息，并且可用不同的方式表示相同的含义，而目前的计算机却要求严格按照各种程序语言来编写程序，只有这样计算机才能运行。为使更多的人能使用复杂的计算机，必须改变过去的那种让人来适应计算机，来死记硬背计算机的使用规则的情况。而是反过来让计算机来适应人的习惯和要求，以人所习惯的方式与人进行信息交换，也就是让计算机具有视觉、听觉和说话等能力。这时计算机必须具有逻辑推理和决策的能力。具有上述能力的计算机就是智能计算机。 计算机视觉就是用各种成象系统代替视觉器官作为输入敏感手段，由计算机来代替大脑完成处理和解释。计算机视觉的最终研究目标就是使计算机能象人那样通过视觉观察和理解世界，具有自主适应环境的能力。而计算机视觉技术正广泛的应用于各个方面，充医学图像到遥感图像，充各有检查到文件处理。在需要人类视觉的场合几乎都需要用感到计算机视觉，许多人类视觉无法感知的场合，如精确定律感知、危险场景感知、不可见物体感知等，计算机视觉更突出他的优越性。现在计算机视觉已在一些领域的到应用，如零件识别与定位，产品的检验，移动机器人导航遥感图像

机器视觉在医疗器械行业的运用

机器视觉在医疗器械行业的应用 摘要一次性注射针的外观缺陷是影响产品质量的主要因素。为了实现对注射针的外观缺陷检测自动化，本文研究了用西门子机器视觉[1]技术结合西门子自动化[2]设备在线检测注射针的外观缺陷并自动剔除不合格产品的方法。在实际生产过程的运用中，注射针检测系统得到了多家医疗器械厂商的好评。 关键词一次性注射针缺陷检测西门子机器视觉自动化 Abstract The defect on the appearance of the one-off injector pin is the main influencing factor to it’s quality. To realize defect inspection automatically for the defect on the appearance of the one-off injector pin, some defect inspecting methods for the one-off injector pin by SIMATIC machine vision combine with SIMATIC automatic equipment are studied in this article. In actual project, the equipment of Hang zhou Huafeng automatic company that inspects the appearance of the one-off injector pin obtained good effect from many medical instrument manufacturers. Key Words one-off injector pin, defect inspection, SIMATIC machine vision, automation 1 引言 随着医疗水平和医疗器械的不断提高和更新，一次性注射针以其方便、卫生的特点深受用户的喜爱，其需求量也迅速增大，而针头外观的好坏直接影响到一次性注射针的质量。所以为了减少不合格品的数量，需要增加检测工序。手工外观检验和产品标记昂贵和不可靠。同时又意味着不近人情的单调工作。这里，自动化机器视觉系统提供了解决这些问题的方案。 2 一次性注射针的缺陷 一次性注射针可以分为针座和针头两个部分。针座的缺陷对产品的质量影响可以不计。而针头就存在着两种缺陷情况：首先针头在制作过程中针尖部位可能会产生毛刺；其次针头在自动装配过程中可能会产生倒插现象（针尖部位被插入针座）。影响针头的几个缺陷为：针尖毛刺、倒插。其中倒插不仅会对产品的质量产生直接的影响，而且严重的会危害到人的

人工智能的模式识别与机器视觉

人工智能的模式识别与机器视觉 模式识别 “模式”(Panern)一词的本意是括完整天缺的供模仿的标本或标识。模式识别就是识别出给定物体所模仿的标本或标识。计算机模式识别系统使一个计算机系统具有模拟人类通过感官接受外界信息、识别和理解周围环境的感知能力。 模式识别是一个不断发展的学科分支，它的理论基础和研究范围也在不断发展。在二维的文字、图形和图像的识别方而，已取得许多成果。三维景物和活动目标的识别和分析是目前研究的热点。语音的识别和合成技术也有很大的发展。基于人工神经网络的模式识别技术在手写字符的识别、汽车牌照的识别、指纹识别、语音识别等方面已经有许多成功的应用。模式识别技术是智能计算机和智能机器人研究的十分重要的基础 机器视觉 实验表明，人类接受外界信息的80％以上来自视觉，10％左右来自听觉，其余来自嗅觉、味觉及触觉。在机器视觉方面，只要给计算机系统装上电视摄像输入装置就可以“看见”周围的东西。但是，视觉是一种感知，机器视觉的感知过程包含一系列的处理过程，例如，一个可见的景物由传感器编码输入，表示成一个灰度数值矩阵；图像的灰度数值由图像检测器进行处理，检测器检测出图像的主要成分，如组成景物的线段、简单曲线和角度等；这些成分又校处理，以便根据景物的表面特征和形状特征来推断有关景物的特征信息；最终目标是利用某个适当的模型来表示该景物。 视觉感知问题的要点是形成一个精练的表示来取代极其庞大的未经加工的输入情息，把庞大的视觉输人信息转化为一种易于处理和有感知意义的描述。 机器视觉可分为低层视觉和高后视觉两个层次，低层视觉主要是对视觉团像执行预处理，例如，边缘检测、运动目标检测、纹理分析等，另外还有立体造型、曲面色彩等，其目的是使对象凸现出来，这时还谈不上对它的理解。高层视觉主要是理解对象，显然，实现高层视觉需要掌捏与对象相关的知识。 机器视觉的前沿研究课题包括：实时图像的并行处理，实时图像的压缩、传输与复原，三绍景物的建模识别，动态和时变视觉等。 人娄的钉能活动过程主要是一个获得知识并运用知识的过程，知识是智能的基础。为了使计算机具有钉能，能模拟人类的智能行为，就必须使它具有知识。把人类拥有的知识采用适当的模式表示出来以便存储到计算机中，这就是知识表示要解决的问题。知识表示是对知识的一种描述，或者说是一组约定，是一种计算机可以接受的用于描述知识的数据结构，对知识进行表木就是把知识表示咸便于计算机存储和利用的菜种数据结构。知识表示方法给出的知识表示形式称为知识表示程式，知识表示模式分为外部表示模式和内部表示模式两个层次。知识外部表示模式是与软件开发的工具、运行的软件平台无关的知识表示的形式化描述。知

机器视觉课后心得体会

经过机器视觉技术及应用这门课程的学习，我觉得受益匪浅。可以说这门课程更偏重于实践，也很好的锻炼了我们，老师讲课很认真，ppT准备的很详细，对于一些关键问题的讲解更是深入浅出。机器视觉技术，即采用机器代替人眼来做测量和判断。机器视觉系统是指通过机器视觉产品即图像摄取装置，分CMOS 和CCD两种把图像抓取到，然后将该图像传送至处理单元，通过数字化处理，根据像素分布和亮度、颜色等信息，来进行尺寸、形状、颜色等的判别，进而根据判别的结果来控制现场的设备动作。机器视觉主要用计算机来模拟人的视觉功能，但并不仅仅是人眼的简单延伸，更重要的是具有人脑的一部分功能一一从客观事物的图像中提取信息，进行处理并加以理解，最终用于实际检测、测量和控制。 机器视觉不同于计算机视觉，它涉及图像处理、人工智能和模式识别，机器视觉是将计算机视觉应用于工业自动化。 目前在机器视觉系统中；CCD 摄像机以其体积小巧、性能可靠、清晰度高等优点得到了广泛使用。机器视觉伴随计算机技术、现场总线技术的发展，技术日臻成熟，已是现代加工制造业不可或缺的产品，广泛应用于食品和饮料、化妆品、制药、建材和化工、金属加工、电子制造、包装、汽车制造等行业。在未来的几年内，随着中国加工制造业的发展，对于机器视觉的需求也逐渐增多；随着机器视觉产品的增多，技术的提高，国内机器视觉的应用状况将由初期的低端转向高端。加之机器视觉的介入，自动化将朝着更智能、更快速的方向发展。 通过本课程的学习，我们掌握了一些机器视觉方面的基本知识。这门课对于我们生活方面有很大的实用性，可以让我们了解到机器视觉的基本构造，对成为技术应用型人才，适应社会和培养实践能力与技能都起到了很大的作用。这样的学习让我们将知识更灵活的运用，更好的将知识和实践结合在一起并转化为技能。 通过这门课程的学习，我们懂得更多，收获更多，提升了自身操作能力的同时又学到了很多东西，我相信在以后的课堂学习和实践学习中可以掌握更多更深入的知识，不断的提高自身的学习与应用能力。

第十章 机器视觉 人工智能课程 北京大学

第十章机器视觉 教学内容：本章所研究的机器视觉是诸多传感信息中包含信息最丰富、最复杂和最重要的感觉之一，也是应用最为广泛的机器感觉之一。内容包括图象的理解与分析、视觉的知识表示与控制策略和物体形状的分析与识别等。 教学重点：物体边缘距离的计算、表面方向的计算、物体形状识别方法 教学难点：图匹配法、松弛标示法、多层匹配法等 教学方法：用较为通俗的语言将机器视觉的相关知识讲透彻，同时结合图表，对不同线条的标示方法进行讲解。多结合日常生活中常有的现象，让学生对所学知识有更深入的认识。 教学要求：重点掌握视觉信息的表达方法，包括初始简图、二维半简图和三维模型；掌握物体边缘距离和表面方向的生理学基础及计算原理和计算方法；了解复杂形状物体的表示和三维物体的形状描述方法；一般了解机器视觉应用系统的构成、视觉系统的设计思想。 10.1 图象的理解与分析 教学内容：对图象进行理解和解释是计算机视觉的研究中心，也是人工智能研究的焦点之一。 教学重点：初始简图、二维半简图和三维模型 教学难点：松弛算法、边缘距离的计算 教学方法：以课堂书本知识为主，采取提问，讨论等方式提高学生学习的积极性，自主性和创造性。 教学要求：重点掌握视觉信息的表达方法，包括初始简图、二维半简图和三维模型；掌握物体边缘距离和表面方向的生理学基础及计算原理和计算方法 10.1.1 视觉信息的表达方法 根据马氏(Marr)提出的假设，视觉信息处理过程包括3个主要表达层次，即初始简图、二维半简图和三维简图，如图10.1所示。

图10.1 视觉信息的表达层次 1、初始简图的基本概念： 亮度图象含有两种重要信息：图象的亮度变化和局部几何特征。初始简图是一种本原表达法，它能完全而又清楚地表示上述信息。初始简图所包含的信息大部分集中在与实际边缘以及边缘终止点有关的剧烈灰度变化上。对于每一边缘亮度变化，在初始简图上都有对应的描述。这些描述包括：与边缘有关的亮度变化率、总的亮度变化、边缘长度、曲率和方向等。粗略地说，初始简图是以勾划草图的形式来表示图象中的亮度变化的。 图10.2 用初始简图表示灰度变化图10.3 二维半简图举例

基于机器视觉的产品检测技术研究【详述】

机器视觉概念/研究现状/应用/检测 内容来源网络，由“深圳机械展（11万㎡，1100多家展商，超10万观众）”收集整理！ 更多cnc加工中心、车铣磨钻床、线切割、数控刀具工具、工业机器人、非标自动化、数字化无人工厂、精密测量、3D打印、激光切割、钣金冲压折弯、精密零件加工等展示，就在深圳机械展. 1、机器视觉 1.1机器视觉的概念 机器视觉被定义为用计算机来模拟人的视觉功能，从客观事物的图像中提取信息，进行处理并加以理解，最终用于实际检测、测量和控制。一个典型的工业机器视觉应用系统包括光源、光学系统、图像采集系统、数字图像处理与智能判断决策模块和机械控制执行模块。系统首先通过CCD相机或其它图像拍摄装置将目标转换成图像信号,然后转变成数字化信号传送给专用的图像处理系统，根据像素分布!亮度和颜色等信息，进行各种运算来抽取目标的特征,根据预设的容许度和其他条件输出判断结果。 值得一提的是，广义的机器视觉的概念与计算机视觉没有多大区别，泛指使用计算机和数字图像处理技术达到对客观事物图像的识别、理解。而工业应用中的机器视觉概念与普通计算机视觉、模式识别、数字图像处理有着明显区别，其特点是： 1、机器视觉是一项综合技术，其中包括数字图像处理技术、机械工程技术、控制技术、电光源照明技术，光学成像技术、传感器技术、模拟与数字视频技术、计算机软硬件技术、人机接口技术等。这些技术在机器视觉中是并列关系。相互协调应用才能构成一个成功的工业机器视觉应用系统。 2、机器视觉更强调实用性，要求能够适应工业生产中恶劣的环境，要有合理的性价比，

要有通用的工业接口，能够由普通工作者来操作，有较高的容错能力和安全性，不会破坏工业产品，必须有较强的通用性和可移植性。 3、对机器视觉工程师来说，不仅要具有研究数学理论和编制计算机软件的能力，更需要光、机、电一体化的综合能力。 4、机器视觉更强调实时性,要求高速度和高精度，因而计算机视觉和数字图像处理中的许多技术目前还难以应用于机器视觉，它们的发展速度远远超过其在工业生产中的实际应用速度。 1.2机器视觉的研究范畴 从应用的层面看，机器视觉研究包括工件的自动检测与识别、产品质量的自动检测、食品的自动分类、智能车的自主导航与辅助驾驶、签字的自动验证、目标跟踪与制导、交通流的监测、关键地域的保安监视等等。从处理过程看,机器视觉分为低层视觉和高层视觉两阶段。低层视觉包括边缘检测、特征提取、图像分割等，高层视觉包括特征匹配、三维建模、形状分析与识别、景物分析与理解等。从方法层面看，有被动视觉与主动视觉之，又有基于特征的方法与基于模型的方法之分。从总体上来看，也称作计算机视觉。可以说，计算机视觉侧重于学术研究方面，而机器视觉则侧重于应用方面。 机器人视觉是机器视觉研究的一个重要方向，它的任务是为机器人建立视觉系统，使得机器人能更灵活、更自主地适应所处的环境，以满足诸如航天、军事、工业生产中日益增长的需要（例如，在航天及军事领域对于局部自主性的需要，在柔性生产方式中对于自动定位与装配的需要，在微电子工业中对于显微结构的检测及精密加工的需要等）。机器视觉作为一门工程学科，正如其它工程学科一样，是建立在对基本过程的科学理解之上的。机器视觉系统的设计依赖于具体的问题，必须考虑一系列诸如噪声、照明、遮掩、背景等复杂因素，折中地处理信噪比、分辨率、精度、计算量等关键问题。

机器视觉技术及其应用概述

机器视觉技术及其应用概述 姓名: 班级：机械0904班学号： 摘要：近年来，机器视觉已经发展成为光电子的一个应用分支，广泛应用于微 电子、PCB生产、自动驾驶、印刷、科学研究和军事等领域。机器视觉在中国的蓬勃发展，使从事机器视觉的公司和人员大量涌现。首先概述了机器视觉技术的基本原理并分析了机器视觉系统的构建；接着论述了机器视觉技术的当前主要应用领域与情况；最后分析了现阶段机器视觉技术存在的问题。 关键词：器视觉；技术；应用 机器视觉系统组成及其工作原理 机器视觉即用机器代替人眼来做测量和判断。机器视觉系统的工作流程大致为：被摄取目标——经图像摄取装臵——图像信号——经图像处理系统——数字信号——经抽取目标特征——判断结果并控制设备。该流程的实现需相应的硬件作为基础，典型的工业机器视觉系统构成有照明、镜头、相机、图像采集卡、视觉处理器等。下面将对机器视觉系统组成和工作原理进一步具体说明。 机器视觉系统组成 从原理上机器视觉系统主要由三部分组成：图像的采集、图像的处理和分析、输出或显示。—个典型的机器视觉系统应该包括光源、光学系统、图像捕捉系统、图像数字化模块、数字图像处理模块、智能判断决策模块和机械控制执行模块，如图1所示。 从中我们可以看出机器视觉是一项综合技术。其中包括数字图像处理技术、机械工程技术、控制技术、光源照明技术、光学成像技术、传感器技术、模拟与数字视频技术、计算机软硬件技术、人机接口技术等。只有这些技术的相互协调应用才能构成一个完整的机器视觉应用系统。机器视觉应用系统的关键技术主要体现在光源照明、光学镜头、摄像机(CCD)、图像采集卡、图像信号处理以及执行机构等。以下分别就各方面展开论述。