人型机器人的自主抓取能力研究——基于NAO机器人

Pr. Axel Pinz / Thomas H?ll,Inst. of Electrical Measurement and Measurement Signal Processing Graz University of Technology – Graz (Austria)

I am in charge of the Vision Based Measurement Group at Graz University of Technology. The research group is focused on two main areas: Object Category Recognition & Detection; and Structure & Motion Analysis. We have excellent first results on “active object categorization” with NAO, where NAO is handed an object, inspects it visually, and classifies the object category. To explore object detection, manipulation, and recognition further, it is desirable to develop autonomous grasping capabilities on NAO.

While N AO has quite versatile arms, hands and fingers, autonomous grasping of objects with NAO poses a number of hard problems. First, there is (still, although the longer arms of V3 have certainly improved this issue) a rather limited area that can be confidently reached by NAO’s arms. Second, there is the pincer-shape of the three fingers, and only one degree of freedom (open/close) in grasping. Third, N AO’s monocular vision and rather limited computational power call for a slim, reconstruction-free approach. Therefore, we restrict ourselves to a study case, where NAOs “world” is unsaturated, in terms of color, i.e. white or grey walls, table surfaces, floor. Furthermore, the objects to be grasped are limited to highly saturated, coloured (red, green, blue) foam cubes. We have addressed the autonomous grasping problem in two distinct steps:

1. Grasping from a small table in front of NAO.

N AO is cowering behind the table, and only N AO’s arms are actuated. The area of reach is limited to the part of the table that is in the field of view of the bottom camera. This task addresses mainly issues of camera calibration, coordinate transformations, and visual servoing.

2. Autonomous grasping from the floor.

We have built a small “room” for NAO, with white walls and a homogenous dark floor. NAO is placed in this room, and a foam cube is thrown in. NAO detects the cube, walks towards it, bends down, and grasps it. While this task is certainly more complex than the grasping from a table, N AO can control its approach towards the cube, ending up in a well-suited pose for grasping. Thus, we even achieve higher success rates for grasping from the floor than for grasping from the table.AUTONOMOUS GRASPING WITH NAO

“ To explore object detection, manipulation, and recognition further, it is desirable to develop autonomous grasping capabilities

on NAO. ”

Grasping from a table NAOs “room” Grasping from the floor

In both cases, visual servoing is performed as follows.

We calculate the orientation of the floor plane – it coincides with the normal of NAO’s feet. Next, we calculate a plane parallel to the floor plane, in which we position the hand above the cube. In the case of the table, this plane is approx. 10cm above the table plane. When picking up from the floor, the plane is 10cm above the floor plane. We calibrate NAO’s bottom camera and project the position of NAO’s thumb on the table/floor surface. We call this, the “virtual thumb” concept. Finally, by visual servo control, we try to align the position of the virtual thumb with the color blob (image of the colored cube) in the image.

For the “pick up from the floor” task, NAO first visually inspects the room. He takes a number of views by rotating his head. A cube is detected as a highly saturated color blob in the image. If no cube can be found, NAO rotates around his horizontal axis and takes more views. Once a cube has been found, NAO approaches the cube, walking towards it. This is achieved by color blob tracking and head motions, trying to keep the cube in NAO’s field of view while walking. Once NAO is close to the cube, he stops walking, and starts a fine-positioning move, before bending down to start the grasping.

In repeated experiments (50 independent tries each, grasping from the table and from the floor), we reach a success rate of 74% successful grasps from the table, and 88% successful grasps from the floor.

N AO is ideally suited for the research performed in our group. Work with humanoids is attractive to students, and we offer an excellent working environment in our image-based measurement lab. The N AO hardware platform is sufficiently stable, and it can be rather easily accessed and programmed. At the same time, compared to industrial robots, NAO is inherently imprecise. This calls for qualitative, goal-oriented solutions. Furthermore, such a robotic system will force the student to use sensorial input (in our case mostly visual input), and to find ways to communicate processing results. While in Computer Vision and Image Understanding research, the output is often in the form of processed/augmented images, NAO is well suited to demonstrate success of computer vision algorithms by actions, motion, or by voice output.

I am working on N AO with groups of my students (up to 6 students per semester). Inside our vision-based measurement lab, we have set up a “living room” for NAO. This “room” is about 2x2 meters, with white walls of 60cm height, so that NAO’s visual input will be constrained to the interior of its room, while it is easy to watch from outside. We have equipped the room with various color-coded furniture that can be used as chairs and tables of variable height, and also (turned upside-down) as color-coded

baskets.The motion plane, where the hand is positioned, and the projection of the “virtual thumb”.

NAOs view, thumb,

table surface normal,

the “virtual thumb”

(orange dot).

74% successful grasps

Thomas H?ll, and the experimental setup for grasping from the floor

https://www.wendangku.net/doc/6d18193754.html,/AldebaranRobotics “ While in Computer Vision and Image Understanding research, the output is often in the form of processed/augmented images, NAO is well suited to demonstrate success of computer vision algorithms by actions, motion, or by voice output.”Current projects include active object categorization of toy objects that are handed to NAO, the autonomous vision-based grasping described here, and we have also built a flexible maze that can be put into the room in various configurations. We wish to make NAO find its way through this maze.

Nao is mainly programmed using C++ and OpenCV. Behaviours are naturally and easily implemented in Choregraphe.

These are first, yet quite encouraging, results on autonomous grasping. The major current limitation is the color and size of our foam cubes. They must be homogenous (untextured), highly saturated (uniformly and intensely colored), soft objects of a size that is convenient to grasp for NAOs hand. However, with completely unchanged parameters, NAO also accidentally succeeded in picking up a green Duplo brick from the floor.

Improvements in autonomous grasping capabilities will be the key to further progress in this area. This would probably require more sophisticated algorithms and higher computational power to calculate grasping points for more complex shaped and textured objects.

key to further progress in this area. This would probably require more sophisticated algorithms and higher computational power to calculate grasping points for more complex shaped and textured objects.

Further information

Homepage:

For further information about Axel Pinz’ research group and his research activities, please visit http://www.emt.tugraz.at/~pinz/

Published papers:

T. H?ll and A. Pinz. Vision-based grasping o objects rom a table using the humanoid robot Nao.

In Proc. ARW’2011, Austrian Robotics Workshop

机器人抓取装置位置控制系统系统校正装置设计

自动控制原理课程设计题目：机器人抓取装置位置控制系统校正装置设计 专业：电气工程及其自动化 ： 班级：学号： 指导老师：职称： 州航空工业管理学院 机电工程学院 2011年12月

初始条件： 一个机器人抓取装置的位置控制系统为一单位负反馈控制系统，其传递函数为()()() 15.013 0++=s s s s G ，设计一个滞后校正装置，使系统的相 角裕度?=45γ。 设计容： 1.先手绘系统校正前的bode 图，然后再用MATLAB 做出校正前系统的bode 图，根据MATLAB 做出的bode 图求出系统的相角裕量。 2.求出校正装置的传递函数 3. 用MATLAB 做出校正后的系统的bode 图，并求出系统的相角裕量。 4.在matlab 下，用simulink 进行动态仿真，在计算机上对人工设计系统进行仿真调试，确使满足技术要求。 5.对系统的稳定性及校正后的性能说明 6.心得体会。

1频率法的串联滞后校正特性及方法 1.1特性：当一个系统的动态特性是满足要求的，为改善稳态性能，而又不影响其动态响应时，可采用此方法。具体就是增加一对靠的很近并且靠近坐标原点的零、极点，使系统的开环放大倍数提高β倍，而不影响开环对数频率特性的中、高频段特性。 1.2该方法的步骤主要有： ()1绘制出未校正系统的bode 图，求出相角裕量0γ，幅值裕量g K 。 ()2在bode 图上求出未校正系统的相角裕量εγγ +=期望处的频率 2c ω,2c ω作为校正后系统的剪切频率， ε用来补偿滞后校正网络2c ω处的相角滞后，通常取??=15~5ε。 ()3令未校正系统在2c ω的幅值为βlg 20，由此确定滞后网络的β值。 ()4为保证滞后校正网络对系统在2c ω处的相频特性基本不受影响，可 按10 ~ 2 1 2 2 2c c ωωτ ω= =求得第二个转折频率。 ()5校正装置的传递函数为()1 1++= s s s G C βττ ()6画出校正后系统的bode 图，并校验性能指标 2确定未校正前系统的相角裕度 2.1先绘制系统的bode 图如下：

机器人抓取运动目标轨迹规划与控制

I．引言 机器人抓取运动目标是指机器人基于内部控制系统的控制，完成运动目标的跟踪和抓取，是智能机器人的一个前沿应用课题，在工业、航天和娱乐等领域有良好的应用前景。在运动目标的捕捉中，一方面，机器人手爪必须快速跟踪并接近目标;另一方面必须能够感知环境以避开可能的障碍，其中状态反馈和路径规划需要很高的实时性和抗干扰能力。此外，系统还受到动力学约束、关节几何约束等限制，而这一切都必须在实时条件下完成。 抓取运动目标技术在航空航天、工业生产、遥感技术、军事技术、特殊环境作业等多领域有着广泛的应用。该技术的研究最典型的应用就在于太空卫星捕捉机器人，众所周知由宇航员来接近和捕捉正在旋转的卫星很危险而且困难，从而使人们意识到应该使用机器人进行太空服务，近年来越来越多的机器臂装配到了航天设备上。此外，抓取运动目标的技术还可以应用在工业生产过程中抓取装配线传送带上正在运动的零部件；球类机器人（如：足球机器人，排球机器人等）；太空、深海等场合的自动对接和作业。 对于机器人抓取运动目标，其末端机械手的动作规划和目标检测等问题就需要传感技术与机器人控制技术的完美结合。目前，对于目标状态的测取一般采用图像传感（CCD摄像机），但是单视觉反馈有着它自身的缺陷，单摄像机模型往往能够获得较为精确的平面位置信息，而不能获得精确的深度信息。为此，在状态测取时，一般采用多摄像机模型或摄像机与位置传感器相结合模型。对于抓取运动目标动作规划目前一般存在有三种方法：直接瞄准法、比例导引法、以及预测-规划-执行( Prediction Planning and Execution，PPE) 方法。后文将具体讨论以上内容。 II．系统组成 下图是一个典型的机器人抓取运动目标的系统方框图。抓取运动咪表的机器人与一般的机器人相比，其操作对象大多为状态参数不确定的运动目标，同时机器人与目标之间的接触速度较高。因此必须着重研究以下问题: 实时状态测

机器人的组成系统

一．工业机器人组成系统 工业机器人由主体、驱动系统和控制系统三个基本部分组成。主体即机座和执行机构，包括腰部、肩部、肘部和手腕部，其中手腕部有3个运动自由度。驱动系统包括动力装置和传动机构，用以使执行机构产生相应的动作。控制系统是按照输入的程序对驱动系统和执行机构发出指令信号，并进行控制。 工业机器人按执行机构运动的控制机能，又可分点位型和连续轨迹型。点位型只控制执行机构由一点到另一点的准确定位，适用于机床上下料、点焊和一般搬运、装卸等作业；连续轨迹型可控制执行机构按给定轨迹运动，适用于连续焊接和涂装等作业。 工业机器人按程序输入方式区分有编程输入型和示教输入型两类。编程输入型是将计算机上已编好的作业程序文件，通过RS232串口或者以太网等通信方式传送到机器人控制柜。 示教输入型的示教方法有两种：一种是由操作者用手动控制器(示教操纵盒)，将指令信号传给驱动系统，使执行机构按要求的动作顺序和运动轨迹操演一遍；另一种是由操作者直接领动执行机构，按要求的动作顺序和运动轨迹操演一遍。在示教过程的同时，工作程序的信息即自动存入程序存储器中在机器人自动工作时，控制系统从程序存储器中检出相应信息，将指令信号传给驱动机构，使执行机构再现示教的各种动作。示教输入程序的工业机器人称为示教再现型工业机器人。 几个问题： （1）巨轮机器人JLRB20KG机器人是点位型还是连续轨迹型？ （2）能不能编写一个简单程序，使机器人能够的末端能够走一个圆？ （3）能不能控制机器人中每一个电机的输出功率或扭矩？ （4）机器人每一个关节从驱动电机到执行机构的传递效率有没有？ 二．工业机器人的主体 机器人本体由机座、腰部、大臂、小臂、手腕、末端执行器和驱动装置组成。共有六个自由度，依次为腰部回转、大臂俯仰、小臂俯仰、手腕回转、手腕俯仰、手腕侧摆。机器人采用电机驱动，电机分为步进电机或直流伺服电机。直流伺服电机能构成闭环控制、精度高、额定转速高、但价格较高，而步进电机驱动具有成本低、控制系统简单。 各部件组成和功能描述如下： （1）基座：基座是机器人的基础部分，起支撑作用。整个执行机构和驱动装置都安装在基座。 （2）腰部：腰部是机器人手臂的支撑部分，腰部回转部件包括腰部支架、回转轴、支架、谐波减速器、制动器和步进电机等。 （3）大臂：大臂和传动部件 （4）小臂：小臂、减速齿轮箱、传动部件、传动轴等，在小臂前端固定驱动手腕三个运

工业机器人的技术参数、控制系统、主要结构汇总

一、机器人的主要技术参数 机器人的技术参数反映了机器人可胜任的工作、具有的最高操作性能等情况，是设计、应用机器人必须考虑的问题。机器人的主要技术参数有自由度、分辨率、工作空间、工作速度、工作载荷等。 1、自由度 机器人具有的独立坐标轴运动的数目。机器人的自由度是指确定机器人手部在空间的位置和姿态时所需要的独立运动参数的数目。手指的开、合，以及手指关节的自由度一般不包括在内。.机器人的自由度数一般等于关节数目。机器人常用的自由度数一般不超过5～6个。 2、关节（Joint） 即运动副，允许机器人手臂各零件之间发生相对运动的机构。 3、工作空间

机器人手臂或手部安装点所能达到的所有空间区域。其形状取决于机器人的自由度数和各运动关节的类型与配置。机器人的工作空间通常用图解法和解析法两种方法进行表示。 4、工作速度 机器人在工作载荷条件下、匀速运动过程中，机械接口中心或工具中心点在单位时间内所移动的距离或转动的角度。 5、工作载荷 指机器人在工作范围内任何位置上所能承受的最大负载，一般用质量、力矩、惯性矩表示。还和运行速度和加速度大小方向有关，一般规定高速运行时所能抓取的工件重量作为承载能力指标。 6、分辨率 能够实现的最小移动距离或最小转动角度。 7、精度 重复性或重复定位精度：指机器人重复到达某一目标位置的差异程度。或在相同的位置指令下，机器人连续重复若干次其位置的分散情况。它是衡量一列误差值的密集程度，即重复度。 二、机器人的控制系统 1、机器人的控制系统 “控制”的目的是使被控对象产生控制者所期望的行为方式。.“控制”的基本条件是了解被控对象的特性。“实质”是对驱动器输出力矩的控制。

机器人抓取装置位置控制系统校正装置设计

机器人抓取装置位置控 制系统校正装置设计 Document serial number【UU89WT-UU98YT-UU8CB-UUUT-UUT108】

自动控制原理课程设计题目：机器人抓取装置位置控制系统校正装置设计 专业：电气工程及其自动化 姓名： 班级：学号： 指导老师：职称： 郑州航空工业管理学院 机电工程学院 2011年12月

初始条件： 一个机器人抓取装置的位置控制系统为一单位负反馈控制系统，其传递函数为()()() 15.013 0++=s s s s G ，设计一个滞后校正装置，使系统的相角裕 度?=45γ。 设计内容： 1.先手绘系统校正前的bode 图，然后再用MATLAB 做出校正前系统的bode 图，根据MATLAB 做出的bode 图求出系统的相角裕量。 2.求出校正装置的传递函数 3. 用MATLAB 做出校正后的系统的bode 图，并求出系统的相角裕量。 4.在matlab 下，用simulink 进行动态仿真，在计算机上对人工设计系统进行仿真调试，确使满足技术要求。 5.对系统的稳定性及校正后的性能说明 6.心得体会。

1频率法的串联滞后校正特性及方法 特性：当一个系统的动态特性是满足要求的，为改善稳态性能，而又不影响其动态响应时，可采用此方法。具体就是增加一对靠的很近并且靠近坐标原点的零、极点，使系统的开环放大倍数提高β倍，而不影响开环对数频率特性的中、高频段特性。 该方法的步骤主要有： ()1绘制出未校正系统的bode 图，求出相角裕量0γ，幅值裕量g K 。 ()2在bode 图上求出未校正系统的相角裕量εγγ +=期望处的频率2c ω,2 c ω作为校正后系统的剪切频率，ε用来补偿滞后校正网络2c ω处的相角滞后，通常取??=15~5ε。 ()3令未校正系统在2c ω的幅值为βlg 20，由此确定滞后网络的β值。 ()4为保证滞后校正网络对系统在2c ω处的相频特性基本不受影响，可按 10 ~ 2 1 2 2 2c c ωωτ ω= = 求得第二个转折频率。 ()5校正装置的传递函数为()1 1 ++= s s s G C βττ ()6画出校正后系统的bode 图，并校验性能指标 2确定未校正前系统的相角裕度 先绘制系统的bode 图如下：

机器人抓取装置位置控制系统校正装置设计

自动控制原理课程设计题目:机器人抓取装置位置控制系统校正装置设计 专业：电气工程及其自动化 姓名： 班级：学号： 指导老师：职称: 郑州航空工业管理学院 机电工程学院

2011年12月 初始条件： 一个机器人抓取装置的位置控制系统为一单位负反馈控制系统，其传 递函数为G。s = 3，设计一个滞后校正装置，使系统的相 s(s+1 (0.5S + 1 ) 角裕度吋-45。 设计内容： 1先手绘系统校正前的bode图，然后再用MATLAB做出校正前系统的bode图，根据MATLAB做出的bode图求出系统的相角裕量。 2.求出校正装置的传递函数 3.用MATLAB做出校正后的系统的bode图，并求出系统的相角裕量。4在matlab下，用simulink进行动态仿真，在计算机上对人工设计系统进行仿真调试，确使满足技术要求。 5对系统的稳定性及校正后的性能说明6.心得体会。

1频率法的串联滞后校正特性及方法 1.1特性：当一个系统的动态特性是满足要求的，为改善稳态性能，而又不影响其动态响应时，可采用此方法。具体就是增加一对靠的很近并且靠近坐标原点的零、极点，使系统的开环放大倍数提高 ［倍， 而不影响开环对数频率特性的中、高频段特性。 1.2该方法的步骤主要有： 1绘制出未校正系统的bode图，求出相角裕量°，幅值裕量久g。 2在bode图上求出未校正系统的相角裕量二期望」处的频率 ‘2,'2作为校正后系统的剪切频率，；用来补偿滞后校正网络,2处的相角滞后，通常取；=5?15。 3令未校正系统在^2的幅值为20lgi，由此确定滞后网络的［值。 4为保证滞后校正网络对系统在-c2处的相频特性基本不受影响，可按丄 二二?上求得第二个转折频率。 T 2 10 5校正装置的传递函数为Gc s = - S 1 削s +1 6画出校正后系统的bode图，并校验性能指标 2确定未校正前系统的相角裕度 2.1先绘制系统的bode图如下：

机器人的基本结构原理

教案首页 课程名称农业机器人任课教师李玉柱第2章机器人的基本结构原理计划学时 3 教学目的和要求： 1.弄清机器人的基本构成； 2.了解机器人的主要技术参数； 3.了解机器人的手部、腕部和臂部结构； 4.了解机器人的机身结构； 5.了解机器人的行走机构 重点： 1.掌握机器人的基本构成 2.弄清机器人都有哪些主要技术参数 3.机器人的手部、腕部和臂部结构 难点： 机器人的手部、腕部和臂部结构 思考题： 1.机器人由哪些部分组成 2.机器人的主要技术参数有哪些 3.机器人的行走机构共分几类，请想象未来的机器人能 否有其它类型的行走机构

第2章概论 教学主要内容： 2.1机器人的基本构成 2.2机器人的主要技术参数 2.3人的手臂作用机能初步分析 2.4机器人的机械结构构成 2.5机器人的手部 2.6机器人的手臂 2.7机器人的机身 2.8机器人的行走机构 本章介绍了机器人的基本构成、主要技术参数，人手臂作用机能，在此基础上对机器人的手部、手腕、手部、。机身、行走机构等原理及相关的结构设计进行讨论，使学生对机器人的机构和原理有较为清楚的了解。 2.1机器人的基本构成 简单地说：机器人的原理就是模仿人的各种肢体动作、思维方式和控制决策能力。 不同类型的机器人其机械、电气和控制结构也不相同，通常情况下，一个机器人系统由三部分、六个子系统组成。这三部分是机械部分、传感部分、控制部分；六个子系统是驱动系统、机械系统、感知系统、人机交互系统、机器人-环境交互系统、控制系统等。如图2-1所示。

●是由关节连在一起的许多机械连杆的集合体， 关节通常分为转动关节和移动关节，移动关节允许连杆做直线移动，转动关节仅允许连杆之间发生旋转运动。 个主要部●常规的驱 接地与臂、腕或手上的机械连杆或关节连接在一起，也可以使用齿轮、带、链条等机械传动机构间接传动。 ●感知系统 ．．．．由一个或多个传感器组成，用来获取内部和外部环境中的有用信息，通过这些信息确定机械部件各部分的运行轨迹、速度、位置和外部环境状态，使机械部件的各部分按预定程序或者工作需要进行动作。传感器的使用提高了机器人的机动性、适应性和智能化水平。 ●控制系统 ．．．．其任务是根据机器人的作业指令程序以及从传感器反馈回来的信号支配机器人的执行机构去完成规定的运动和功能。若机器人不具备信息反馈特征，则为开环控制系统；若具备信息反馈特征，则为闭环控制系统。根据控制原理，控制系统又可分为程序控制系统、