基于移动通信网络的机器人遥操作
2006年5月
Journal on Communications
May 2006
第27卷第5期 通 信 学 报 V ol.27 No.5
基于移动通信网络的机器人遥操作
李莹莹1, 刘云辉2, 樊玮虹1, 蔡宣平1, 李波3
(1. 国防科学技术大学 电子科学与工程学院
湖南 长沙
410073
2. 香港中文大学 自动化与辅助工程系
香港
3. 空军工程大学
电讯工程学院
陕西 西安 710077)
摘 要提出了一种基于移动通信网的多机器人遥操作方案解决了在恶劣的移动环境中如何保证系统稳定性并进行具有实时力觉视觉反馈的双向遥操作等问题其中通过比较现存的各种视频压缩标准结合关键帧提取帧分割等技术提出了一种移动网中的实时视频传输方案一系列室外机器人群编队行进实验验证了方案的有效性 关键词移动通信网
遥操作
关键帧
力反馈
中图分类号TP24 文献标识码 B 文章编号1000-436X(2006)05-0052-08
Teleoperation of robots via the mobile communication networks
LI Ying-ying 1, LIU Yun-hui 2, FAN Wei-hong 1, CAI Xuan-ping 1, LI Bo 3
(1. School of Electronic Technology and Engineering, National University of Defense Technology, Changsha 410073, China;
2. Department of Automation and Computer-Aided Engineering, CUHK, Hong Kong, China;
3. School of Telecommunication Engineering, Air Force Engineering University, Xi’an 710077, China)
Abstract: A prototype system for controlling multi-robot via the mobile communication networks was presented. In spite of severe network environment, the proposed project guarantees the stability of the system first and bilateral teleoperation with real-time haptic and video feedback was provided. Based on experimental investigation and comparison of existing video codec standards, a method using key frame extraction, frame split, etc, had been developed to transfer smooth video stream through mobile networks. Experiments of multi-robot formation have been carried out to demonstrate usefulness of the developed system.
Key words: mobile communication network; teleoperation; key frame; force feedback
1 引言
随着互联网的广泛应用基于Internet 的机器人遥操作正成为机器人领域一个重要的前沿课题利用Internet 传送人类的行为动作使机器人在远程复现人类的行为意图进而实现跨越空间的行为延伸这一研究融合了机器人技术与Internet 网络
技术在远程医疗设备监控与维护危险复杂环
境作业等领域均有着巨大的应用前景
目前国际上在这方面已经作了大量的研究工作1993年由Ken Goldberg 等开发的Mercury 项目是第一个基于Internet 的机器人遥操作系统近年来遥操作研究从最初的单个操作者控制单机器人逐渐发展到处于不同地区的操作者合作遥控远处
收稿日期2005-06-03修回日期2006-02-22
基金项目国家自然科学基金资助项目 (60334010)国家高技术研究发展计划 (863计划) 基金资助项目 (2002AA422250)香港RGC 资助项目(N_CUHK404/01)
Foundation Items: The National Natural Science Foundation of China(60334010); The National High Technology Research and Development Program of China (863 Program)(2002AA422250); The HongKong RGC (N_CUHK404/01)
第5期 李莹莹等基于移动通信网络的机器人遥操作
53
多个机器人协调作业
[1~4]逐步实现了机器人自主性与网络远程控制相结合通过融合不同传感器获取的信息利用力反馈环境建模等技术使操作者更形象地感知现场环境[5~7]为克服网络时延对遥操作系统的影响Tevin Brady 等人相继提出了一些有效的解决方法[8~10]国内从1995年开始陆续有许多高校院所开展了机器人遥操作的研究主要集中在基于互联网的单个操作者单个机器人系统研究
[11,12]
现有的大部分研究成果都是使用有线网传输控制命令和反馈信息很大程度上限制了机器人的运动范围如果机器人处于未铺设有线网的地区或者在大面积内作业操作者和机器人之间就必须建立一个
无线连接
本文基于移动通信网建立了一个多机器人无线遥操作系统平台近年来随着移动通信技术的快速发展利用移动通信网作为遥操作的无线传输媒介可以充分发挥其覆盖面广分散性强灵活性高的特点摆脱空间限制实现大面积远距离监控相比较国内的其他移动网络cdma 1x 网在速度覆盖率稳定性和保密性等方面都有
明显优势因此本系统采用cdma 1x 移动网但移动网比有线网更窄的带宽使得它更易产生较大的传输时延导致有线遥操作的相关技术无法直接应用系统设计也更加困难首先为了确保恶劣的移动环境中整个系统的稳定性各个模块均具有自动监测和重启功能通过比较现存的各种视频压缩标准结合关键帧提取帧分割和RTP/UDP 等技术提出了一种移动网中的实时视频传输方案另外操作者在控制机器人运动的同时还能从游戏杆感受到模拟作业环境的实时交互力反馈效果初步开发了手机作为独立于PC 机的小型控制
平台
由于信息获取充分利用了机器人群的空间分布和移动特性操作者可以根据实时反馈信息控制机器人到达任何感兴趣的地方探测环境最后通过一系列室外机器人群编队行进实验验证了方案
的有效性
2 系统结构
系统由室外移动机器人群和室内控制中心组成机器人群由空间分布的履带式机器人轮式机器人和空中机器人组成 2.1 机器人群
如图
1履带式机器人上安装有工控机进行
信息传递和处
理运动控制卡接收工控机发出的控制
命令驱动DC 伺服系统带动
履带四周安装有5个超声波传感器和5个红外传感器来检测
周围障碍物机器人通过cdma 1x 调制解调器接入cdma 1x
网与其他机器人通过无线局域网卡
通信
图1 履带式机器人
在轮式机器人和空中机器人上安装有笔记本电脑无线网卡和摄像头它们以履带式机器人为中转与控制中心进行信息
交换 2.2 远程控制中心
远程控制中心位于校园网内通过代理网关连到Internet 共享上网采用网络地址转换技术建立代理网关与控制中心的端口映射实现控制中心与外部网络通信在双方会话期间控制中心定时发送心跳包保证端口映射关系的持续
有效性
控制中心包括PC 机游戏杆和手持机操作者通过图形界面如图2监视机器人端的环境(视频障碍物距离机器人位置)模块间的连接状态等操纵游戏杆控制机器人运动同时体验各种模拟的力反馈效
果
图2 控制中心的人机交互图形界面
54 通 信 学 报 第27卷
2.3 通信网路
室外机器人群基于IEEE 802.11g 标准以ad hoc 方式组成无线局
域网数据传输速率理论上达到
54Mbit/s 在无线网的有效通信距离内还放置了一个移动控制台对机器人实施更快速有效的控制如图3
所示
履带式机器人在系统初始化时自动拨号接入cdma 1x 网等待来自控制中心和其余机器人的连
接请求连接建
立之后履带式机器人作为机器人群和控制中心的通信中
转站由于无线局域网的通信距离有
限位于网内的2个移动机器人不可能时刻保持有效的双向通信让其中一方定时发送心跳包检测与对方的连接是否无
效如果是客户端程序循环检测并自动重启直到连接重新建
立
图像数据
量较大采用UDP 传输保证实时
性传感器信息和控制命令采用TCP 保证准确
性
图3 基于移动网络的多机器人遥操作系统
3 实时视频流传输
TCP 是面向连接的传输协
议它的缓冲校验和重传机制在大数据量传输中很容易引起严重的时延和阻塞现
象UDP 使用数据包的方式
传输而且没有内置的重发机制在数据丢失后不会请求重新
传输资源开销远小于
TCP
换言之UDP 更适合在恶劣的网络环境下传输实时图
像数据Cdma 1x 网的理论传输速率153.6kbit/s 足以传输流畅视频
流但实际测得的最大传输速率只有17kbyte/s 左
右而且还在不断变
化因此在现今的移动环境中保证25frame/s (CIF/QCIF 格式)的传输率是不可能
的
3.1 各种视频压缩标准比较
表1从压缩文件体积压缩速率和回放质量几方面对几种传统压缩标准和Divx MPEG-4作了比较传统压缩标准中Intel indeo video 5.10的性能突出Divx MPEG-4利用相连帧重建技术获得了最高压缩率和最优画面质量在采集格式为160120RGB2-4的实时视频流上对Intel indeo video 5.10Divx MPEG-4和Divx 5.0 pro 做进一步的比较Divx
5.0 pro 的回放画面非常模糊其他两种压缩方式经传输后解码显示有少量马赛克
表1
视频压缩标准比较
压缩标准
体积/kB
压缩时间/s
回放质量
none 226 490 0 很好 Cinepak codec by radius 18 596 292 差 Intel indeo video r3.2 9 860 64 差 Intel indeo video 4.5 14 402 396 好 Intel indeo video 5.10 11 006 135 好 Intel iyuv codec
113 260 12 很好 Divx MPEG-4 low-motion 2 744 17 好 Divx MPEG-4 fast-motion 1 972 17 好 Divx 5.0 pro
2 482
19
好
压缩帧分成3种类型I(关键帧)P(前预测帧)和B(双向预测帧)每两个I 帧之间插入有若干P 帧和B 帧如图4
所示无线网络的高误码率和UDP 传输协议的不可靠性导致传输过程中的频繁丢帧I 帧可以单独解码但是P 帧和B 帧需要对照上下帧解码后的图像进行解码如果传输过程中丢失一帧那么在下一个I 帧来之前所有的P 帧和B 帧解码将出现错误这就是马赛克
的来由
第5期 李莹莹等基于移动通信网络的机器人遥操作
55
为了避免这种现象解决办法是只传输I
帧因为解码过程是从第一个I 帧开始
的这样做同时也消除了传输第一个I 帧前的P 帧和B 帧所造成的时延由于Divx MPEG-4和Intel indeo video 5.10的I 帧体积差别不大而后者更适合主流的软硬件环境本系统采用Intel indeo video 5.10压缩方
式
图4 视频数据流格式
3.2 RTP/UDP 协议
由于无线通信网络的不可靠性而UDP 协议本身不提供任何传输可靠性保证因此在原来UDP 协议的基础上采用RTP/UDP 协议进行图像
传输RTP 实时传输协议real-time transport protocol 是互联网上广泛应用的流媒体传输协议除了携带多媒体数据外它还给出了所携带负载的时间戳顺序号等信息保证更可靠高效地传送实时
数据将RTP 与UDP 结合可以在较小的开销下优化传输性能系统中使用JRTPLIB [13]建立图像传输模块JRTPLIB 是一个面向对象的RTP 库它将RTP 协议完全封装提供简单的外部接口完成RTP 数据包的发送
和接收 3.3 参数设置
为了在相似的网络环境下调整优化编码器参数所有实验均在半小时内完成系统性能损失主要由cdma 1x 网络造成所以实验针对履带式机器人发送至控制中心的图像数据
进行
1) 图像分割包体积设置
UDP 在数据包大于2kB 的时候会将数据包分割成2kB 进行发送即发送端发送一个大于2kB 的数据包接收端将收到数个小于等于2kB 的数据包而且前后顺序很可能颠倒基于上述原因在使用UDP 包传输视频数据时要将每一帧数据分割成小于2kB 的数据包再加上头信息如图2所示发送出去
机器人标号 (1字节) 帧序列号 (1字节)
本帧分割成的数据包数 (1字节) 本数据包在本帧中的排序 (1字节) 头信息
发送时间6
字节
图像数据体
图5 视频包头结构
接收端需要一个缓存器来缓存每一帧的数据包根据头信息当接收到属于当前帧的所有数据包后拼凑成一帧送入解码器若某些包丢失则丢弃当
前帧清空缓存等待下
一帧到来
采用Microsoft 的视频压缩管理器VCM 构建视频压缩模块VCM 提供了利用Windows 内部编解码器处理实时视频流的接口压缩后的关键帧率由VCM 的编码器参数lKey 决定暂时将lKey 设为
4测试分割包体积为5008001 000和1 500时的帧R/S
率
received num R/S sent num
=
(1)
由图6看出当分割包体积为800时效果最好这主要因为一次送出较大的数据包很困难而一帧图像被分割过细又会加大丢包的概
率后续实验中分割包体积均设为
800
图6 不同分割包体积下的发送(虚线)和接收(实线)帧数
2) 关键帧率设置
图7显示了lKey 为1358时的帧R/S 率发送帧数随lKey 的增加而减少相应的接收帧数也减少帧R/S 率没有明显区别
图8显示了不同lKey 值时的传感器数据
时延机器人端每秒钟用TCP 送出传感器数据在恶劣的网络环境下易造成阻塞采用异步非阻塞模式建立TCP 连接在这种工作模式下上一次数据被送
达网络资源被释放后再送出当前数据随着网络状况自适应调整发送速率大大提高了系统稳定性减少了阻塞发生概率
56 通 信 学 报 第27卷
图7 不同l Key 值下的帧率
图8 传感器数据时延
随着lKey 增加传感器时延减
小这是因为UDP 的优先级高于
TCP 太多的图像数据占用带宽传感器数据获得的网络资源就会非常有限折衷考虑图像和传感器数据的传输效果lKey 被设置为3
3) 帧长和时延的关系
图像时延包括编解
码传输和显示时间
trans delay codec decodec display T t t t t =+++ (2)
相比较传输时间编解码时间几乎可被忽略时延与帧长成正比所以减少时延的关键是采用高压缩率的编码
标准
每次发送的传感器数据只有
几十字节由图8和图9看出传感器数据的实时性并未明显优于图像数据这解释了为什么UDP 更适合于传输图
像数据
图9 帧长和时延
4 多种控制方式
开发了多种控制方式对机器人实施有效控制包括力反馈游戏杆手机语音键盘和鼠标等 4.1 带力反馈的游戏杆控制
输入设备是微软可编程力反馈游戏杆如图10所示数据输入有三个自由度采用DirectX 技术编写游戏杆和控制计算机之间的通信程序程序读取操纵杆位置和按钮状态作为控制命令发送给机器人同时根据机器人端反馈的障碍物距离在游戏杆的x 和y 轴上产生模拟的力反馈效果使操作者对机器人与环境的相互关系有一个更形象的感受避免输入错误的控制命令保护机器人免与障碍物碰撞如图11所示
图10 微软力反馈游戏杆
图11 游戏杆工作原理