多传感器融合技术小论文

Multi-sensor Data Fusion in Target

Recogonition

Abstract——This paper presents two different aspect of target recogonition based on multi-sensor data fusion.One is multi-sensor target recogonition fusion based on fuzzy theory,the other is emitter target recognition based on multi-sensor system of ESM and IR. Firstly,The paper proposes a method, it is based on fuzzy theory. First, the mutual supportability of multiple sensors is obtained from the correlation function. Then by the membership function, the reliability of information provide by each sensor is gained.And further, based on the multi-feature measured by ESM system, a new method to calculate the BPAF with synthetic fuzzy evaluation is proposed. Based on the IR image, the method to calculate the BPAF with the gray correlation analysis is proposed too.And the paper introduces the multi-sensor data fusion method based on the D-S evidence theory, which is applied to the emitter target recognition of multi-sensor system of ESM and IR. The experiments show that the proposed method is practicable and effective.

1.Introduction

Special target recognition and tracking in the complex scene is one of the key technologies in the field of modem imaging guidance. It is well known that different imaging sensors have different imaging principles, and different imaging sensors can only response a special spectrum band of the target. In other words, the complete target features can't be obtained via a single imaging sensor, and the validity and reliability of the feature sets will be affected and the performance of target recognition system will be degraded in the case of only a single imaging sensor is used. Because each sensor can capture its special feature separately,and the features obtained from various sensors are complementary to each other. A comprehensive decision can be obtained by synthesizing such

features.

Multi-sensor information fusion technology can recognize one special target using different bands imaging sensor, as every sensor can capture its special features. Using the multi-sensor information fusion technology, the nontarget clusters can be suppressed or eliminated. For the multi-sensor recognition system, the anti-jam property, stability,validity, reliability and fault tolerance can be greatly improved compared with one-sensor system.

2. Multi-sensor Target Recognition Fusion Based on Fuzzy Theory

Target recognition is an important element in the field of pattern recognition, it is also called as identity estimation or attribute classification. For target recognition, the main difficulty is the extraction target characteristics.In the practical system, the measurement data is incomplete, uncertain and fuzzy, so it is very difficult to determine exactly target. The traditional target recognition methods include the feature level fusion,the data level fusion and decision level fusion etc. Of these methods, the fuzzy method is an effective method.

2.1 Correlation Function

In the multi-sensor system Xi is the measurement data provided by the ith sensor, Xj is the measurement data provided by the jth sensor, Xi and Xj obey Gauss distribution. The pdf (probability distribution function ) curve is regarded as characteristic function of sensor, pi(x) , pj(x).xi is a measurement data of Xi , xj is a measurement data of Xj . In order to reflect the variation of xi and xj , the confidence distance measure is inducted, suppose

2(/)xj

ij xi

d pi x xi dx =? (1)

2(/)xi

ji xj

d pj x xj dx =? (2)

2

1

(/)

2i

x xi

pi x xi

σ

??

-

??

??

=-

??

?

??

??

??

(3)

2

1

(/)

2

x xj

pj x xj

j

σ

??

??

-

??

=-

??

?

??

??

??

(4)

dij is called as the confidence distance measure of the measurement data provided by the ith sensor and the measurement data provided by the jth sensor, using error function we can directly work out dij [1] , dij is written

as follows:

dij erf

=

(5)

dji erf

=(6)

If there are n sensors in the system, then confidence distance matrix Dn of the measurement data is composed of the confidence distance measure dij(i,j=1,2,…n),Dn is written as follows:

1112 (1)

2122 (2)

::::

12...

d d d n

d d d n

n

dn dn dnn

D

??

??

??

=??

??

??

??

(7)

The generic fusion method is based on a fusion high limit ijβ,for dij,let

1,

0,

ij

dij ij

r

dij ij

β

β

≤

?

=?

>

?

(8)

If rij=0, we think that the ith sensor and the jth sensor are not support each other. If rij=1,we think that the jth sensor is supported by the ith sensor. If rij = rji ,we think that the ith sensor and the jth sensor are support each other. Now, the problem arises that ijβis very absolute and subjective, the fusion results is affected by the subjective factor.

Focused on the problem, a new method is proposed in the paper. According to the operation of dij and the statistical significance of operational formula, we can know01

dij

≤≤and the value of dij is smaller, the supportability of sensor is higher. According to the definition of the correlation function of the fuzzy theory, let

(/)1,,1,2,...,f i j dij i j n =-= (9)

The value of the correlation function f(i/j) denotes the supportability of sensor, the correlation function is defined as:

[](/)(/)/max (/),(/)f i j f i j f i j f j i = (10)

Where i,j=1,2,…,n

The matrix of f(i/j), C is formed and it is a phalanx, its order is n.

In order to determine the supportability of each sensor supported by other sensors, let

'min (/).1,2,...i C f i A A n == (11)

'i C is the supportability of the ith sensor supported by other sensors.

2.2 Fuzzy Integration Function

Suppose that U={1,2,...,j,…,N} is a sequence set which is composed of N kinds of target attribute and S={1,2,…,i,…M} is a sequence set which is composed of M sensors. mij is the supportability of the jth target attribute supported by the ith sensor and 01mij ≤≤. Oj denotes that the target attribute is the jth ,the possibility distribution of target attribute is defined as [2][3][4]:

/,i j U

mij oj i S ∈=?∈∑∏ (12) For the generic hard decision, that is, the single attribute is regarded as the target attribute, this can be regarded as the special case, that is,

1,10,1j j mij j j =?=?≠?

(13) When the target attribute is a set, mij is written as:

1,1,j U mij fi j U

∈?=?-?? （14） fi is the trust function of the sensor[6],fi is written as:

'i fi i c μ=? （15）

Where i μis the reliability of the information provided by the ith

sensor. 'i c is the supportability of the ith sensor supported by other

sensors.

For each measurement data Z ,we use the membership function ()z μto mapping Z to the degree of membership μ in the interval[0,1] .The value of μ reflects the reliability of the information provided by the sensor. When the different sensor measures, we can gain the reliability of the information provided by the sensor using the formula

1,2()20,2z u z u z z u σμσσ?---

（16） After we gain the possibility distribution of target attribute ,1,...,i i M =∏， we use the fuzzy integration function to calculate the M possibility distribution, then we can gain the fusion result of target attribute.

/j U

mj oj ∈=∑∏ （17）

According to fuzzy integration function theory, we can gain mf , mf is written as follows:

[]12,,...,M j j Mj mf S m m m = （18）

Where is the fuzzy integration function. In the paper, the fuzzy integration function is written as follows:

[]1/121,,...,M M M j j Mj i S m m m mij =??= ???∏ （19）

3. Emitter Target Recognition Based on Multi-sensor Data Fusion of ESM and IR

The emitter target recognition is playing more and more important role in the modern war, and the emitter target recognition is becoming more and more difficult because of the application of the high technique and the anti-measures. In the process of the emitter targets ’recognition, if single sensor or multi-sensor of single kind is used, the distilled information is not all-sided, so the recognition performance is not so

good,especially in the complex environment.

With the electromagnetic signal and infrared (IR) image which are obtained by reconnaissance satellite ESM sensors (radar and communication EW reconnaissance equipments) and IR image sensor, the emitter target recognition method based on the multisensory data fusion is proposed in this paper. First,according to the difference of the information offered by ESM and IR sensors, this paper brings forward two methods to obtain BPAF separately: one is synthetic fuzzy evaluation; the other is gray correlation analysis.So the difficult problem of how to get BPAF under different conditions is solved. Further, the fusion method based on the D-S evidence theory is discussed and which is applied to the emitter target recognition.

3.1 The Methods to Calculate BPAF

In the D-S evidence theory, the recognition frame Θindicates the interested propositions set. The BPAF Basic Probability Assignment Function) based on Θ is defined as m : 2Θ →[0,1], which satisfies

()0()1A m m A ?Θ

Φ=???=??∑ （20）

Where proposition A is a nonempty subset ofΘ , m(A) reflects the reliable extent of A.The BPAF is the key of D-S evidence theory. As to

ESM system, the BPAF is calculated with synthetic fuzzy evaluation according to multiple features of the target. As to IR sensor system, the BPAF is calculated with gray correlation analysis according to the IR image characteristic of the target.

3.1.1 Method to calculate BPAF of ESM system

To define the factor set: The observation of the ESM system commonly include the features data such as RF, PRI, PW, IPC and so on. In the synthetic fuzzy evaluation model of calculating BPAF, the factor set is defined as the set of RF, PRI, PW, and IPC.

To give the weight: In the process of evaluating the reliable extent, the value of BPAF is directly relative to the weight of all the features. Here, the weight of RF, PRI, PW, and IPC is a1, a2, a3 and a4 separately,

and they satisfy the standardization condition.

To define the evaluation set: For evaluating the reliable extent, if the evaluation set is defined as a group of fuzzy language {very good, good, common, bad, very bad}, then the evaluation result is rather rough and is disadvantageous to the recognition. Here, the evaluation set is defined as a real number set V={x|0 ≤ x ≤1}. The bigger the value of x is, the higher the reliable extent is, on the contrary, the smaller the value of x is, the lower the reliable extent is.

To evaluate single factor: The BPAF of ESM system is calculated with synthetic fuzzy evaluation according to multiple features of the target. First of all, the single factor is to be evaluated.

3.1.2 Method to calculate BPAF of IR system

According to the similarity or dissimilarity of all the factors of the reference data list and the comparative data list, gray correlation analysis is to give the adjacent extent of the data lists [6].

To define data list: The radiant character and the relationship between target and background decide the IR character. This paper takes eight types of character parameters as follows as reference data list: complexity, length-width ratio, mean contrast, the most brightness, mean difference, standard deviation, the bright pixel ratio, and tightness. And the reference data list is written as X 0={ X 0(k)|k=1,2,...,M}. The comparative data list is composed of the targets in the knowledge base, which is written as Xi ={Xi (k) | k =1,2,…,M}(i =1,2,…,N) , where N is the number of the targets in the knowledge base.

To calculate the gray correlation coefficient: The absolute difference of the kth index of X0 and Xi is 0()()()i i k X k X k ?=-, then the correlation coefficient i ξof Xi (k) and X0(k) can be calculated as follows:

()()()()()i i i k i k

i i i i k Min Min k Max Max k k k Max Max k ρξρ?+?=?+? （21）

{}()|1,2,...,i i k k M ξξ== （22）

Where, ρ ∈(0,+∞) is distinguish coefficient. The less ρ is, the greater

distinguish ability is. Usually, ρ ∈[0,1] .

()i i k Min Min k ?is the least difference of two grades, and

()i i k Max Max k ? is the most difference of two

grades. To calculate the gray correlation degree: We can get the correlation coefficient of each index of the comparative data lists and reference data list as above. But it is hard to make comparison because of too many results and decentralized information. So it is necessary to give a single value according to the correlation coefficients of all the indexes. This single value is called the gray correlation degree, which is written as ()0,i X X γ , simply i γ. The common method to calculate correlation degree is to give an equal weight to every index. When to identify the emitter target, the importance of different observation parameters is different, so the weight of each index should be different too. Supposed a(k),k =1,2,…,M is every index ’s weight, and

1()1,()0M k a k a k ==≥∑, then the

weighted correlation degree is defined as

1()()M i i k k a k γξ==∑ （23）

To calculate BPAF: To IR sensor, the BPAF is calculated according to the gray correlation degree. In the process of gray correlation analysis, if the data processing method is different, the correlation degree is different, but the order of correlation does not change. So we apply standardization principle to calculating the BPAF.

,1()/1,2,...N i j j m i i N

γγ===∑ （24）

3.2 Recognition on multi-sensor data fusion

For the multi-sensor system, if the main body of each sensor is same (th at is the recognition frame Θ is same), then, the data fusion is to combine different pieces of evidence into a new piece of evidence under the same recognition frame.

In order to improve the recognition performance, measurement of multi-period from multi-sensor of ESM and IR is used. In this case, data fusion in time domain is carried out first, and then data fusion in space domain is done, and decision is made at last. That is to say, firstly, the posterior BPAF of each proposition is calculated based on the fusion of multiperiod of every sensor. And then the posterior BPAF of all the sensors is calculated. Lastly, decision is made according to the BPAF based on a given rule.

The steps of recognition based on data fusion of multi-period of multi-sensor are shown as follows:

1) Fusion in time domain —data fusion of multiple periods of single sensor

The posterior BPAF of the sth proposition As(s=1,2,…,K) of the ith sensor (i=1,2, …,P) based on the measurement of Q periods can be deduced with Dempster combination rule as follows.

1

111()()()=1()1()n s n s n n Q Q ij n ij n A A A A j j i s Q Q ij n ij n A A j j m A m A m A m A m A ≠?=?===?=Φ?Φ===

-

-∑∑∏∏∑∑∏∏ （25）

2) Fusion in space domain —data fusion of multiple sensors

Based on the data fusion of multiple periods of single sensor, the posterior BPAF of the sth proposition A s (s=1,2, …,K) of all the sensors can be deduced as follows.

1

1()()1()

n s n P i n A A i s Q i n A i m A m A m A ?==?=Φ==-

∑∏∑∏ （26）

3) Decision making

How to make decision after combining the evidence with evidence theory is closely related to the practical application. Suppose 1,2A A ??Θand they satisfy:

{}1()max (),i i m A m A A =?Θ （27）

{}21()max (),i i i m A m A A andA A =?Θ≠ （28）

AND 12121()()()()()m A m A m U m A m U εε->???

（29）

Then A is the result of decision, where 1εand 2εare the threshold set in advance.

References

[1] Fukunaga K,Flick T E,A test of the Gaussian-ness of a data set using clustering, on Pattern Analysis and Machine Intelligence,1986,8.

[2] Lang Hong Andrew Lynch ,Recursive Temporal-Spatial Information Fusion with Application to Target Identification,IEEE Trans on Aerospace and Electronic System,1993,2.

[3] Liu Jian-shu, Multi-sensor data fusion based on correlation function and fuzzy integration function, System Engineering and Electronics,2006,7.

[4] LI Mei YAO Lan. Fuzzy logic multi-sensor fusion for classification, SHIP SCIENCE AND TECHNOLOGY . V ol 25,No.6,2003.

[5] Jousselme A L,Grenier D,Bosse E: A new distance between two bodies of evidence [J]. Information fusion,2001,2(1):91-101.

[6] Hassan H.E. A new algorithm for radar emitter recognition. Proceedings of the 3rd International Symposium on Image and Signal Processing and Analysis, in Proc ISPA03, 2003:1097-1101.

多传感器数据融合技术的理论及应用

多传感器数据融合技术的理论及应用 张宁110101256 摘要：多传感器数据融合技术是一门新兴前沿技术。近年来，多传感器数据融合技术已经受到广泛关注，它的理论和方法已经被应用到许多研究领域。本文主要论述了多传感器数据融合的基本概念、工作原理、数据融合特点与结构、数据融合方法及其应用领域，并总结了当前数据融合研究中存在的主要问题及其发展趋势。 关键词：多传感器；数据融合；融合方法 1引言 多传感器数据融合是一个新兴的研究领域，是针对一个系统使用多种传感器这一特定问题而展开的一种关于数据处理的研究。多传感器数据融合技术是近几年来发展起来的一门实践性较强的应用技术，是多学科交叉的新技术，涉及到信号处理、概率统计、信息论、模式识别、人工智能、模糊数学等理论。近年来，多传感器数据融合技术无论在军事还是民事领域的应用都极为广泛。多传感器数据融合技术已成为军事、工业和高技术开发等多方面关心的问题。这一技术广泛应用于复杂工业过程控制、机器人、自动目标识别、交通管制、惯性导航、海洋监视和管理、农业、医疗诊断、模式识别等领域。实践证明：与单传感器系统相比，运用多传感器数据融合技术在解决探测、跟踪和目标识别等问题方面，能够增强系统生存能力，提高整个系统的可靠性和鲁棒性，增强数据的可信度，并提高精度，扩展整个系统的时间、空间覆盖率，增加系统的实时性和信息利用率等。 2基本概念及融合原理 2.1多传感器数据融合概念 数据融合又称作信息融合或多传感器数据融合，对数据融合还很难给出一个统一、全面的定义。随着数据融合和计算机应用技术的发展，根据国内外研究成果，多传感器数据融合比较确切的定义可概括为：充分利用不同时间与空间的多传感器数据资源，采用计算机技术对时间序列获得的多传感器观测数据，在一定准则下进行分析、综合、支配和使用，获得对被测对象的一致性解释与描述，进而实现相应的决策和估计，使系统获得比它的各组成部分更充分的信息。

基于图像处理的多传感器融合的物体识别方法与相关技术

本技术公开了一种基于图像处理的多传感器融合的物体识别方法，包括以下步骤：S1：获取三通道RGB彩色图像及一通道多线激光测距图像；S2：将RGB彩色图像的摄像机光学坐标投射成激光点云坐标，激光点云坐标投射成360°环形全景坐标；S3：利用深度学习的图像识别技术，针对事先训练过的目标进行目标检测框选定，得到目标检测边界框分布图像及物体类别分布图像。本技术方法简单，实时性高，基于多传感器实现六通道图像的映射融合，在传统的RGBD四通道图像的基础上，增加了二通道来源于目标检测的物体类别分布图像、目标检测边界框分布图像，为实现快速准确的目标物体定位提供了精准的图像处理基础。 技术要求 1.一种基于图像处理的多传感器融合的物体识别方法，包括以下步骤： S1：获取三通道RGB彩色图像及一通道多线激光测距图像； S2：将RGB彩色图像的摄像机光学坐标投射成激光点云坐标，激光点云坐标投射成360° 环形全景坐标； S3：利用深度学习的图像识别技术，针对事先训练过的目标进行目标检测框选定，得到 目标检测边界框分布图像及物体类别分布图像。 2.根据权利要求1所述的基于图像处理的多传感器融合的物体识别方法，其特征在于，在步骤S1中，所述三通道RGB彩色图像通过摄像机原始图像获取，所述一通道多线激光测 距图像通过获取激光点云信息后生成独立图层得到。

3.根据权利要求1所述的基于图像处理的多传感器融合的物体识别方法，其特征在于，在步骤S2中，将摄像机坐标投射成激光点云坐标的具体步骤包括： S201：创建3D临时贴图，贴图坐标为激光坐标，贴图大小为单个摄像头贴图转换为激光点云坐标后的宽度和高度； S202：计算贴图下个像素的激光坐标； S203：判断下个像素是否为贴图的结尾像素，若不是则重复步骤S202，若是则进行下一步骤； S204：将八个摄像机贴图合并，拼接生成激光坐标下的360度全景图。 4.根据权利要求3所述的基于图像处理的多传感器融合的物体识别方法，其特征在于，步骤S202的具体计算过程包括： 首先将激光坐标转换成摄像机镜头坐标，再将镜头坐标转换成摄像机像素坐标，最后将对应摄像机像素读取到贴图。 5.根据权利要求1所述的基于图像处理的多传感器融合的物体识别方法，其特征在于，在步骤S2中，将激光点云坐标投射成环形全景坐标的具体步骤包括： S211：创建一个激光点阵图层，大小为1920*1080，左右边缘角度为0—360°，上下角度为-15°—15°，左右边缘角度、上下角度均匀铺展拉伸； S212：读取一列激光点阵存储区数据； S213：计算打印图像的像素角度； S214：计算像素位置，将对应数据赋值到打印的图层； S215：判断当前读取的激光点阵存储区数据是否为数据的结尾，若不是则重复步骤S212—S214，若是则生成图像结束。 6.根据权利要求1所述的基于图像处理的多传感器融合的物体识别方法，其特征在于，在步骤S3中，事先训练过的目标包括目标人员、工作服、安全帽。

多传感器融合实验报告

非线性卡尔曼滤波与多传感器融合 电信少41 刘星辰 2120406102 （1） 根据题目中给出的量测方程，进行坐标变换，得 ) )(sin(arctan ))()((sin )())(cos(arctan ))()((cos )(,,22,,,,22,,k i k i k k r i k i k i k i k k i k i k k r i k i k i k i k x x y y y y x x r k y x x y y y y x x r k x θθννθννθ+--?+-+-=?=+--?+-+-=?= 以此坐标画图，结果如下： （2） 将非线性问题线性化，新的量测方程为 k r k i k i k v X H Z ,,,+= 其中， ????? ??? ? ??? -+---+----+---+--=0)()() (0 )()()(0)()()(0)()()(2 22 22 22 2,i k i k i k i k i k i k i k i k i k i k i k i k i k y y x x x x y y x x y y y y x x y y y y x x x x H []T k k k k k y y x x X = 扩展卡尔曼滤波算法一个循环如下：

[]1 1 )1()1()1()|1()1|1() 1()'1()|1()1()'1()|1()1()1()1()()'()|()()|1()|1(?)1()1()|1(?)1|1(?--+++-+=+++++=++++++=++=++-++++=++k W k S k W k k P k k P k S k H k k P k W k H k k P k H k R k S k Q k F k k P k F k k P k k z k z k W k k x k k x 将量测方程代入，由于题目中未给出滤波器初值，因此参考作业二中的初值，得到的两个雷达估计的目标状态如下图： 距离均方根误差为 [] ∑=-+-= M i k k k k position y y x x M k RMSE 1 22)?()?( 1 )( 将估计位置、量测位置分别代入上式，得到两个雷达量测和估计的距离均方差，如下图：

多传感器数据融合作业

汽车防盗系统中的多传感器数据融合 一、引言 汽车日益成为人们生活中不可缺少的部分，然而，令汽车用户担忧的是车辆被盗现象呈逐年上升趋势。现在市场上汽车的防盗系统很多，它们都是多传感器的数据融合技术的应用。 二、汽车防盗系统的组成 汽车防盗系统主要由信号采集系统、报警系统、控制系统、通讯系统等组成。本系统的工作原理主要：传感器负责采集信号，一般每一种信号都有两个或两个以上不同种类的传感器负责采集，以保证当一个传感器损坏后不会影响系统的工作。当其中任何一个传感器检测到信号不正常时，传感器就会把信息告知中央处理系统，当中央处理器判定为有用的告警信号后就会立刻启动报警系统。 当中央处理器发出启动报警系统的命令后，视频系统负责记录偷车人的声音和相貌以给公安机关破案提供线索和证据，声光告警系统则会发出刺耳的鸣叫和亮光以惊吓偷车人使其放弃偷车。在防盗系统中通讯系统起着重要的作用，视频系统采集到的声音图像等信息传送给监控中心和车主，以使监控中心能及时的采取措施，如切断汽车油路等。现在的汽车防盗系统一般采用模块化设计，其系统的逻辑框图如图1-1所示。 图1-1

三、汽车防盗系统的传感器说明 3.1微波多普勒传感器 利用多普勒效应制成的传感器可以用来探测人体或物体的移动．该传感器在人或物体靠近时接收器接收的频率发生变化，当频率变化至设定值时，可以判断为有人或物体进入防盗系统的预警范围。 3.2振动传感器 该传感器的功能是将车辆所受外界作用的机械能转换为电信号。其作用是感受车身或车窗是否受到外界机械碰撞；汽车是否被非法升起，监测轮胎与轮毂之间的压力状态;监测驾驶座是否受压，能够对车体特殊频段的振动进行监测。如图是YD69正反转测量霍尔双通道传感器。 3.3倾角传感器 倾角传感器监测车体相对于初始位置是否出现倾角变化，如果这种角度的变是以特定频率出现或达到设定的阈值就可以判断为汽车整体被搬运．如图是一个电压型单轴倾角传感器。

多传感器数据融合

多传感器数据融合 多传感器数据融合1引言数据融合一词最早出现在20世纪70年代末期。几十年来，随着传感器技术的迅速发展，尤其在军事指挥系统中对提高综合作战能力的迫切要求，使其得到了长足的发展。其早期主要是应用在军事上，而随着工业系统的复杂化和智能化，近年来该技术推广到了民用领域，如医疗诊断、空中交通管制、工业自动控制及机械故障诊断等。数据融合是针对一个系统中使用多个传感器这一问题而展开的一种信息处理的新的研究方向，所以数据融合也称为传感器融合。数据融合一直没有一个统一的定义，一般认为：利用计算机技术，对按时间顺序获得的若干传感器的观测信息，在一定的准则下加以自动分析、综合，从而完成所需要的决策和估计任务而进行的信息处理过程称为数据融合。2

数据融合技术的分类多传感器数据融合涉及到多方面的理论和技术如信号处理、估计理论、不确定性理论、模式识别最优化技术、神经网络和人工智能等。很多学者从不同角度出发提出了多种数据融合技术方案。从技术原理角度，可分为假设检验型数据融合、滤波跟踪型数据融合、聚类分析型数据融合、模式识别型数据融合、人工智能型数据融合等；按判决方式分有硬判决型和软判决型数据融合；按传感器的类型分有同类传感器数据融合和异类传感器数据融合按对数据的处理方式，可分为象素级融合、特征级融合和决策级融合；从方法来分有Bayes推理法、表决法、D-S 推理法、神经网络融合法等。从解决信息融合问题的指导思想或哲学观点加以划分，可分为嵌入约束观点、证据组合观点和人工神经网络观点三大类。3常用的数据融合方法数据融合方法种类繁多，图1归纳了常用的一些信息融合方法。估计方法

多传感器数据融合技术

多传感器数据融合技术

姓名：李承尚 学号： 081308309 专业：电子信息工程

多传感器数据融合是一门新兴技术，在军事和非军事领域中都到了广泛应用、多传感器数据融合技术汲取了人工智能、模式识别、统计估计等多门学科的相关技术，计算机技术的快速发展以及数据融合技术的成熟为数据融合的广泛应用提供了基础。 多传感器数据融合是一个新兴的研究领域，是针对一个系统使用多种传感器这一特定问题而展开的一种关于数据处理的研究。多传感器数据融合技术是近几年来发展起来的一门实践性较强的应用技术，是多学科交叉的新技术，涉及到信号处理、概率统计、信息论、模式识别、人工智能、模糊数学等理论。多传感器融合技术已成为军事、工业和高技术开发等多方面关心的问题。这一技术广泛应用于C3I（command，control，communication and intelligence）系统、复杂工业过程控制、机器人、自动目标识别、交通管制、惯性导航、海洋监视和管理、农业、遥感、医疗诊断、图像处理、模式识别等领域。实践证明：与单传感器系统相比，运用多传感器数据融合技术在解决探测、跟踪和目标识别等问题方面，能够增强系统生存能力，提高整个系统的可靠性和鲁棒性，增强数据的可信度，并提高精度，扩展整个系统的时间、空间覆盖率，增加系统的实时性和信息利用率等。美国研究机构就在国防部的资助下，开展了声纳信号解释系统的研究。目前，在工业控制、机器人、空中交通管制、海洋监视和管理等领域也朝着多传感器融合方向发展。多传感器融合技术成为军事、工业和高技术开发等多方面关心的问题。 1 基本概念及融合原理

1．1 多传感器数据融合概念 数据融合又称作信息融合或多传感器数据融合，对数据融合还很难给出一个统一、全面的定义。随着数据融合和计算机应用技术的发展，根据国内外研究成果，多传感器数据融合比较确切的定义可概括为：充分利用不同时间与空间的多传感器数据资源，采用计算机技术对按时间序列获得的多传感器观测数据，在一定准则下进行分析、综合、支配和使用，获得对被测对象的一致性解释与描述，进而实现相应的决策和估计，使系统获得比它的各组成部分更充分的信息。 1．2 多传感器数据融合原理 多传感器数据融合技术的基本原理就像人脑综合处理信息一样，充分利用多个传感器资源，通过对多传感器及其观测信息的合理支配和使用，把多传感器在空间或时间上冗余或互补信息依据某种准则来进行组合，以获得被测对象的一致性解释或描述。具体地说，多传感器数据融合原理如下：（1）N个不同类型的传感器（有源或无源的）收集观测目标的数据； （2）对传感器的输出数据（离散的或连续的时间函数数据、输出矢量、成像数据或一个直接的属性说明）进行特征提取的变换，提取代表观测数据的特征矢量Yi； （3）对特征矢量Yi进行模式识别处理（如，聚类算法、自适应神经网络或其他能将特征矢量Yi变换成目标属性判决的统计模式识别法等）完成各传感器关于目标的说明； （4）将各传感器关于目标的说明数据按同一目标进行分组，即关联；

多信息融合作业

制造系统多信息融合及应用 A：简答题 1、简述多信息融合的目的是什么？信息融合的典型问题与方法有哪些？ 答：多信息融合是指用多信息源对事物的不同侧面、不同阶段、不同深度进行融合决策，以获得完整全面的预测，避免单一信息源的片面偏差。它的主要目的是有效组织与利用能够获得的多种信息资源，提供比只采用其中部分信息资源获得更准确、更可靠、更协调、更经济与更稳定的决策结果。 典型问题有：(1)问题：传感感知的多数据源和多信息源具有不同的感知机理和不同数据类型（即异类）；多源数据和信息之间常常不能保持同步；感知的时空范围中目标、时间或者更复杂的态势可能存在变化等，方法：传感感知事件的时空协同、动态协同，面向目标、事件或者复杂态势的合适的控制等。(2)输入的数据类型可能存在差异，方法：引入来自外部参数系统的定位信息等，研究有针对性的解决方法等。(3)不同事件（特征）集中的“目标”数目不一致；输入数据含糊、不一致、冲突或不可靠；输入数据相关的噪声/误差，方法：产生一组可能表示现实世界的模型假设。利用方法选择与获取数据最接近的假设等。(4)决策对象可能比较复杂，具有多目标或者多时间、多层次和多侧面处理需求，复杂的动态（如态势和威胁）的表达和处理模式，方法：利用多层次的概念，包括对象的多层次、处理的多层次、元模型的多层次、多侧面处理等；针对不同层次研究具体的适用理论方法和处理结构；多远信息的协同分析；建立专门的融合评价平台等。 2、如何理解信息融合的层次？对于特定系统对象，试比较数据层融合与特征层融合在有效性方面的区别？ 答：信息融合的层次有两个层次的含义：一层含义是直接针对融合单元的输入输出关系的表述，这些关系中最常见的有数据-数据对、特征-特征对和决策-决策对，于是形成了数据层融合、特征层融合和决策层融合；另一层含义是针对和整个融合决策任务来说的，依据融合任务的主体情况，任务主导的输入-输出需求，确定数据、特征、决策三层的划分。 区别：进行数据层融合的数据集可以来自不同的传感器和（或者）不同的信息源，数据层融合结果一般是数据，可以通过算法提供相应的特征；特征层融合的输入特征可能来自不同数据层融合的结果、也可能来自其他直接提供特征的信息源或者渠道，特征层输出可以直接形成相应的决策。 3、数据关联有哪些类型，如何将异源、异构数据进行关联？ 答：数据关联分为静态数据关联和动态数据关联，静态数据关联存在三种典型情况：具有同样维数的多传感器的数据关联、具有不同维数的多传感器的数据关联和具有多个站点的多传感器的数据关联。 对象代理模型可以作为数据集成的一种通用的数据模型，它也是能够很好地解决各个异

浅析多传感器数据融合技术存在的问题和发展展望

龙源期刊网 https://www.wendangku.net/doc/ab1535077.html, 浅析多传感器数据融合技术存在的问题和发展展望 作者：宋晓君孙洪伟 来源：《活力》2011年第07期 多传感器数据融合技术的基本原理像人脑综合处理信息一样充分利用多个传感器资源。通过对这些传感器及其观测信息的合理支配和使用，把多个传感器在时间和空间上的冗余或互补信息依据某种准则进行组合，以获取被观测对象的一致性解释或描述。数据融合的基本目标是通过数据优化组合导出更多有效信息。它的最终目标是利用多个传感器共同或联合操作的优势，来提高多个传感器系统的有效性。 一、数据融合技术存在的问题 数据融合技术国内外虽经多年研究取得了不少成果，也已经成功地应用于多种领域，但目前仍未形成一套完整的理论体系和有效的融合算法。绝大部分都是针对特定的问题特定的领域来研究，也就是说数据融合的研究都是根据问题的种类特定的对象特定的层次建立自己的融合模型和推理规则，有的在此基础上形成所谓的最佳方案。但多传感器数据融合系统的设计带有一定的盲目性，有必要建立一套完整的方法论体系来指导数据融合系统的设计。具体的不足之处有： 1.未形成基本的理论框架和广义融合算法。目前，绝大多数的融合研究都是针对特定的应用领域的特定问题开展的(混合结构，分布式)。即根据问题的种类，各自建立直观的融合准则，形成“最佳”融合方案，未形成完整的理论框架和融合模型，使得融合系统的设计具有一定的盲目性。统一的数据融合理论必然是以传感器信号和数据处理理论、C3I系统情报处理理论和指挥决策理论等在工程实践基础上的、研究上一层次融合机理的再创造过程。难点在于在大量随机与不确定问题中的融合准则确定，这些不确定性反应在测量不精确、不完整、不可靠、模糊，甚至信息冲突中。 2.关联的二义性。关联的二义性是数据融合的主要障碍。在进行融合处理前，必须对来自多传感器的观测结果进行关联，保证所融合的信息是来自同一观测目标或事件。以保证融合信息的一致性。传感器测量的不精确性和干扰都是引起关联二义性的因素。如何降低关联二义性是数据融合研究领域亟待解决的问题。 3.融合系统的容错性或稳健性没有得到很好的解决。

多传感器数据融合算法汇总

一、背景介绍： 多传感器数据融合是一种信号处理、辨识方法，可以与神经网络、小波变换、kalman 滤波技术结合进一步得到研究需要的更纯净的有用信号。 多传感器数据融合涉及到多方面的理论和技术，如信号处理、估计理论、不确定性理论、最优化理论、模式识别、神经网络和人工智能等。多传感器数据融合比较确切的定义可概括为：充分利用不同时间与空间的多传感器数据资源，采用计算机技术对按时间序列获得的多传感器观测数据，在一定准则下进行分析、综合、支配和使用，获得对被测对象的一致性解释与描述，进而实现相应的决策和估计，使系统获得比它的各组成部分更充分的信息。 多传感器信息融合技术通过对多个传感器获得的信息进行协调、组合、互补来克服单个传感器的不确定和局限性，并提高系统的有效性能，进而得出比单一传感器测量值更为精确的结果。数据融合就是将来自多个传感器或多源的信息在一定准则下加以自动分析、综合以完成所需的决策和估计任务而进行的信息处理过程。当系统中单个传感器不能提供足够的准确度和可靠性时就采用多传感器数据融合。数据融合技术扩展了时空覆盖范围，改善了系统的可靠性，对目标或事件的确认增加了可信度，减少了信息的模糊性，这是任何单个传感器做不到的。 实践证明：与单传感器系统相比，运用多传感器数据融合技术在解决探测、跟踪和目标识别等问题方面，能够增强系统生存能力，提高整个系统的可靠性和鲁棒性，增强数据的可信度，并提高精度，扩展整个系统的时间、空间覆盖率，增加系统的实时性和信息利用率等。信号级融合方法最简单、最直观方法是加权平均法，该方法将一组传感器提供的冗余信息进行加权平均，结果作为融合值，该方法是一种直接对数据源进行操作的方法。卡尔曼滤波主要用于融合低层次实时动态多传感器冗余数据。该方法用测量模型的统计特性递推，决定统计意义下的最优融合和数据估计。 多传感器数据融合虽然未形成完整的理论体系和有效的融合算法，但在不少应用领域根据各自的具体应用背景，已经提出了许多成熟并且有效的融合方法。多传感器数据融合的常用方法基本上可概括为随机和人工智能两大类，随机类方法有加权平均法、卡尔曼滤波法、多贝叶斯估计法、产生式规则等;而人工智能类则有模糊逻辑理论、神经网络、粗集理论、专家系统等。可以预见，神经网络和人工智能等新概念、新技术在多传感器数据融合中将起到越来越重要的作用。 数据融合存在的问题 (1)尚未建立统一的融合理论和有效广义融合模型及算法； (2)对数据融合的具体方法的研究尚处于初步阶段； (3)还没有很好解决融合系统中的容错性或鲁棒性问题； (4)关联的二义性是数据融合中的主要障碍； (5)数据融合系统的设计还存在许多实际问题。 二、算法介绍： 2.1多传感器数据自适应加权融合估计算法： 设有n 个传感器对某一对象进行测量，如图1 所示，对于不同的传感器都有各自不同的加权因子，我们的思想是在总均方误差最小这一最优条件下，根据各个传感器所得到的测量值以自适应的方式寻找各个传感器所对应的最优加权因子，使融合后的X值达到最优。

信息融合技术

信息融合技术 1引言 融合(Fusion)的概念开始出现于70年代初期,当时称之为多源相关、多源合成、多传感器混合或数据融合(Data Fusion),现在多称之为信息融合(Information Fusion)或数据融合。 融合就是指采集并集成各种信息源、多媒体与多格式信息,从而生成完整、准确、及时与有效的综合信息过程。数据融合技术结合多传感器的数据与辅助数据库的相关信息以 获得比单个传感器更精确、更明确的推理结果。经过融合的多传感器信息具有以下特征:信息的冗余性、互补性、协同性、实时性以及低成本性。 多传感器信息融合与经典信号处理方法之间存在本质 的区别,其关键在于信息融合所处理的多传感器信息具有更 为复杂的形式,而且可以在不同的信息层次上出现。 2信息融合的结构模型 由于信息融合研究内容的广泛性与多样性,目前还没有 统一的关于融合过程的分类。 2、1按照信息表征层次的分类系统的信息融合相对于信息表征的层次相应分为三类:数据层融合、特征层融合与决策层融合。 数据层融合通常用于多源图像复合、图像分折与理解等方面,采用经典的检测与估计方法。特征层融合可划分为两大

类:一类就是目标状态信息融合,目标跟踪领域的大体方法都可以修改为多传感器目标跟踪方法;另一类就是目标特性融合,它实质上就是模式识别问题,具体的融合方法仍就是模式识别的相应技术。 决策层融合就是指不同类型的传感器观测同一个目标,每个传感器在本地完成处理,其中包括顶处理、特征抽取、识别或判决,以建立对所观察目标的初步结论。然后通过关联处理、决策层触合判决,最终获得联合推断结果。 2、2JDL模型(Joint Directors of Laboratories, JDL)与λ-JDL模型该模型将融合过程分为四个阶段:信源处理,第一层处理(即目标提取)、第二层处理(即态势提取)、第三层提取(即威胁提取)与第四层提取(即过程提取)。模型中的每一个模块都可以有层次地进一步分割,并且可以采用不同的方法来实现它们。 λ-JDL模型为JDL模型的简化,把0层包含进了1层, 4层融入其她各层中。 2、3按照数据流融合的位置进行分类多传感器融合系统中的一个关键问题就是在何处对数据流进行融合。按照融合位置的不同可以将融合结构分为以下三种类型:集中式融合、分布式多传感器融合与无中心融合结构。对于特定的信息融合应用不可能找到一种最优的融合结构,结构的选择必须综合考虑计算资源、可用的通信带宽、精度要求、传感器能力

多传感器数据融合技术在汽车中的应用

多传感器数据融合技术在汽车中的应用 摘要：传感器经常应用在现代智能汽车系统中，是一个能提高道路交通安全具有前景的工具。基于车上感知系统的启用，如雷达，激光或视频技术等，这些车都具备了检测道路上是否有威胁的能力，预计会出现的危险驾驶情况，并积极采取行动，碰撞避撞。除了在汽车上应用多种传感器形成组合系统外，复杂的信号处理和传感器数据是否能融合也是整个系统能否稳健和可用的重要因素。本论文中，我们将用原始传感器测量的数据（低级）和数据融合方法（高级别）来确定测量点。我们模拟传感器的现象、道路交通情况、数据融合范例、信号处理算法和探讨不同传感器的数据相结合的影响水平上对多传感器系统的离散事件仿真手段进行抽象事件模拟。 关键词：多传感器数据融合、仿真、智能汽车、环境感知、汽车 1、前言 在提高道路交通安全的同时减少致命车祸的数量，是世界各地汽车生产商和研究机构未来要解决的艰巨任务。为了提高交通安全，不但要有路边的智能基础设施，还要有先进的交通工具和信息服务能力，并努力提高各个车辆之间信息的交流。目前，传感器技术因在军事和民用航空领域应用广泛而广为人知。雷达，激光，超声波或视频设备等传感器技术在汽车上的应用，使车辆对周围环境信息的感知能力大大提高，并能预见周围环境所具有主动的或被动的威胁及时采取行动尽早和有效地避免碰撞话减少或减轻事故的损害程度，使汽车具有了主动保护能力。智能车辆的基础是先进驾驶辅助系统（ADAS），但它严重依赖于传感器的数据信息，所以传感器获取周围信息质量的好坏，决定着智能车的决策力。而传感器的性能是受本身感知范围、视角、天气鲁棒性、功耗和布局等因素约束的。单个传感器往往无法克服这些弱点，所以通常会使用多种传感器。然而传感器的信号处理和传感器数据融合是一个复杂的过程，它需要考虑系统的可靠性。各种算法在处理各测量点时，需要结合现实环境对传感器的数据信息进行过滤处理。基于系统融合范例中的数据是在特定环境中采集的数据，在低级别的数据中，数据是与各种设备的原始数据相结合来处理早期信号和将算法应用到测量点。高级别的数据融合策略是将各个传感器的数据进行前期处理之后再进行专门的能力聚类、关联、过滤并以融合后的信息作为检测对象。这两种方法在熵信息、计算复杂性和适应性上都有自己的优势和劣势。在本文中，我们将对一个离散事件进行模型仿真分析，它包括多种传感器系统，如雷达或激光束反射、道路交通情况

2018机器人传感器习题题库 - 附答案

1.多传感器数据融合的结构形式有串联型融合，并联型融合，混联型融合。 2. 3 4自校准层中用到的算法包括自适应加权算法、和（贝叶斯估算法，分布图与分批估计算法）。 5传感器一般由敏感元件，转换元件，测量电路，辅助电路等组成。 6机器人由机械部分、传感部分、控制部分三大部分组成。 7.智能传感器是由传感器和微处理器相结合而构成。 8.根据信息融合处理方式的不同，可以将多传感器信息融合系统结构分为集中、分散、混合、反馈型等。 9.常用的多传感器信息融合方法可以分为以下四大类。 10.根据处理对象的层次不同，可以将信息融合分类为数据层融合、特征层融合、决策层融合。 12.11.序号跳了， 13.11、12并没有题目。 14.机器人的机械结构系统由机械构件和传动机构组成。 15.机器人的运动方式主要有、、、及。 16.机器人传感器分为内部传感器和外部传感器两种。 17.多传感器信息融合过程主要包括A/D、数据预处理、特征值提取、和融合计算等环节。 18.智能传感器的硬件结构模块要由以下六个部分组成一个或多个敏感器件、微处理器或为控制器、非易失性可擦写存储器、双向数据通信的接口、模拟量输入输出接口、高效的电源模块。 19.传感器的标定可分为动态标定和静态标定。 20.传感器按构成原理分类为结构型和物性型。 21.压电传感器是根据压电效应制造而成的。 22.机器人的机械结构系统中的机械构件由机身、手臂和末端执行器三大件组成。 23.机器人驱动系统的驱动方式主要有液压、气压和电气。 24.机器人内部传感器主要包括位置、速度、加速度、倾斜角、力觉传感器等五种基本种类。 25.智能传感器是由传感器和微处理器相结合而构成的。第7题重复 26.多传感器信息融合的常用方法可以分为估计、分类、推理、人工智能四大类。 26.传感器按能量关系分类为能量转换和能量控制型；按基本效应分类分为物理、化学、生物型。第19题合并 27传感器进行动态特性标定时常用的标准激励源有周期函数和瞬变函数两种。 28机器人的机械结构系统由机械构件和传动系统组成。第13题重复 29机器人外部传感器主要包括视觉传感器、触觉、接近度、激光等基本种类。 30.智能传感器的实现方式主要有非集成化的模块方式、集成化实现和混合实现三种形式。 31.多传感器信息融合的系统结构分为集中、分散、混合、反馈型四大类。第8题重复 32.机器人电器驱动系统中，马达是其执行元件。

多传感器数据融合技术

多传感器数据融合技术 摘要：介绍多传感器数据融合技术的历史与研究现状，给出多传感器数据融合实现方法，最后给出应用和多传感器数据融合的不足与研究展望。 1 引言 多传感器数据融合是信息领域一个前景广阔的研究方向，世界各国都有学者和技术人员在开展数据融合技术的研究，我国对数据融合方面的研究也日益重视，国家自然科学基金和“863”计划已将其列入重点支持项目，因此，对多传感器数据融合进行学术与工程应用的研究具有重要意义[1]。 多传感器数据融合技术是对多种信息的获取、表示及其内在联系进行综合处理和优化的技术。多传感器数据融合技术从多信息的视角进行处理及综合，得到各种信息的内在联系和规律，从而剔除无用的和错误的信息，保留正确的和有用的成分,最终实现信息的优化，它也为智能信息处理技术的研究提供了新的观念。数据融合作为一门跨学科的综合信息处理理论，涉及系统论、信息论、控制论、人工智能和计算机通信等众多的领域和学科[2]。 本文介绍数据融合技术发展历史与研究现状，描述数据融合技术的几种典型实现方法，给出数据融合技术的主要应，最后对数据融合技术研究中存在的问题和发展前景进行了论述。 2 多传感器数据融合技术概述 2.1 数据融合的定义 数据融合也称为信息融合，它的定义有很多。Mango lini将数据融合定义为：一套利用具有不同性质的各种源数据的方法、工具、方式，目的是提高所需信息的质量，此定义着重于融合的方法。Hall 和Llinas的定义是“数据融合技术是将来自多传感器和相关数据库的有关信息进行综合，以得到精度上的改善和更加具体的推断，而这些也可以通过单个传感器来得到”。这种定义虽然提到了数据信息的质量，但是仍注重于方法。美国国防部定义为“数据融合是一个多级、多方面的过程,这个过程处理自动识别、连结、相关、估计以综合多源数据和信息.。”这一定义简单地说就是“处理自动识别、连结、相关、估计

传感器作业-扫地机器人设计

第一章绪论 课题研究背景 近年来，随着计算机技术与人工智能科学的飞速发展，服务机器人技术逐渐成为现代机器人研究领域的热点。一方面随着信息高速发展和生活、工作节奏的加快，人们需要从繁杂的家庭劳动中解脱出来；另一方面人口的老龄化和社会福利制度的完善也为某些服务机器人提供了广泛的市场应用前景。区别于工业机器人，服务机器人的一个主要特征就是服务机器人是一种适用于具体的方式、环境及任务过程的机器人系统，其活动空间大，具有在非结构环境下的移动性，因此扫地机器人是一种能够自动执行房间清扫的家用服务机器人，集中了机械学、电子技术、传感器技术、计算机技术、控制技术、机器人技术、人工智能技术等多学科。开始于20世纪80年代的研究，现在已经有多重样机和产品，并且促进了家庭服务机器人行业的发展，也促进了移动机器人技术、图像、语音识别、传感器等技术的发展。许多发达国家都将其视为机器人研究的新领域给予重视。有关资料也预测扫地机器人是未来几年需求量最大的服务机器人，特别是日用扫地电器不论在市场上或者是在产品创新上，绝对是所有小家电产品中最活跃的，未来仍有很大的成长空间，因此此课题研究有很大的意义。 国内外研究现状 扫地机器人的特点 扫地机器人具有如下的特点： (1)扫地机器人自带电源，小巧轻便、操作简单、自主性强、具有很强的实用性。 (2)扫地机器人的工作环境主要为普通家庭环境，也可以用于机场候机大厅、展

览馆、图书馆等公共场所。环境的共同特征为有限的封闭空间、平整的地板以及走动的人员，因此可以归结为复杂多变、结构化的动态环境。所以环境适应性是对此类机器人的基本要求。 (3)扫地机器人的任务是清扫地面，工作的对象是地面的灰尘、纸屑以及其他一些小尺寸物体，而大尺寸物体不作为扫地机器人的处理对象。考虑到安全因素，扫地机器人必须对人及家庭物品等不构成任何危害，同时扫地机器人还必须具备自我保护的能力。 随着近年来计算机技术、人工智能技术、传感技术以及移动机器人技术的迅速发展，扫地机器人控制系统的研究和开发己具备了坚实的基础和良好的发展前景。扫地机器人的控制与工作环境往往是不确定的或多变的，因此必须兼顾安全可靠性、抗干扰性以及扫地度。用传感器探测环境，分析信号，以及通过适当的建模方法来理解环境，具有特别重要的意义。近年来对智能机器人的研究表明，目前发展较快并且对扫地机器人发展影响较大的关键技术是：路径规划技术、传感技术、吸尘清扫技术、电源技术等。 ①路径规划技术 扫地机器人的路径规划就是根据机器人所感知到的工作环境信息，按照某种优化指标，在起始点和目标点规划出一条与环境障碍无碰撞的路径，并实现所需清扫区域完全路径覆盖。按机器人工作环境不同可分为静态结构化环境、动态己知环境和动态不确定环境，按机器人获取环境信息的方式不同可以分为基于模型的路径规划和基于传感器的路径规划。根据机器人对环境信息知道的程度不同，可以分为两种类型：全局路径规划和局部路径规划。常用的环境建模的主要方法有：可视图法、自由空间法、栅格法、势场法等。与其它移动机器人相比较，扫地机器人作业环境和作业任务相对简单，机器人要实现自主路径规划、控制和作业并不困难。 ②传感技术 扫地机器人在工作时需要实时地检测自身状态信息和收集外界环境息，以控

多传感器图像融合技术综述

收稿日期:2002203217　作者简介:毛士艺(1935-),男,浙江黄岩人,教授,100083,北京. 多传感器图像融合技术综述 毛士艺 赵　巍 (北京航空航天大学电子工程系) 摘 要:对国内外多传感器图像融合技术的发展状况进行了介绍,描述了 图像融合的主要步骤,概括了目前主要图像融合方法的基本原理,并对各种方法的性能进行了定性分析.给出了评价图像融合效果的标准和方法,指出了图像融合技术的发展方向. 关　键　词:图像处理;图像合成;传感器;图像融合 中图分类号:T N 911.73文献标识码:A 文章编号:100125965(2002)0520512207 近20年,随着传感器技术和计算机计算能力的提高,多传感器图像融合技术的应用越来越广泛.在军事领域,以多传感器图像融合为核心内容的战场感知技术已成为现代战争中最具影响力的军事高科技.20世纪90年代,美国海军在SS N 2 691(孟菲斯)潜艇上安装了第1套图像融合样机,可使操纵手在最佳位置上直接观察到各传感器的全部图像[1],[2].1998年1月7日《防务系统月刊》电子版报道,美国国防部已授予BTG 公司2项合同,其中一项就是美国空军的图像融合设计合同,此系统能给司令部一级的指挥机构和网络提供比较稳定的战场图像.在遥感领域,大量遥感图像的融合为更方便、更全面地认识环境和自然资源提供了可能[3]～[5],其成果广泛应用于大地测绘、植被分类与农作物生长势态评估、天气预报、自然灾害检测等方面.1999年10月4日,由我国和巴西联合研制的“资源一号”卫星发射升空,卫星上安装了我国自行研制的CC D 相机和红外多光谱扫描仪,这两种航天遥感器之间可进行图像融合,大大扩展了卫星的遥感应用范围.在医学成像领域,CT 、MR 和PET 图像的融合提高了计算机辅助诊 断能力[6].2001年11月25日～30日在美国芝加哥召开了每年一度的RS NA 北美放射学会年会,在会议上GE 公司医疗系统部展销了其产品Dis 2covery LS.Discovery LS 是GE 公司于2001年6月 刚推出的最新PET/CT ,是世界上最好的PET 与最高档的多排螺旋CT 的一个完美结合,具有单体PET 不能比拟的优势.它可以完成能量衰减校正、 分子代谢影像(PET )与形态解剖影像(CT )的同机 图像融合,使检查时间成倍地降低.在网络安全领域,多尺度图像融合技术可将任意的图像水印添加到载体图像中,以确保信息安全[7]. 在各个应用领域的需求牵引下,各国学者对多传感器图像融合技术的研究也越来越重视.在多传感器信息融合领域中,图像融合是应用最为广泛,发表文献最多的一个方向.从文献[8]可看出,在参与统计的信息融合文章中,信号层的信息融合文章占53%.同时,我们做了这样一个调查,在Ei C om pendexWeb 数据库中用“image fusion ”作为关键词,检索从1980年到2001年摘要中出现这一词组的文章数目.1980年至1984年,这方面的文章只有4篇;1995年至1999年增加到603篇;2000年和2001年两年就有299篇.从中可以看出国际学术界对图像融合技术的重视程度与日俱增. 为了使国内同行对图像融合技术有一个较为全面的了解,本文在参考国内外文献的基础上,对目前常用的图像融合技术进行了概括和评述.文章首先介绍了图像融合研究的基本内容,将图像融合的概念界定到像素级;接着描述了各种图像融合技术的基本原理,对它们的优缺点进行了定性分析,给出了评价图像融合技术的方法. 1　多传感器图像融合技术研究内容 多传感器图像融合属于多传感器信息融合的范畴,是指将不同传感器获得的同一景物的图像 　 2002年10月第28卷第5期北京航空航天大学学报 Journal of Beijing University of Aeronautics and Astronautics October 2002V ol.28　N o 15

多传感器融合方法

多传感器融合方法 一、 数学知识 1、 期望 定义1设X 是离散型随机变量，它的概率函数是：k k ,1,2,P X X p k === （） 如果1k k k x p ∞ =∑有限，定义X 的数学期望 ()1 k k k E X x p +∞ ==∑ 定义2设X 是连续型随机变量，其密度函数为()f x ，如果()x f x ∞ -∞ ?有限，定 义X 的数学期望为 ()()E x xf x dx +∞-∞ =? 2、 条件数学期望 定义X 在Y y =的条件下的条件分布的数学期望称为X 在Y y =的条件下的条件期望。 当(),X Y 为离散随机向量时 ()()||i i i E X Y y x P X x Y y ====∑ 当(),X Y 为连续随机向量时 ()()|y ||x E X Y y xp x y dx +∞-∞ ==? 3、 贝叶斯公式 定义设Ω为试验E 的样本空间，B 为E 的事件，12,,n A A A 为Ω的一个划分，且 ()0P B >，()()01,2,,i P A i n >= ，则

()()() ()() 1 ||,1,2,|i i i n j j j P B A P A P A B i n P B A P A == =∑ 称此为贝叶斯公式。 4、 贝叶斯估计 期望损失：??(|)(,)(|)R x p x d θλθθθθΘ =? 损失函数：?(,)λθ θ，把θ估计为?θ所造成的损失 常用损失函数：2??(,)()λθ θθθ=-，平方误差损失函数 如果采用平方误差损失函数，则θ的贝叶斯估计量?θ是在给定x 时θ的条件期望，即： []?|(|)E x p x d θθθθθΘ ==? 同理可得到，在给定样本集χ下，的贝叶斯估计是： []?|(|)E p d θθχθθχθΘ ==? 求贝叶斯估计的方法：（平方误差损失下） ● 确定θ的先验分布()p θ ● 求样本集的联合分布 1(|)(|)N i i p p x θχθ==∏ ● 求的后验概率分布 (|)() (|)(|)()p p p p p d χθθθχχθθθ Θ = ? ● 求的贝叶斯估计量 ?(|)p d θθθχθΘ =? Gaussian 情况，仅参数θμ=未知 给定样本集χ，已知随机变量()2~,k x N μσ均值未知而方差已知。均值变量

传感器作业-扫地机器人设计

第一章绪论 1.1 课题研究背景 近年来，随着计算机技术与人工智能科学的飞速发展，服务机器人技术逐渐成为现代机器人研究领域的热点。一方面随着信息高速发展和生活、工作节奏的加快，人们需要从繁杂的家庭劳动中解脱出来；另一方面人口的老龄化和社会福利制度的完善也为某些服务机器人提供了广泛的市场应用前景。区别于工业机器人，服务机器人的一个主要特征就是服务机器人是一种适用于具体的方式、环境及任务过程的机器人系统，其活动空间大，具有在非结构环境下的移动性，因此扫地机器人是一种能够自动执行房间清扫的家用服务机器人，集中了机械学、电子技术、传感器技术、计算机技术、控制技术、机器人技术、人工智能技术等多学科。开始于20世纪80年代的研究，现在已经有多重样机和产品，并且促进了家庭服务机器人行业的发展，也促进了移动机器人技术、图像、语音识别、传感器等技术的发展。许多发达国家都将其视为机器人研究的新领域给予重视。有关资料也预测扫地机器人是未来几年需求量最大的服务机器人，特别是日用扫地电器不论在市场上或者是在产品创新上，绝对是所有小家电产品中最活跃的，未来仍有很大的成长空间，因此此课题研究有很大的意义。 1.2 国内外研究现状 1.2.1 扫地机器人的特点 扫地机器人具有如下的特点： (1)扫地机器人自带电源，小巧轻便、操作简单、自主性强、具有很强的实用性。 (2)扫地机器人的工作环境主要为普通家庭环境，也可以用于机场候机大厅、展览馆、图书馆等公共场所。环境的共同特征为有限的封闭空间、平整的地板以及走动的人员，因此可以归结为复杂多变、结构化的动态环境。所以环境适应性是对此类机器人的基本要求。 (3)扫地机器人的任务是清扫地面，工作的对象是地面的灰尘、纸屑以及其他一些小尺寸物体，而大尺寸物体不作为扫地机器人的处理对象。考虑到安全因素，扫地机器人必须对人及家庭物品等不构成任何危害，同时扫地机器人还必须具备自我保护的能力。 随着近年来计算机技术、人工智能技术、传感技术以及移动机器人技术的迅速发展，扫地机器人控制系统的研究和开发己具备了坚实的基础和良好的发展前景。扫地机器人的控制与工作环境往往是不确定的或多变的，因此必须兼顾安全可靠性、抗干扰性以及扫地度。用传感器探测环境，分析信号，以及通过适当的建模方法来理解环境，具有特别重要的意义。近年来对智能机器人的研究表明，目前发展较快并且对扫地机器人发展影响较大的关键技术是：路径规划技术、传