在线自适应网络异常检测系统模型与算法(精)

计算机研究与发展

ISSN100021239ΠCN1121777ΠTP()在线自适应网络异常检测系统模型与算法

魏小涛

21黄厚宽田盛丰22(北京交通大学软件学院北京100044)(北京交通大学计算机与信息技术学院北京100044)

(weixt@https://www.wendangku.net/doc/a410752310.html,) AnOnlineAdaptiveNetworkandAlgorithmWeiXiaotao1,Shengfeng2

2(SchoolofSoftware,BJiaotongUniversity,Beijing100044)(SchoolofComputerandInform ationTechnology,BeijingJiaotongUniversity,Beijing100044)

Abstract TheextensiveusageofInternetandcomputernetworksmakessecurityacriticalissue.Thereisa nurgentneedfornetworkintrusiondetectionsystemswhichcanactivelydefendnetworksagain stthegrowingsecuritythreats.Inthispaper,alightweightedonlineadaptivenetworkanomalyd etectionsystemmodelispresented.Therelatedinfluencefunctionbasedanomalydetectionalg orithmisalsoprovided.Thesystemcanprocessnetworktrafficdatastreaminreal2time,gradual lybuildupitslocalnormalpatternbaseandintrusionpatternbaseunderalittlesupervisingofthea dministrator,anddynamicallyupdatethecontentsoftheknowledgebaseaccordingtothechang ingofthenetworkapplicationpatterns.Atthecheckingmode,thesystemcandetectnotonlythel earnedintrusionpatternsbutalsotheunseenintrusionpatterns.Themodelhasarelativelysimpl earchitecture,whichmakesitefficientforprocessingonlinenetworktrafficdata.Alsothedetect ingalgorithmtakeslittlecomputationaltimeandmemoryspace.ThesystemistestedontheDA RPAKDD99intrusiondetectiondatasets.Itscans10%ofthetrainingdatasetandthetestingdata setonlyonce.Within40secondsthesystemcanfinishthewholelearningandcheckingtasks.Th eexperimentalresultsshowthatthepresentedmodelachievesadetectionrateof91.32%andafal sepositiverateofonly0.43%.Itisalsocapableofdetectingnewtypeofintrusions. Keywords

networkanomalydetection;onlineadaptive;influencefunction;datastream;anomalydetecti on

摘要随着因特网等计算机网络应用的增加,安全问题越来越突出,对具有主动防御特征的入侵检测系统的需求日趋紧迫.提出一个轻量级的在线自适应网络异常检测系统模型,给出了相关算法.系统能够对实时网络数据流进行在线学习和检测,在少量指导下逐渐构建网络的正常模式库和入侵模式库,并根据网络使用特点动态进行更新.在检测阶段,系统能够对异常数据进行报警,并识别未曾见过的新入侵.系统结构简单,计算的时间复杂度和空间复杂度都很低,满足在线处理网络数据的要求.在DARPAKDD99入侵检测数据集上进行测试,10%训练集数据和测试集数据以数据流方式顺序一次输入系统,在40s之内系统完成所有学习和检测任务,并达到检测率91.32%和误报率0.43%的结果.实验结果表明系统实用性强,检测效果令人满意,而且在识别新入侵上有良好的表现.

收稿日期:2009-03-04;修回日期:2009-10-22

基金项目:国家自然科学基金项目(60442002)

486

计算机研究与发展2010,47(3)

关键词网络入侵检测;在线自适应;影响度函数;数据流;异常检测中图法分类号TP393.08

计算机入侵检测技术分为误用检测和异常检测

2种.误用检测是通过监视目标系统的特定行为与已知的入侵模式是否匹配来进行入侵检测的;而异常检测则是事先建立被监视目标在正常情况下的行为模式,通过检测当前行为是否显著偏离了相应的正常模式来进行入侵检测的.异常检测由于不需要到广泛的重视.另外,,测..

对于网络异常检测系统而言,除了要有较高的检测率外,从实用性的角度看还应满足:

1)系统结构简单、效率高,检测算法计算量小,适于处理在线网络数据;

2)具有自学习自适应能力;

3)具有较强的检测新入侵的能力;

4)具有较低的误报率,大量的误报会使系统的可用性降低.

针对上述要求本文提出一个在线自适应网络异常检测系统.系统能够处理实时网络数据流,其学习和检测是一个统一的过程,而且无论学习阶段还是检测阶段都只扫

描数据一次;自适应是指系统能够动态构建和维护自身的知识库,能随着网络自身应用特征的改变而更新知识.在KDD99数据集上的实验结果验证了系统的效果和性能.

1相关工作

网络异常检测方法的研究从1990年Heberlein等人开发的

NSM(networksecuritymonitor)[1]系统开始.迄今为止,主要有概率统计分析方法、数据挖掘方法和生物系统模拟(神经网络、遗传规划、人工免疫系统等)方法等.

统计分析技术在入侵检测系统中的应用研究主要集中在马尔可夫模型和支持向量机模型上.Callegari[2]等人在网络异常检测中比较了几种不同的随机模型,包括一阶和高阶齐次马尔可夫链、非齐次马尔可夫链、稳定性和非稳定性经验累积分布函数等,实验结果显示高阶齐次马尔可夫链是效果最好的,但是模型的参数较难确定;文献[3]利用一阶齐次马尔可夫链对主机系统中特权程序的正常行为进行建模,并基于状态序列的出现概率判断异常行

为;文献[4]使用了一个变长马尔可夫模型来捕获入侵轨迹的特征,对入侵行为进行实时预测.在使用支持向量机进行异常检测中,为了提高支持向量机的训练速度,文献[5],而文献,都取得较,统计分析方法基本上不,而且有较;但是漏报率和误报率都还较高,大部分的方法仍然需要干净的训练数据,这在真实的网络环境中很难确保. 基于数据挖掘的检测技术使用关联规则、序列挖掘、数据分类和聚类等算法从大量的网络数据中自动生成简洁而精确的检测模型.文献[7]使用频繁项集挖掘算法和衰减窗口技术来发现网络数据流的应用模式,能够高效学习,缺点是不能检测新入侵,检测率较低;文献[8]首先将训练样本进行聚类,然后在每一聚类上训练一棵

ID3决策树;文献[9]针对每一类入侵训练一棵两类决策树,检测时将分类结果进行组合,并通过提升技术改进其检测性能.这些方法都取得了较好的结果,但是基于数据挖掘的方法往往需要大量的有标号数据作为基础,系统比较复杂,在检测模型学习和评价阶段的计算成本高,难以实现系统的实时学习.

基于生物系统模拟的方法最近集中在分布式神经网络和分布式遗传规划上.文献[10]将大数据集随机分割成小块并使用分布式神经网络进行并行学习,用于大规模网络入侵检测,取得较高检测率,但误报率较高;文献[11]使用分布式遗传规划方法训练决策树分类器,并通过提升的方法分配各分类器的权重,有效降低了误报率.但这些算法在学习过程中同样需要大量带标号数据,且计算复杂度较大.

总之,异常检测技术仍然面临检测率低和误报率过高的问题,并且多数模型系统结构复杂、效率低,难以适应在线检测的要求.

2系统模型与算法

在线自适应网络异常检测系统模型如图1所示,系统分为4个部分:(A)数据预处理模块;(B)模式匹配与更新模块;(C)决策模块;(D)报警与响应模块.

魏小涛等:在线自适应网络异常检测系统模型与算法487

Fig.1detectionsystemmodel.

图2.1数据预处理

网络数据首先要经过预处理,目的是将源数据

转换为适当的粒度再输入系统.我们使用了基于网格的方法划分数据空间,这里的网格划分是指将数据空间的每一维划分区间,从而将整个数据空间划分成数目有限的超级长方体,并以网格为单位来判断落入网格的数据是否正常.这样能够大大减小系统的运算复杂度和存储复杂度.

网格的形式化定义如下:

设A={A1,A2,…,Ad}是一个有界属性集合,U=A1×A2×…×Ad是一个d维数据空间.V=(v1,v2,…,vd)是U中的一个d维数据,其中vi在Ai中取值.通过将每一个属性维分割成N个区间,我们把数据空间划分成互不相交的超级长方体.

一个网格C就是在各个维中,分别取一个区间得到的超级长方体:C=(c1,c2,…,cd).其中ci为符号维时是一个有效取值,为数字维时是Ai中一个左闭右开区间:ci=[li,hi).我们说一个实例V=(v1,v2,…,vd)投影到单元C=(c1,c2,…,cd),即当:vi=ci(当vi是符号值),或者li≤vi

网格的划分方法直接决定了系统的学习和分类

能力.针对不同的数据空间会有不同的划分方法,由于本文要使用KDD99数据进行实验,这里我们以网络连接数据为例说明数据空间的划分方法.

数据空间划分的关键是如何将每一维属性划分成离散的区间.在网络连接数据中,有取符号值的属性,也有取数字值的属性.对于符号值属性(如

)或仅取0和1的二进制属性(如“protocol-type”

),我们将每一个不同的取值作为一个划“logged2in”

分.对于数值型的属性,我们按照特征分为2类处理:

1)属性值为一个百分数,或者属性的取值是512以内的整数;

2)属性值是大于512的整数.

对于第1种类型的数值属性,我们可以简单地将其划分为N个等长的区间;对于第2类属性,等区间划分和基于密度的划分等都是不适合的,因为这些属性虽然取值范围比较大,但是多数实例的取值都集中在一个相对较小的区间内,如“duration”.

对于这类属性,使用等频装箱法将数据点均匀地分布在不同区间中看似比较合适,但是在处理数据流的前提下,这个方法很难有效实现.为此我们使用了一种效果近似的函数转换法,用一个S型函数将属性值转换到(0,1)区间上,

再将转换结果平均

Fig.2

Comparisonofdifferentdiscretizationtechniques.(a)Equalwidth;(b)Densitybaseddivision; and(c)Variable

transformation.

图2不同的网格划分方法比较.(a)等分区间;(b)基于密度划分;(c)函数转换

488

计算机研究与发展2010,47(3)

分成N等份.主要思想是在数据密度大的区域区间

划分小一些,在数据稀疏的区域区间划分大一些,如图2(c)所示.

这里我们使用的S函数如下:

f(x)=

式都有一个生命值H,当一条新记录匹配这个模式时,这个模式的生命值会增加1;与此同时其他模式

(εν1),即老化或衰减.的生命值将减少ε

频繁模式可以定义为生命值达到一个阈值τ的

模式.τ的确定随系统的不同运行阶段而不同,在初始阶段τ可以很大,这样可以避免初始阶段对用户进行大量的询问.5,或个模式.随着系统的运,多数数据会在经过B1和B2时结束处理.这时τ的值就可以根据流入B3的数据量的减少而自动减小,不需用户调整.

频繁模式经过认定后会分别加入正常模式库

NPP或入侵模式库IPP.B1和B2中模式库的大

-(x-m)Πc,1+e

(1)

其中,m和c代表当前属性历史数据的平均值和标准差.它们都可以通过对历史数据的统计或相关的背景知识获取.3.3的实验证明了这种方式是有效的.2.2模式的表示

在本文中,:

P)其中C,是映射到网格

C内的最近出现的k个实例集合,H是此模式的生

命值,L是其标号.

在模式P中,R是映射到C内的最近出现的k个网络实例.保存这些实例的原因有2个,一是当这个模式成为频繁模式后,系统将向用户询问这一模式是否为正常,网格这样的抽象表达方式用户是无法理解的,这时可以列出这些实例让用户判断;第2个原因是在系统进行增量学习时,如果系统的网格划分方式有所调整,可以通过这些实例将当前模式重新对应到正确的网格中,从而保留知识.

H是模式P的生命值,当有新的实例投影到这

小可以不作限制,随着模式的动态生成和衰亡,模式库的大小会稳定在一定范围内.但是如果内存有限需要进行限制时则要用到模式的更新策略,这里简单地用新模式替换第1个生命值最小的旧模式.同时,这种模式的动态更新机制也使得系统可以适应网络使用环境的变化.

模块C是系统提供的一个开放平台,此处可以集成多种检测算法,甚至可以结合其他基于误用的检测系统,为用户判断一个新模式的危险性提供参考信息.这里我们给出了一个基于模式影响度的算法,在第2.4节描述.

由于报警与响应不是本文的重点,因此模块D的主要功能是回答询问和响应报警.当然,为了减轻用户的负担,提高系统的可用性,当模块C提供的参考信息具有较高的确信度时,系统也可以根据这些信息自动进行认定.

2.4基于模式影响度的检测算法

个模式时,其生命值会增加;而长久没有实例匹配的

模式,其生命值会逐渐减小并最终被新的频繁模式替代.通过对正常模式的这种运算可以使系统始终保持网络的最近工作状态.

L是模式P的标号.已询问过用户的模式,标

号是“正常”或“入侵”,未确定的模式标号为“未标号”.

2.3系统工作机制

在初始阶段,所有的模式库都是空的,决策模块中因为没有任何知识而无法工作.所以在进行异常检测之前,系统需要进行学习.在学习阶段逐渐动态生成最近的正常模式库以及入侵模式库.

正常模式基本上都是频繁模式,但是在实际情况中频繁模式并不都是正常模式.例如,DoS攻击包含大量网络流量,也一定是频繁模式.因此,在学习过程中,模块B3获得的频繁模式不能直接加入正常模式库,而需要决策模块或用户的确认.

这里涉及到一个频繁模式的确定问题,为了获得最近最经常出现的模式,我们借鉴了操作系统中二级缓存的更新机制.模式缓存库PC中每一个模

在网络异常检测的过程中,我们依赖如下的假设:正常数据之间或入侵数据之间具有一定的相似性,而入侵数据与正常数据之间有一定的差异性.这样每个数据对周围的数据都会有一个正面的或负面的影响.一个新的待分类数据可以根据所有其他已分类数据对它的影响来决定其类型,下面说明相关概念与方法.

2个模式P,Q的距离D(P,Q)定义为它们所

包含的2个d维网格CP,CQ之间的距离:

d

D(CP,CQ)=

i=1

∑

d(CP,CQ),

ii

(2)

魏小涛等:在线自适应网络异常检测系统模型与算法

i

0,ifCiP=CQ;

489

其中d(C,C)=i

PiQ

1,otherwise.

在判断一个新的频繁模式时,可能会遇到这个模式所保存的k个最近实例中既有正常连接又有异常连接的情况.必要时我们可以将网格划分进行细化,即在数据空间

的某一维或几维上多一个区间分割点,从而使这些冲突的实例被划分到不同的网格.同时,系统可以根据每个模式保存的k个实例为所,从而保留已经.

IPP|.

(一个模式P对另一个模式X的影响函数定义为

(3)f(P,X)=exp(-D(P,X)).

这样,当|NPP|>1且|IPP|>1时,一个新模式X对正常模式的隶属度为

Fn(X)=

P∈NPP

∑f(P,X)Π|∑f(P,X)Π|

NPP|.(4)

X对入侵模式的隶属度为

Fi(X)=

X的正常度定义为

N(X)X)).

(6)

P∈IPP

33.1实验数据

θ,当N(X)>θ时我们

认为新模式X为正常模式,否则为异常模式并进行报警.用户可以调整这个阈值以在高检测率和低误报率之间进行权衡.检测算法如下所示.

算法1.基于影响度的网络异常检测算法.输入:模式衰减系数ε;频繁模式阈值τ;正

常度阈值θ.初始化:正常模式库、入侵模式库、模式缓存库初始都为空.

每当一个网络连接记录到达,进行下列处理:1)按第2.2节网络应用模式的定义,将此记录转化为模式X;

2)在正常模式库中搜索与X匹配的模式,在搜索的同时累加所有正常模式对X的

影响度值得到Fn,并对正常模式的生命值衰减ε;若发现与X匹配的模式,则将其生命值加1,并结束对此记录的处理;

3)在入侵模式库中搜索与X匹配的模式,在搜索的同时累加所有入侵模式对X的

影响度值得到Fi;

若发现与X匹配的模式,则报警,并结束对此记录的处理;

4)在模式缓存库中搜索与X匹配的模式,在搜索的同时对缓存模式进行衰减;

若发现与X匹配的模式,则将其生命值加1,若其生命值大于τ,则向管理员发出一个增加正常模式的申请,并根据管理员反馈将X加入正常模式库,结束对此记录的处理;

5)此时X是一个新模式,根据Fn和Fi计算其正常度,若正常度小于等于θ,则报警,

并根据管理员反馈将X加入入侵模式库;若正常度大于θ,则将X加入模式缓存库,结束对此记录的处理.实验使用KDD99[12]数据集.它是MITLincoln实验室提供的1998DARPA入侵检测评估数据集的一个扩充版本.其中包括训练集(kddcup.data.gz)和测试集(corrected.gz).数据以网络连接的形式保存,每条记录含42个属性,其中7

个符号属性,34个数值属性,1个分类标号属性.

我们在实验中,训练集主要使用了一个10%的子集(kddcup.data-10-percent.gz).其中共有数据494020条,正常数据97277条,入侵数据396743条,入侵种类22种.同时为了验证系统的可伸缩性,我们也使用了训练集的全集进行了实验比较.

测试集则使用完整的corrected.gz数据集,其中共有数据311029条,正常数据60593条,入侵数据250436条,入侵种类37种,其中有17种未在训练集中出现.3.2实验过程

系统用Java编写,运行于一台IntelCoreDuo2.4GHz,1GB内存的电脑.为了避免打开大文件所消耗的磁盘读取时间,系统直接使用了训练数据和测试数据的压缩文件作为输入文件,并在系统内部解压缩后进行处理.训练数据集和测试数据集顺序一次

性流过系统.

在训练集通过时,系统处于“学习”工作方式,在学习时系统并未用到所有训练数据

的标号,只是当需要用户确认一个频繁模式是否正常时系统会自动提取此模式包含的k(实验时取k=10)个最近训练数据的标号进行判断,如果入侵数据占半数以上则认为此模式为入侵模式.

在测试集通过时,系统可以分别处于“检测”和“检测时学习”2种工作方式.如果选择“检测时学习”,系统发现新的频繁模式后会对比测试集上提供的标号来更新模式库.下面的实验如无特别声明,我们都是选择“检测”模式进行.

490

计算机研究与发展2010,47(3)

3.3数据空间划分

在学习和检测之前,首先要对数据空间进行网

格划分.我们使用第2.1节的方法,符号属性每一个不同的取值划分一个区间;数值属性划分成N个区间.为了选择合适的N,我们测试了不同的取值,并在划分结束后将10%训练集的数据进行投影,观察划分效果.结果如表1所示,其中G表示包含有实例的网格数,MG表示其中既包含正常实例又包含入侵实例的网格数及其所占比例,FS表示在MGTable1RGridding

3ROCcurvesofexperimentalresults.

图3实验结果的ROC图

表1N

G

MG

FS

可以看出,当误报率控制在2%以内时,τ的取值对检测效果影响不大,这说明系统检测能力主要是由少数频繁度比较高的模式决定的.

图4是当τ=50,θ=1.1,ε=0.0001时,模式库容量(PPS)取不同的值所获得的结果.可见随着

PPS的增加,系统的误报率明显减小,而当PPS超

3456789101112 26155306467564506322109768615109741146214874

44(1.68%)38(0.72%)37(0.79%)32(0.50%)44(0.70%)32(0.29%)49(0.57%)35(0.32%)40( 0.35%)31(0.21%)

427(0.086%)129(0.026%)190(0.038%)126(0.026%)176(0.036%)94(0.019%)185(0.037 %)100(0.020%)163(0.033%)85(0.017%)

过600时,系统性能趋于稳定

.

结果显示,这种划分方法基本上能用较少的网格将正常数据和入侵数据有效地划分开.根据训练数据集来看,当N=8时,以网格为单位确定落入此区域的实例是否正常所带来的误差为0.019%.由于KDDCUPπ99的获胜方法的检测率为91.9%,相比而言这个误差的数量级是可以接受的.因此下面的实验我们选择参数N=8对数据空间进行网格划分,并以网格为学习和检测的基本单位.3.4实验结果与分析

Fig.4Detectionresultvs.patternpoolsize.

图4模式库容量对检测结果的影响

为了减小计算复杂度PPS不必太大,但是也不能太小.当我们将PPS减小到20以下时,系统基本不能进行有效的检测了.PPS为300时的检测结果

列于表2:

Table2DetectionResultsforPPS=300

实验主要考察系统的检测率和误报率:

检测率DR(detectionrate)=检测出的异常记录数Π异常记录总数;

误报率FPR(falsepositiverate)=判断为异常的正常记录数Π判断为异常的所有记录数.

在测试时,为了尽量保持学习时得到的知识,我们取模式衰减参数ε=0.0001,模式库最大容量限制为1000.并为频繁模式阈值τ和正常度阈值θ选取了不同的值.实验结果如图3所示

:

表2PPS=300时的检测结果

θ

0.20.50.70.911.53

DR

FPR

%

90.6790.8791.0191.3291.3691.4691.62

0.230.310.380.430.441.141.83

魏小涛等:在线自适应网络异常检测系统模型与算法491

我们看到,当θ=0.9时系统检测率为91.32%,误报率为0.43%.其对不同类型的攻击检测率如表3所示:

Table3DetectionResultsofDifferentAttackTypes

300计算,系统最后共保留600个频繁模式(其中正

常模式和入侵模式各300个),只占用极少的内存

表3对不同攻击类型的检测结果

AttackType

ProbeDoSU2RR2L

DRofOANAD

%

空间.

2)系统没有用到训练集的所有标号信息.只是在分类频繁模式时查看了这些模式最近出现的10个实例进行判断,仅占训练集标号的很少部分.

3).随着模,.当我们选择“检测,,94.12%和误报率0.45%=60,θ=1.2,PPS=1000)的结果.

4)检测新入侵的能力.corrected.gz测试集含

DRofKDD99Winner

86.0897.1858.640.16

83.397.113.28.可见,U2R和

R2L.少(U2R为52条,R2L为1126条),并且这2类入侵在行为模式上多数与正常数据也比较接近.由于本系统是根据数据相似性来进行检测的,因此会出现上述检测率较低的情况,但是对于频繁出现的数据模式,如Probe和DoS攻击,系统有很高的识别率,甚至优于KDDCUPπ99获胜者.作为对比,表4列出其他方法在相同测试集上取得的结果.

Table4ComparisonwithOtherApproaches

有入侵种类37种,其中有17种未在训练集中出现,

当允许误报率为3.40%时本系统可以检测到所有17种入侵;在误报率为0.33%时可检测到11种.表5列出了其捕获的11种新入侵记录数.

Table5DetectionAbilityofNewTypeofIntrusions

表5对新入侵的检测结果

NewIntrusions

apache2httptunnel

#Total79415850001053177591673617774124062229413

#Detected267110082614185707103100020

表4其他检测方法检测结果

Approaches

KDDCUPπ99WinningentryKDDCUPπ99SecondplaceDistributedlearning[10]Average GEdIDS[11]BestGEdIDS2FPrate[11]

DR

FPR

%

mailbombmscannamedprocesstable

pssaintsendmailsnmpgetattacksnmpguess

91.94591.52591.790.58191.017

0.5460.5763.20.5650.434

虽然OANAD的检测率不是最好,但已接近

KDDCUPπ99获胜者的检测效果,而误报率是最低的,这点在异常检测中尤为重要.如果综合考虑下列因素,系统的性能是比较突出的.

1)系统是轻量级的.如果系统的正常模式库和入侵模式库的总容量是M,算法检测n 条记录的时间复杂度为O(M×n).KDDCUPπ99的获胜方法之一MP13使用PERGAMENTsoftware运行了6h完成全部计算,而我们的算法只运行了不到40s.其中学习494020条训练数据使用了不到23s;检测测试数据使用不到17s.为了进一步测试系统的性能,我们将训练集的全集输入系统进行学习,结果系统只用了277.5s 就结束了学习,其中还包括了解压缩的时间.

另外,系统的空间复杂度低,如果我们按PPS= sqlattackudpstormwormxlockxsnoopxterm

4总结

本文提出了一个在线自适应网络异常检测系统模型,它不需要特殊的训练集,它的学习模式和工作模式是统一的,能够在使用的过程中逐步学习用户的正常模式,并在每一次与用户的交流中确认入侵模式,修正检测依据.实验结果表明,系统效率很高,具有较好的检测率和满意的误报率.

492

[9]

计算机研究与发展2010,47(3)

DartiqueC,JangH,ZengW.Anewdata2miningbasedapproachfornetworkintrusiondetectio n[C]ΠΠProcofthe7thAnnualConfonCNSR.LosAlamitos,CA:IEEEComputerSociety,200 9:372-377

[10]

LiuYanheng,TianDaxin,YuXuegang,https://www.wendangku.net/doc/a410752310.html,rge2scalenetworkintrusiondetectionalgorith mbasedondistributedlearning[J].JournalofSoftware,2008,19(4):993-1003(inChinese) (刘衍珩,田大新,,基于分布式学习的大规模网

参考

[1]

文献

HeberleinL,DiasGV,LevittKN,etal.Anetworksecu ritymonitor[C]ΠΠProcofthe1990Sym ponSecurityandPrivacy.LosAlamitos,CA:IEEEComputerSociety,1990:296-304

[2]CallegariC,VatonS,PaqanoM.Anewstatisticalapproachtonetworkanomalydetection[C ]ΠΠProcofthe2008IntSymponSPECTS.LosAlamitos,CA:IEEEComputerSociety,2008:4 41-447

,2008,19(4):993-1003)

11]

CGPensemblefordistributed[C]ΠΠProcofthe3rdIntConfoninPatternRecognition.Berlin:S pringer,2005:54-62

[12]

ACM.KDDCup1999Data[OL].[2001206230].http:ΠΠhttps://www.wendangku.net/doc/a410752310.html,Πkddcup

Π

[3]TianXinguang,GaoLizhi,SunChunlai,etal.Anomalydetectionofprogrambehaviorsbase doncallshomogeneousMarkovchainmodelsResearchand,,(9):(inChinese)

(田新广,高立志,春来,等.基于系统调用和齐次Markov链模型的程序行为异常检测[J].计算机研究与发

展,2007,44(9):1538-1544)

[4]

FavaD,ByersS,YangS.Projectingcyberattacksthroughvariable2length[5]

Markov

models[J].

IEEE

TransonTwo2stage

InformationForensicsandSecurity,2008,3(3):359-

369DucD,MatsumotoK,TakishimaY,etal. incrementalworkingsetselectionforfastsupportvectortrainingonlargedatasets[C]ΠΠProco fthe2008IEEEIntConfonRIVF.LosAlamitos,CA:IEEEComputerSociety,2008:221-226[6] LatifurK,AwadM,ThuraisinghamB.Anewintrusiondetection

system

using

support

vector

machines

and

hierarchicalclustering[J].TheVLDBJournal,2007,16(4):507-521[7]

MaoGuojun,ZongDongjun.Anintrusiondetectionmodelbasedonminingmulti2dimensiond atastreams[J].JournalofComputerResearchandDevelopment,2009,46(4):602-

609(inChinese)

(毛国君,宗东军,基于多维数据流挖掘技术的入侵检测模

WeiXiaotao,bornin1971.PhD

candidate.Hismainresearchinterests

includedataminingandnetworksecurity.

魏小涛,1971年生,博士研究生,主要研究方向为数据挖掘和计算机网络安全

.

HuangHoukuan,bornin1940.ProfessorandPhDsupervisor.SeniormemberofChinaComput erFederation.

Hismain

researchfieldsincludeartificialintelligence,datamining,andmachinelearning.

黄厚宽,1940年生,教授,博士生导师,中国计算机学会高级会员,主要研究方向为人工智能、数据挖掘、机器学习等

.

TianShengfeng,https://www.wendangku.net/doc/a410752310.html,worksecurity. Hismainresearch

interestsincludeartificialintelligenceand

型与算法[J].计算机研究与发展,2009,46(4):602-609)

[8]

YasamiY,KhorsandiS,MozaffariS,etal.Anunsupervisednetworkanomalydetectionapproa chbyk2meansclustering&ID3algorithm[C]ΠΠProcofthe2008IEEESymponISCC.LosAla mitos,CA:IEEEComputerSociety,2008:398-403

田盛丰,1944年生,教授,博士生导师,主

要研究方向为人工智能和网络安全.

ResearchBackground

Withtheextensiveusageofcomputernetworks,https://www.wendangku.net/doc/a410752310.html,workintru sionscancauseseveredisruptiontonetworks.Thereforethereisanurgentneedforasolutionthat canactivelydefendnetworksagainstthegrowingsecuritythreats.Theintrusiondetectionsyste ms(IDS)canautomaticallyscannetworkactivityandrecognizeintrusionattackstoprotectcom putersagainstunauthorizedusesandmakethemsecureandresistanttointruders.Thisiswheren etworkIDScomesintooffersecurityinadditiontothatprovidedbytraditionalanti2threatapplic ationssuchasfirewalls,antivirussoftwareandspy2waredetectionsoftware.Fromthelastdeca de,misusedetectionhasbeenthedominantstrategyforIDSsforthereasonsthatitiseasiertoimpl ement.However,anomalydetectionhastheadvantageofdetectingnovelintrusionswithoutan ypriorknowledge.Thisresearchpresentsanonlineadaptivenetworkanomalydetectionsyste m.Itrunsinrealtimeanddynamicallymaintainsitsknowledgebase.Theexperimentalresultssh owsthatthislightweightedsystemachievesarelativelyhighdetectionrateandverylowfalsepo sitiverate.ThisresearchworkissupportedbytheNationalNaturalScienceFoundationofChina undergrantNo.60442002.

基于中间件的分布式网络异常检测系统

２００６年第２３卷?增刊微电子学与计算机 １引言 随着网络的发展，保证网络的安全与稳定也越来越为重要。网络异常检测是发现网络故障和安全问题进而及时解决问题的有效手段，然而网络规模的不断扩大和网络流量的不断增加使得网络异常检测面临挑战，异常检测的性能随着网络规模的扩大和网上业务的增多呈现下降趋势，如何快速有效的检测网络异常并提高检测的可靠性已成为一个研究热点。 本文引入了分布式计算的方法，设计了一种基于中间件的分布式网络异常检测系统，旨在用分布式计算的方法提高对海量网络数据的处理能力，保证检测的实时性和检测数据的可靠性。 ２网络异常检测 这里提到的网络异常的范围较大，除了正常行为以外的网络行为都可以称为网络异常。造成这些异常的原因是多种多样的，包括：网络设备故障，网路超负荷，恶意的拒绝服务攻击，以及网络入侵等影响网络运输服务的行为。网络异常大体可以分为两类：第一类是关于网络故障和性能问题，例如文件服务器故障，广播风暴，虚假节点和瞬时拥塞等等。第二类网络异常是安全相关的问题，拒绝服务攻击和网络入侵就是这方面的例子。这些异常的一个共同点就是会导致巨大的网络通信流量变化。 检测网络异常的主要思路是：先通过一个足够长的训练阶段来定义出网络正常行为，再根据网络行为偏离正常行为的程度来判定异常是否发生。我们可以通过有规律的网络数据来定义网络正常行为，但这要依赖很多特殊因素，例如网络通信流量的变化，可获得的网络数据的变化，以及网络上运行的软件种类的变动，这些都将影响对网络正常行为的描述［２］。准确地获得网络性能检测数据对于异常检测是十分重要的一步，检测数据的来源主要有：第一是通过网络探针来获得网络行为测量值；第二是基于流统计的包过滤；第三是通过路由协议获取数据；第四是通过网管协议获取数据。网络异 基于中间件的分布式网络异常检测系统 陈宁军倪桂强潘志松姜劲松 （解放军理工大学指挥自动化学院，江苏南京２１０００７） 摘要：文章介绍了网络异常的概念和思路，然后对中间件技术做了分析比较，重点提出了一种基于中间件的分布式网络异常检测系统。该系统采用ＣＯＲＢＡ实现分布式交互，能对网络异常进行分布式检测，与单点异常检测系统相比具有更高的实时性和处理数据的能力，对大型网络效果更好。本系统通过ＭＩＢ变量相关联地剧烈突变来检测异常的发生。ＣＯＲＢＡ标准定义的比较完善的安全体系结构使本系统自身的安全性得到了保证。 关键词：网络异常检测，分布式，中间件，ＣＯＲＢＡ，ＭＩＢ 中图分类号：ＴＰ３９３文献标识码：Ａ文章编号：１０００－７１８０（２００６）Ｓ０－００１５－０３ ＡＤｉｓｔｒｉｂｕｔｅｄＮｅｔｗｏｒｋＡｎｏｍａｌｙＤｅｔｅｃｔｉｎｇＳｙｓｔｅｍＢａｓｅｄｏｎ ＣＯＲＢＡ ＣＨＥＮＮｉｎｇ－ｊｕｎ，ＮＩＧｕｉ－ｑｉａｎｇ，ＰＡＮＺｈｉ－ｓｏｎｇ，ＪＩＡＮＧＪｉｎ－ｓｏｎｇ（ＣｏｌｌｅｇｅｏｆＡｕｔｏｍａｔｉｃＣｏｍｍａｎｄｉｎｇ，ＰＬＡＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｎａｎｊｉｎｇ２１０００７，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｉｓｐａｐｅｒｉｎｔｒｏｄｕｃｅｔｈｅｃｏｎｃｅｐｔａｎｄｔｈｏｕｇｈｔｏｆｎｅｔｗｏｒｋａｎｏｍａｌｙｄｅｔｅｃｔｉｏｎ，ｔｈｅｎａｎａｌｙｚｅａｎｄｃｏｍｐａｒｅｔｈｅｔｅｃｈｎｉｑｕｅｓｏｆｍｉｄｄｌｅｗａｒｅ，ａｎｄｌａｙｅｍｐｈａｓｉｓｏｎｄｅｓｉｇｎｉｎｇｏｆａｄｉｓｔｒｉｂｕｔｅｄｎｅｔｗｏｒｋａｎｏｍａｌｙｄｅｔｅｃｔｉｏｎｓｙｓｔｅｍｂａｓｅｄｏｎｍｉｄｄｌｅｗａｒｅ．ＴｈｅｓｙｓｔｅｍａｃｈｉｅｖｅｓｄｉｓｔｒｉｂｕｔｅｄｃｏｍｍｕｎｉｃａｔｉｏｎｔｈｒｏｕｇｈＣＯＲＢＡ，ａｎｄｃａｎｄｅｔｅｃｔｎｅｔｗｏｒｋａｎｏｍａｌｉｅｓｔｈｒｏｕｇｈｄｉｓｔｒｉｂｕｔｅｄｗａｙ．Ｉｔｉｓｍｏｒｅｒｅａｌ－ｔｉｍｅａｎｄｈａｓｂｅｔｔｅｒａｂｉｌｉｔｙｏｎｄａｔａｐｒｏｃｅｓｓｉｎｇｃｏｍｐａｒｅｄｗｉｔｈｓｉｎｇｌｅｐｏｉｎｔｄｅｔｅｃｔｉｏｎ，ｅｓ－ｐｅｃｉａｌｌｙｆｏｒｌａｒｇｅｎｅｔｗｏｒｋ．ＡｎｏｍａｌｙｃａｎｂｅｄｅｔｅｃｔｅｄｔｈｒｏｕｇｈｃｏｒｒｅｌａｔｅｄａｂｒｕｐｔｃｈａｎｇｅｓｏｆＭＩＢｖａｒｉａｂｌｅｓ．Ｔｈｅｗｅｌｌｄｅ－ｆｉｎｅｄｓｅｃｕｒｉｔｙｆｒａｍｅｗｏｒｋｏｆＣＯＲＢＡｈａｓｅｎｓｕｒｅｄｔｈｉｓｎｅｔｗｏｒｋａｎｏｍａｌｙｄｅｔｅｃｔｉｏｎｓｙｓｔｅｍ＇ｓｏｗｎｓｅｃｕｒｉｔｙ． Ｋｅｙｗｏｒｄｓ：Ｎｅｔｗｏｒｋａｎｏｍａｌｙｄｅｔｅｃｔｉｏｎ，Ｄｉｓｔｒｉｂｕｔｅｄ，Ｍｉｄｄｌｅｗａｒｅ，ＣＯＲＢＡ，ＭＩＢ 收稿日期：２００６－０５－２８ １５

模型参考自适应控制

10．自适应控制 严格地说，实际过程中的控制对象自身及能所处的环境都是十分复杂的，其参数会由于种种外部与内部的原因而发生变化。如，化学反应过程中的参数随环境温度和湿度的变化而变化（外部原因），化学反应速度随催化剂活性的衰减而变慢（内部原因），等等。如果实际控制对象客观存在着较强的不确定，那么，前面所述的一些基于确定性模型参数来设计控制系统的方法是不适用的。 所谓自适应控制是对于系统无法预知的变化，能自动地不断使系统保持所希望的状态。因此，一个自适应控制系统，应能在其运行过程中，通过不断地测取系统的输入、状态、输出或性能参数，逐渐地了解和掌握对象，然后根据所获得的过程信息，按一定的设计方法，作出控制决策去修正控制器的结构，参数或控制作用，以便在某种意义下，使控制效果达到最优或近似更优。目前比较成熟的自适应控制可分为两大类：模型参考自适应控制（Model Reference Adaptive Control）和自校正控制（Self-Turning）。 10.1模型参考自适应控制 10.1.1模型参考自适应控制原理 模型参考自适应控制系统的基本结构与图10.1所示： 10.1模型参考自适应控制系统 它由两个环路组成，由控制器和受控对象组成内环，这一部分称之为可调系统，由参考模型和自适应机构组成外环。实际上，该系统是在常规的反馈控制回路上再附加一个参考模型和控制器参数的自动调节回路而形成。

在该系统中，参考模型的输出或状态相当于给定一个动态性能指标，（通常，参考模型是一个响应比较好的模型），目标信号同时加在可调系统与参考模型上，通过比较受控对象与参考模型的输出或状态来得到两者之间的误差信息，按照一定的规律（自适应律）来修正控制器的参数（参数自适应）或产生一个辅助输入信号（信号综合自适应），从而使受控制对象的输出尽可能地跟随参考模型的输出。 在这个系统，当受控制对象由于外界或自身的原因系统的特性发生变化时，将导致受控对象输出与参考模型输出间误差的增大。于是，系统的自适应机构再次发生作用调整控制器的参数，使得受控对象的输出再一次趋近于参考模型的输出（即与理想的希望输出相一致）。这就是参考模型自适应控制的基本工作原理。 模型参考自适应控制设计的核心问题是怎样决定和综合自适应律，有两类方法，一类为参数最优化方法，即利用优化方法寻找一组控制器的最优参数，使与系统有关的某个评价目标，如：J=? t o e 2(t)dt ，达到最小。另一类方法是基于稳 定性理论的方法，其基本思想是保证控制器参数自适应调节过程是稳定的。如基于Lyapunov 稳定性理论的设计方法和基于Popov 超稳定理论的方法。 系统设计举例 以下通过一个设计举例说明参数最优化设计方法的具体应用。 例10.1设一受控系统的开环传递函数为W a (s)=) 1(+s s k ，其中K 可变，要求 用一参考模型自适应控制使系统得到较好的输出。 解：对于该系统，我们选其控制器为PID 控制器，而PID 控制器的参数由自适应机构来调节，参考模型选性能综合指标良好的一个二阶系统： W m (d)= 1 414.11 2 ++s s 自适应津决定的评价函数取 minJ =?t e 2 (t)dt ，e(t)为参考模型输出与对象输出的误差。 由于评价函数不能写成PID 参数的解析函数形式，因此选用单纯形法做为寻优方法。（参见有关优化设计参考文献）。 在上述分析及考虑下，可将系统表示具体结构表示如下图10.2所示。

网络异常流量检测研究

网络异常流量检测研究 摘要:异常流量检测是目前IDS入侵检测系统)研究的一个重要分支,实时异常检测的前提是能够实时,对大规模高速网络流量进行异常检测首先要面临高速流量载荷问题,由于测度、分析和存储等计算机资源的限制,无法实现全网络现流量的实时检测,因此,抽样测度技术成为高速网络流量测度的研究重点。 关键词:网络异常流量检测 一、异常流量监测基础知识 异常流量有许多可能的来源,包括新的应用系统与业务上线、计算机病毒、黑客入侵、网络蠕虫、拒绝网络服务、使用非法软件、网络设备故障、非法占用网络带宽等。网络流量异常的检测方法可以归结为以下四类:统计异常检测法、基于机器学习的异常检测方法、基于数据挖掘的异常检测法和基于神经网络的异常检测法等。用于异常检测的5种统计模型有:①操作模型。该模型假设异常可通过测量结果和指标相比较得到,指标可以根据经验或一段时间的统计平均得到。②方差。计算参数的方差,设定其置信区间,当测量值超出了置信区间的范围时表明可能存在异常。③多元模型。操作模型的扩展,通过同时分析多个参数实现检测。④马尔可夫过程模型。将每种类型事件定义为系统状态,用状态转移矩阵来表示状态的变化。若对应于发生事件的状态转移矩阵概率较小,则该事件可能是异常事件。⑤时间序列模型。将测度按时间排序,如一新事件在该时间发生的概率较低,则该事件可能是异常事件。 二、系统介绍分析与设计 本系统运行在子网连接主干网的出口处,以旁路的方式接入边界的交换设备中。从交换设备中流过的数据包,经由软件捕获,处理,分析和判断,可以对以异常流量方式出现的攻击行为告警。本系统需要检测的基本的攻击行为如下:(1)ICMP 攻击(2)TCP攻击,包括但不限于SYN Flood、RST Flood(3)IP NULL攻击(4)IP Fragmentation攻击(5)IP Private Address Space攻击(6)UDP Flood攻击(7)扫描攻击不同于以特征、规则和策略为基础的入侵检测系统(Intrusion Detection Systems),本研究着眼于建立正常情况下网络流量的模型,通过该模型,流量异常检测系统可以实时地发现所观测到的流量与正常流量模型之间的偏差。当偏差达到一定程度引发流量分配的变化时,产生系统告警(ALERT),并由网络中的其他设备来完成对攻击行为的阻断。系统的核心技术包括网络正常流量模型的获取、及对所观察流量的汇聚和分析。由于当前网络以IPv4为主体,网络通讯中的智能分布在主机上,而不是集中于网络交换设备,而在TCP/IP协议中和主机操作系统中存在大量的漏洞,况且网络的使用者的误用(misuse)也时有发生,这就使得网络正常流量模型的建立存在很大的难度。为达到保障子网的正常运行的最终目的,在本系统中,采用下列方式来建立多层次的网络流量模型: (1)会话正常行为模型。根据IP报文的五元组(源地址、源端口、目的地址、

在线自适应网络异常检测系统模型与算法(精)

计算机研究与发展 ISSN100021239ΠCN1121777ΠTP()在线自适应网络异常检测系统模型与算法 魏小涛 21黄厚宽田盛丰22(北京交通大学软件学院北京100044)(北京交通大学计算机与信息技术学院北京100044) (weixt@https://www.wendangku.net/doc/a410752310.html,) AnOnlineAdaptiveNetworkandAlgorithmWeiXiaotao1,Shengfeng2 2(SchoolofSoftware,BJiaotongUniversity,Beijing100044)(SchoolofComputerandInform ationTechnology,BeijingJiaotongUniversity,Beijing100044) Abstract TheextensiveusageofInternetandcomputernetworksmakessecurityacriticalissue.Thereisa nurgentneedfornetworkintrusiondetectionsystemswhichcanactivelydefendnetworksagain stthegrowingsecuritythreats.Inthispaper,alightweightedonlineadaptivenetworkanomalyd etectionsystemmodelispresented.Therelatedinfluencefunctionbasedanomalydetectionalg orithmisalsoprovided.Thesystemcanprocessnetworktrafficdatastreaminreal2time,gradual lybuildupitslocalnormalpatternbaseandintrusionpatternbaseunderalittlesupervisingofthea dministrator,anddynamicallyupdatethecontentsoftheknowledgebaseaccordingtothechang ingofthenetworkapplicationpatterns.Atthecheckingmode,thesystemcandetectnotonlythel earnedintrusionpatternsbutalsotheunseenintrusionpatterns.Themodelhasarelativelysimpl earchitecture,whichmakesitefficientforprocessingonlinenetworktrafficdata.Alsothedetect ingalgorithmtakeslittlecomputationaltimeandmemoryspace.ThesystemistestedontheDA RPAKDD99intrusiondetectiondatasets.Itscans10%ofthetrainingdatasetandthetestingdata setonlyonce.Within40secondsthesystemcanfinishthewholelearningandcheckingtasks.Th eexperimentalresultsshowthatthepresentedmodelachievesadetectionrateof91.32%andafal sepositiverateofonly0.43%.Itisalsocapableofdetectingnewtypeofintrusions. Keywords networkanomalydetection;onlineadaptive;influencefunction;datastream;anomalydetecti on

模型参考自适应控制

第九章 模型参考自适应控制（Model Reference Adaptive Control ）简称MRAC 介绍另一类比较成功的自适应控制系统，已有较完整的设计理论和丰富的应用成果（驾驶仪、航天、电传动、核反应堆等等）。 §9 —１MRAC 的基本概念 系统包含一个参考模型，模型动态表征了对系统动态性能的理想要求，MRAC 力求使被控系统的动态响应与模型的响应相一致。与STR 不同之处是MRAC 没有明显的辨识部分，而是通过与参考模型的比较，察觉被控对象特性的变化，具有跟踪迅速的突出优点。 设参考模型的方程为 式(9-1-1) 式(9-1-2) 被控系统的方程为 式(9-1-3) 式(9-1-4) 两者动态响应的比较结果称为广义误差,定义输出广义误差为 e = y m – y s 式(9-1-5)； X A X Br y CX m m m m m ? =+= X A B r y CX S S S S S ? =+=

状态广义误差为 ε = X m – X s 式(9-1-6)。 自适应控制的目标是使得某个与广义误差有关的自适应控制性能指标J 达到最小。J 可有不同的定义，例如单输出系统的 式 (9-1-7) 或多输出系统的 式(9-1-8) MRAC 的设计方法目的是得出自适应控制率，即沟通广义误差与被控系统可调参数间关系的算式。有两类设计方法：一类是“局部参数最优化设计方法”，目标是使得性能指标J 达到最优化；另一类是使得自适应控制系统能够确保稳定工作，称之为“稳定性理论的设计方法。 §9 —2 局部参数最优化的设计方法 一、利用梯度法的局部参数最优化的设计方法 这里要用到非线性规划最优化算法中的一种最简单的方法—— J e d t = ?20 ()ττ J e e d T t = ?()()τττ

模型参考自适应控制—MIT法

一 原理及方法 模型参考自适应系统，是用理想模型代表过程期望的动态特征，可使被控系统的特征与理想模型相一致。一般模型参考自适应控制系统的结构如图1所示。 图1 一般的模型参考自适应控制系统 其工作原理为，当外界条件发生变化或出现干扰时，被控对象的特征也会产生相应的变化，通过检测出实际系统与理想模型之间的误差，由自适应机构对可调系统的参数进行调整，补偿外界环境或其他干扰对系统的影响，逐步使性能指标达到最小值。 基于这种结构的模型参考自适应控制有很多种方案，其中由麻省理工学院科研人员首先利用局部参数最优化方法设计出世界上第一个真正意义上的自适应控制律，简称为MIT 自适应控制，其结构如图2所示。 图2 MIT 控制结构图 系统中，理想模型Km 为常数，由期望动态特性所得，被控系统中的增益Kp 在外界环境发生变化或有其他干扰出现时可能会受到影响而产生变化，从而使其动态特征发生偏离。而Kp 的变化是不可测量的，但这种特性的变化会体现在广义误差e 上，为了消除或降低由于Kp 的变化造成的影响，在系统中增加一个可调增益Kc ，来补偿Kp 的变化，自适应机构的任务即是依据误差最小指标及时调整Kc ，使得Kc 与Kp 的乘积始终与理想的Km 一致，这里使用的优化方法为最优梯度法，自适应律为： ??+=t m d y e B Kc t Kc 0)0()(τ Yp Ym e +__ + R 参考模型 调节器被控对象 适应机构 可调系统 ———kmq(s) p(s) Kc Kp q(s)-----p(s)适应律 R ym yp e +-

MIT 方法的优点在于理论简单，实施方便，动态过程总偏差小，偏差消除的速率快，而且用模拟元件就可以实现；缺点是不能保证过程的稳定性，换言之，被控对象可能会发散。 二 对象及参考模型 该实验中我们使用的对象为： 1 22) ()()(2 ++= =s s s p s q K s G p p 参考模型为： 1 21) ()()(2 ++= =s s s p s q K s G m m 用局部参数最优化方法设计一个模型参考自适应系统，设可调增益的初值Kc(0)=0.2，给定值r(t)为单位阶跃信号，即r(t)=A ×1(t)。A 取1。 三 自适应过程 将对象及参考模型离散化，采样时间取0.1s ，进而可得对象及参考模型的差分方程分别为： )2(0044.0)1(0047.0)2(8187.0)1(8079.1)(-+-+---=k r k r k y k y k y m )2(0088.0)1(0094.0)2(8187.0)1(8097.1)(-+-+---=k u k u k y k y k y p p p 其中u 为经过可调增益控制器后的信号。编程进行仿真，经大量实验发现，取修正常数B 为0.3，可得较好的动态过度过程，如下图3所示：

模型参考自适应控制—MIT法

一原理及方法 模型参考自适应系统，是用理想模型代表过程期望的动态特征，可使被控系统的特征与 理想模型相一致。一般模型参考自适应控制系统的结构如图 1所示。 其工作原理为，当外界条件发生变化或出现干扰时，被控对象的特征也会产生相应的变 化，通过检测出实际系统与理想模型之间的误差， 由自适应机构对可调系统的参数进行调整， 补偿外界环境或其他干扰对系统的影响，逐步使性能指标达到最小值。 基于这种结构的模型参考自适应控制有很多种方案，其中由麻省理工学院科研人员首先 利用局部参数最优化方法设计出世界上第一个真正意义上的自适应控制律， 简称为MIT 自适 应控制，其结构如图2所示。 图2 MIT 控制结构图 系统中，理想模型Km 为常数，由期望动态特性所得，被控系统中的增益 Kp 在外界环 境发生变化或有其他干扰出现时可能会受到影响而产生变化，从而使其动态特征发生偏离。 而Kp 的变化是不可测量的，但这种特性的变化会体现在广义误差 e 上，为了消除或降低由 于Kp 的变化造成的影响，在系统中增加一个可调增益 Kc ,来补偿Kp 的变化，自适应机构 的任务即是依据误差最小指标及时调整 Kc ,使得Kc 与Kp 的乘积始终与理想的Km 一致， 这里使用的优化方法为最优梯度法，自适应律为： t Kc(t) Kc(0) B o e y m d MIT 方法的优点在于理论简单，实施方便，动态过程总偏差小，偏差消除的速率快，而 且用模拟元件就可以实现；缺点是不能保证过程的稳定性，换言之，被控对象可能会发散 Ym R 图1 一般的模型参考自适应控制系统

对象及参考模型 该实验中我们使用的对象为： G p(s) K p q(S) P(s) 2 s22s 1 参考模型为： G m(s)K q(s) K m p(s) 1 s22s 1 用局部参数最优化方法设计一个模型参考自适应系统，设可调增益的初值Kc(0)=0.2 ,给定值r(t)为单位阶跃信号，即r(t)=A x 1(t)。A取1。 三自适应过程 将对象及参考模型离散化，采样时间取0.1s,进而可得对象及参考模型的差分方程分别为：y m(k) 1.8079 y (k 1) 0.8187y(k 2) 0.0047r(k 1) 0.0044r(k 2) y p(k) 1.8097y p(k 1) 0.8187y p(k 2) 0.0094u(k 1) 0.0088u(k 2) 其中u为经过可调增益控制器后的信号。编程进行仿真，经大量实验发现，取修正常数B为0.3，可得较好的动态过度过程，如下图3所示： input and output change af Kc change of error2 14 r 1讨1.3r- 1.2 - km 0.2r □ 18 1.2 -丨沖卜 11.1 -- □ IE 1 1 - d- a u - \1□ 12 -一 □ 8 ?■□ 9 - 0.1■ 0.6 -■0.8 -- □.oe- 07 - 0.4 -1 -□ 06- 06 --a 04■ 0.2- 1 05 -102? A - oL 0.4 ■-0 - 0 50 □50 0 50 time/seco nd tiirie/second time/so CDrd 图3仿真结果 由图3中第一个图形可以看出，在阶跃扰动后，经过一段时间对象的输出完全跟踪上了 理想模型的值，系统最终趋于稳定；由第二个图可以看出，当系统稳定后，Kp*Kc等于Km，

基于RBFNN的直接模型参考自适应控制

自动化专业综合设计报告 设计题目： 基于RBFNN的直接模型参考自适应控制所在实验室：matlab仿真实验室 指导教师：杜 学生姓名 班级文自112-2 学号201190 成绩评定：

仿真截图

三角输入 clear all; close all; u_1=0; y_1=0; ym_1=0; x=[0,0,0]'; c=[-3 -2 -1 1 2 3; -3 -2 -1 1 2 3; -3 -2 -1 1 2 3]; b=2*ones(6,1); w=[ 0.8283 0.3887 -0.8872 -0.3668 0.8233 0.8274]; xite=0.45; alfa=0.05; h=[0,0,0,0,0,0]'; c_1=c;c_2=c; b_1=b;b_2=b; w_1=w;w_2=w; ts=0.001; for k=1:1:4000 time(k)=k*ts; r(k)=0.2*sawtooth(2*pi*k*ts,0.5); ym(k)=0.6*ym_1+r(k); y(k)=(-0.1*y_1+u_1)/(1+y_1^2); %Nonlinear plant for j=1:1:6 h(j)=exp(-norm(x-c(:,j))^2/(2*b(j)*b(j))); end u(k)=w'*h; ec(k)=ym(k)-y(k); dyu(k)=sign((y(k)-y_1)/(u(k)-u_1)); d_w=0*w; for j=1:1:6 d_w(j)=xite*ec(k)*h(j)*dyu(k); end w=w_1+d_w+alfa*(w_1-w_2); d_b=0*b; for j=1:1:6 d_b(j)=xite*ec(k)*w(j)*h(j)*(b(j)^-3)*norm(x-c(:,j))^2*dyu(k); end

自适应作业2--模型参考自适应系统的设计

自适应控制 作业二：模型参考自适应系统(MRAS) 姓名： 学号： Tasks a) Under what circumstances does the model have the property of perfect following? 原系统： y ay bu ? =-+ 参考模型： y a y b u m m m m c ? =-+ 控制信号为：12 u y c θθ-u= 我们总是希望原系统的输出y 能跟参考模型的输出y m 一致，即希望y 与y m 有如下关系式： y y m y y m ?? =???= ?? 那么，将12 u y c θθ-u=代入到y ay bu ? =-+中，再让y y m ? ? =可得： () )1221 y ay bu ay b u y a b y b u c c θθθθ? =-+=-+-=-++（ a y b u y m m m c ? =-+= 若要上式成立，只需要令 /11()/2 2b b b b m m a b a a a b m m θθθθ==??????? +==-???? 所以当选择/1()/2 b b m a a b m θθ=???=-??时，参考模型和原系统的输入输出关系是完全一样的。 b) Design an adaption law using MIT rule so that the error between plant output and model output goes to zero. Draw a block diagram of such MRAS design scheme. Tracking error ： e y y m =- Choose cost function : 2 1()()2J e θθ= Update rule : d J e e dt θδδγγδθδθ =-=- 对于此系统：)21 y a y b u m m m m c y a b y b u c θθ? ??=-+???=-++?（ 可见θ仅与y 有关，与y m 无关。

第八章模型参考自适应控制(ModelReferenceAdaptiveControl)简称MRAC

第九章模型参考自适应控制(Model Reference Adaptive Control )简称MRAC 介绍另一类比较成功的自适应控制系统，已有较完整的设计理论和丰富的应用成果(驾驶仪、航天、电传动、核反应堆等等) 。 § 9—1 MRAC的基本概念 系统包含一个参考模型，模型动态表征了对系统动态性能的理 想要求，MRAC力求使被控系统的动态响应与模型的响应相一致。 与STR不同之处是MRAC没有明显的辨识部分，而是通过与参考模 型的比较，察觉被控对象特性的变化，具有跟踪迅速的突出优点。设参考模型的方程为 * X m~ A m X m Br式(9-1-1) y m = CX m 式(9-1-2) 被控系统的方程为 ■ X s A s B s r式(9-1-3) y s - CX s 式(9-1-4) 两者动态响应的比较结果称为广义误差，定义输出广义误差为 e = y m -y s 式(9-1-5)； 状态广义误差为

:=X m — s 式(9-1-6)。 自适应控制的目标是使得某个与广义误差有关的自适应控制性能指标J达到最小。J可有不同的定义，例如单输出系统的 J —；e2( )d 式(9-1-7) 或多输出系统的 t T J 二e T( )e( )d 式(9-1-8) MRAC的设计方法目的是得出自适应控制率，即沟通广义误差与被控系统可调参数间关系的算式。有两类设计方法：一类是“局部参数最优化设计方法”，目标是使得性能指标J达到最优化；另一类是使得自适应控制系统能够确保稳定工作，称之为“稳定性理论的设计方法。 § 9 —2局部参数最优化的设计方法 一、利用梯度法的局部参数最优化的设计方法 这里要用到非线性规划最优化算法中的一种最简单的方法梯度法(Gradient Method )。 1. 梯度法

模型参考自适应控制

模型参考自适应控制 Document serial number【LGGKGB-LGG98YT-LGGT8CB-LGUT-

10．自适应控制 严格地说，实际过程中的控制对象自身及能所处的环境都是十分复杂的，其参数会由于种种外部与内部的原因而发生变化。如，化学反应过程中的参数随环境温度和湿度的变化而变化（外部原因），化学反应速度随催化剂活性的衰减而变慢（内部原因），等等。如果实际控制对象客观存在着较强的不确定，那么，前面所述的一些基于确定性模型参数来设计控制系统的方法是不适用的。 所谓自适应控制是对于系统无法预知的变化，能自动地不断使系统保持所希望的状态。因此，一个自适应控制系统，应能在其运行过程中，通过不断地测取系统的输入、状态、输出或性能参数，逐渐地了解和掌握对象，然后根据所获得的过程信息，按一定的设计方法，作出控制决策去修正控制器的结构，参数或控制作用，以便在某种意义下，使控制效果达到最优或近似更优。目前比较成熟的自适应控制可分为两大类：模型参考自适应控制（Model Reference Adaptive Control）和自校正控制（Self-Turning）。 模型参考自适应控制 10.1.1模型参考自适应控制原理

模型参考自适应控制系统的基本结构与图所示： 模型参考自适应控制系统 它由两个环路组成，由控制器和受控对象组成内环，这一部分称之为可调系统，由参考模型和自适应机构组成外环。实际上，该系统是在常规的反馈控制回路上再附加一个参考模型和控制器参数的自动调节回路而形成。 在该系统中，参考模型的输出或状态相当于给定一个动态性能指标，（通常，参考模型是一个响应比较好的模型），目标信号同时加在可调系统与参考模型上，通过比较受控对象与参考模型的输出或状态来得到两者之间的误差信息，按照一定的规律（自适应律）来修正控制器的参数（参数自适应）或产生一个辅助输入信号（信号综合自适应），从而使受控制对象的输出尽可能地跟随参考模型的输出。 在这个系统，当受控制对象由于外界或自身的原因系统的特性发生变化时，将导致受控对象输出与参考模型输出间误差的增大。于是，系统的自适应机构再次发生作用调整控制器的参数，使得受控对象的输出再一次趋近于参考模型的输出（即与理想的希望输出相一致）。这就是参考模型自适应控制的基本工作原理。