文档库 最新最全的文档下载
当前位置:文档库 › 基于自由搜索的LSSVM在墒情预测中的应用

基于自由搜索的LSSVM在墒情预测中的应用

第30卷第2期2010年2月

系统工程理论与实践

SystemsEngineering—Theory&Practice

V01.30,No.2

Feb.,2010

文章编号:1000-6788(2010)02-0201—06中图分类号:¥274.3文献标志码:A

基于自由搜索的LS.SVM在墒情预测中的应用

张展羽t,一,陈子平t,一,王斌3,李新虎?,2

(1.河海大学南方地区高效灌排与农业水土环境教育部重点实验室,南京210098;2.河海大学水利水电学院,南京210098;

3.东北农业大学水利与建筑学院,哈尔滨150030)

摘要为有效地利用墒情监测资料预测未来墒情,考虑支持向量机的结构风险最小化准则和自由搜索算法良好的全局优化特点,应用最小二乘支持向量机方法,构造了优化目标函数,引入自由搜索算法对该目标函数寻优从而辨识模型参数,建立了预测墒情的最小二乘支持向量机(LS—SVM)模型.实例分析表明,支持向量机方法对墒情序列的平稳性要求不高,且模型易于实现,与传统的时间序列模型以及基于粒子群算法和鱼群算法的LS—SVM模型相比,基于自由搜索算法的LS.SVM模型具有较好的模拟及预测精度,相对误差小于15%的模拟值及预测值分别达到了100%和94.4%.关键词时间序列分析;支持向量机;自由搜索;粒子群算法;鱼群算法

SoilmoisturecontentseriespredictionbasedonLS--SVM

withinfreesearch

ZHANGZhan-yul,-,CHENZi-pin91,一,WANGBin3,LIXin-hul,2

(1.KeyLaboratoryofEfficientIrrigation-DrainageandAgriculturalSoil-WaterEnvironmentinSouthernChina,MinistryofEducation,HohaiUniversity,Nmajing210098,China;2.CollegeofWaterConservancyandHydropowerEngineering,HohaiUniversity,Nanjing210098,China;3.CollegeofWaterConservancyandBuildingEngineering,NortheastAgricultural

University,Harbin150030,China)

AbstractBasedonthestructureriskminimumcfitedonofsupportvectormachine(SVM)andtheglobaloptimizationcharacteristicoffreesearchalgorithm(FS),theleastsquare-SVM(LS—SVM)isappUedtoestablishthemodelforpredictingthesoilmoisturecontent,andFSisusedtooptimizetheparametersofthemodel.Theapplicationshowsthatthemodelisbetterthanthemodelsbasedonparticleswarlnoptimization(PSO),fishSwarmalgorithm(FSA)andtimeseriesanalysis(TSA)method,itpossessestheadvantageofhighaccuracyofforecastingandhighabilityofgeneralization.Thecalculationresultshowsthatthesoilmoisturecontentpredictedbythismodelisacceptable.Themaximumrelativeerrorwhichissmallthan15%betweensimulationandobservationvalueare100%。forthepredictedandobservationvalueare94.4%.

Keywordstimeseriesanalysis;supportvectormachines;beesearch;particleswarinoptimization;fishswarmalgorithm

1引言

Vapnik等人于1995年提出的支持向量机(Supportvectormachines,SVM)是在有限样本条件下对统计学习理论中的VC维和结构风险最小化原理的具体实现,与传统的机器学习方法相比,SVM以结构风险最小化准则代替了传统的经验风险最小化准则,求解的是一个二次型寻优问题,从理论上说得到的将是全局最优点,解决了传统机器学习方法中无法避免的局部极值问题,表现出了很多优于已有机器学习方法的性能[1-2】.与Vapnik的支持向量机不同,由Suykens和Vandewalle提出的最tJ、--乘支持向量机(Leastsquaresupport

收稿日期:2009-06-03

基金项目:国家自然科学基金(50839002)

作者简介:张展羽(1957-),男,江苏泰兴入,教授,博士生导师,E-mail:zhanyuQhhu.edu.cn.

系统工程理论与实践

第30卷vectormachines,LS—SVM)是标准SVM的一种扩展【3J.与以往SVM采用二次规划求解不同,LS—SVM采用最小二乘线性系统作为损失函数,用等式约束代替不等式约束,使求解过程仅仅变成了解一组等式方程,从而避免了耗时的二次规划问题,并且LS—SVM不再需要指定不敏感损失函数.

农田土壤水动态及其转化是降水、地表水、土壤水、地下水转化过程中的中一5-环节,对于水土资源的可持续利用和农业生产的可持续发展有着重大的理论和实践意义.由于受多种因素的影响,在气候变迁、生态环境变化、季节交替、作物生长周期、天气情况以及一些随机因素的综合作用下,墒情随时间的变化会呈现出一定的趋势性、周期性和随机性,这种变化规律一般可用时间序列模型描述[4-8】.本文充分利用LS.SVM的优点和自由搜索(Freesearch,Fs)【9】算法良好的全局优化特点,建立基于FS的LS.SVM模型预测墒情,并与传统的时间序列模型以及基于其它智能算法的LS—SVM模型相比较,以期为预测墒情提供一种简便和预测精度更高的方法.

2墒情预测的LS-SVM模型

引入LS—SVM回归算法建立墒情序列预测模型,设墒情序列训练样本集为

(pl,01),(口2,p2),…,(巩,∞,…,(如,0n)(1)

式中:n为训练样本容量,i=1,2,…,佗;巩为墒情序列第i个样本输出值;瓦为与巩对应的墒情序列第i个样本输入值.则LS.SVM回归算法优化问题变为

珊J(w'6'∽2圭矿∞+壶7∑et2

(2)s.t.Odwl‘妒(巩)+b】=1一ei,i=1,2,…,n式中:W、b分别为判决函数,(-)=WT妒(百)+b的权向量和阈值;7为正则化参数;妒(?)为将墒情序列训练数

据集映射到高维空间的非线性函数;et为允许错分的松驰变量.相应的Lagrange函数为L。(伽'6,吼;Qi)=J(w,b,et)一芝二Qt{adwT妒(劢+6】一1+ei}

(3)

t=1式中:啦为Lagrange乘子,Qi∈兄求L。关于W、b、ei和Qi的偏导,并令其为0,有

一W=∑啦巩妒(劢

n任1

一p¨。(4)_at27ei,i=1,2,…,,l

_巩[叫T妒(瓦)+6l一1+ei=0,

t=1,2,…,n式(4)可以转化为求解下面的线性方程式J

00

00

0ZY0——ZT0—.yT1I—I,0叫beQ

(5)式中:Z=陋(万)T01;妒(万)T口2;…;妒(瓦)T%】;Y=【口1;口2;…;p。】;f=【1;1;…;1】;e=【el;e2;…;en】;Q=b1;a2;…;n。】.上式也可以表蚕为

.,.,.1。zzi;:一。JIIQ

bYl=l呈Ic6,lzzT+,y一1JIIQI—lrlr7

由于满足Mercer条件的对称函数即可作为核函数111,由矩阵力=ZZT,得

亿J=吼易妒(瓦)T妒(丐)=吼易K(瓦,万)

(7)式中:K(玩,否f)为SVM的核函数,常用的核函数主要有线性核函数、多项式核函数、径向基(RBF)核函数、

两层神经网络(Sigmoid)核函数等.本文选择式(8)的径向基函数作为LS—SVM的核函数【2】,

K(Y,砑=exp[一ll百一瓦Il。/盯2】

(8)

式中:盯为径向基函数的核宽度.00

O0|I===%面%百‰一钯一c{}

第2期张展羽,等:基于自由搜索的LS—SVM在墒情预测中的应用2033基于FreeSearch的LS-SVM参数优化求解

3.1SVM参数优化的典型算法

正则化参数、不敏感损失函数以及核函数对SVM算法起着非常重要的作用,这些参数的优化调整仍是SVM应用研究的—个重点.对于LS—SVM,当选择径向基函数为核函数时,只需要调整正则化参数7和核宽度参数or,因而这两个参数在很大程度上决定了LS-SVM的学习能力和泛化性能[10-ll】.然而7和or对LS—SVM性能的影响在理论上没有必然的联系,所以7和盯的取值成为—个难题,在实际应用中并没有切实可行的调节方法【1l】.

文献[10]、文献[12】分别通过交叉验证和自适应的方法对SVM参数进行优化选择,文献【13】将贝叶斯证据框架应用于LS-SVM模型参数的选择,与其他传统方法相比,该方法能够实现正则化参数的自动选择,而不用将数据进行交叉验证.在应用智能优化算法方面,文献【14】采用遗传算法对SVM参数进行寻优,避免了对参数的反复试凑过程,自动实现了参数选择,提高了SVM的泛化能力;文献f15】采用改进的人工鱼群算法将特征选择、加权系数、SVM参数进行并行优化的方法,仿真结果表明并行优化能够在更短的时间内进行最有效的故障特征提取,并且提高了SVM的性能,改进人工鱼群算法能够以更快的速度达到最终的优化结果.文献【11]使用遗传算法和粒子群算法进行的参数寻优,也取得了满足实际工程需要的较好的仿真效果.在求解SVM参数时,上述各种典型算法均取得了一定的阶段性研究成果,相对而言,智能算法能够以比试凑法更高效率地向最优值逼近.

针对同—个优化问题,不同算法会得到不同优化结果的现实表明,实际问题往往还“有优可寻”,此时算法的有效性将显得尤为重要,因此,如何将各种先进的算法引入到SVM参数寻优中仍将是SVM研究的一大热点.FS是由Penev和Littlefair提出的一种算法,也是一种基于群体的优化方法,且具有良好的寻优能力【9】.在Fs的概念模型中,动物群体凭借多次的离散运动通过多维搜索空间,在搜索过程中动物个体采取探查行走的方式,这种探查行走的目的是为了发现—个自己喜好的位置,在实际优化问题中即发现了目标函数的一个较好的解.FS算法原理简单,需要用户确定的参数不多,用它求解上述问题十分简便和有效.本文以LS-SVM对输入训练样本的识别率最高(预测误差平方和最小)为目标,应用FS对7和盯进行优化选择,FS的具体算法可参见文献[16_l7】.

3.2基于FreeSearch的优化目标函数建立?

设FS中动物个体每步探查行走的位置向母对应L孓SVM的模型参数,y和吼则动物个体每步的探查行走即确定了一组,y和盯,亦即确定了—个初始的LS-SVM模型.对于这样的一个LS-SVM模型,首先舍去一对输入输出样本,用余下的n一1对样本作为训练样本集建模,再把舍去的第i个输入样本点带入训练好的LS-SVM模型,得到第i个输出样本点,即模型的预测值巩,重复这种测试,便能得到每个动物每步探查时所确定LS-SVM模型的预测误差平方和Q=∑:I(0i一鲫2.通过FS算法的迭代运算,最后便确定一组最优的1和口.定义的优化目标函数(即适应度函数)为

rainQ=>:(0i一0i)2(9)

t=1

式中:反为LS-SVM模型对第i个输入样本点的预测值.可见,经过上述对目标函数的定义及处理,基于FS的LS.SVM模型可以在训练的同时兼顾到模型的预测性能,模型详细求解步骤见图1.

开始

FS迭代产生y和口

LS—SVM进行训练和学习

计算适应度函数值,检

验LS.SVM预测性能

是否满足要求

输出寻优得到的适应度函数值对应

的LS-SVM模型参数y和口

结束

FS算法

继续探

查搜索,

更新动

物个体

位置

圈1基于F8的LS一8VM墒情

预测模型求解步骤

4模型应用与分析

应用某灌区墒情监测站2001—2006年旬墒情观测序列(10cm深度处的土壤含水量)建立墒情预测模型并检验模型的预测效果,其中2005年以前各旬墒情数据作为建模样本,2006年36旬墒情数据作为检验样

系统工程理论与实践第30卷

本.为了定量评价各种模型的预测精度,采用平均绝对误差MAE以及均方根误差RMSE作为对预测结果的评估依据,MAE和RMSE计算公式如下:

MAE=砑1三M卜^ml(10)

RMSE=

上述两式中:m为墒情预测样本数,讯=1,2,…,M;移。为墒情实测值,%;‰为墒情预测值,%.为比较不同智能算法对LS-SVM模型参数的寻优效果,基于上述FS求解LS—SVM模型参数过程以及定义的目标函数,本文另选用粒子群算法(Particleswarmoptimization,PSO)鱼群算法(Fishswarmalgorithm,FSA)作为与FS相比较的算法,分别建立了基于PSO和FSA的LS—SVM模型,PSO和FSA算法的具体求解过程可参见文献[18—20】.此外,还建立了式(12)的墒情时间序列加法模型,作为比较各种模型模拟及预测结果的参考基准.

Ot=阢+St+冗t+岛(12)

式中:t为墒情序列长度,t=1,2,…,jfl;巩为某点某深度处(或某土层内)的墒情序列(当t固定时,吼即为t时刻的墒情);ut为墒情的趋势项;&为墒情的周期项;忍为墒情的随机项;鼠为墒情的白噪声项.在n=o.05的显著水平下,将墒情序列的趋势项(本文墒情序列无显著趋势项)和周期项(本文采用谐波分析方法)提取后,剩余序列通过了平稳性、周期性、零均值和正态性等检验.对剩余的随机成分分析结果表明,每旬的墒情与前面1、2、6、9、14、15、16、17、26个旬的墒情相关性较强.因此,描述墒情序列随机成分的自回归模型阶数定为26,并且自回归模型通过了检验,即在o=o.05的显著水平下,墒情序列最后剩余的白噪声项通过了独立性检验.将估计周期项的有效谐波函数模型与自回归模型相加后便得到预测墒情序列的时间序列加法模型.

由于三种智能算法的具体参数不完全相同,为使不同算法的应用前提基本一致,这里将种群的规模均设为20,迭代次数均设为200次.根据上面介绍的LS—SVM建模求解过程以及时间序列方法建模中墒情序列的自相关分析结果,直接选择每旬墒情0i以及与其相关性较强的前面若干旬墒情数据0t构成对应的训练样本序列,即将当前旬墒情数据作为输出样本,再将该旬墒情前面的1、2、6、9、14、15、16、17、26旬的墒情数据作为输入样本,从而构成训练样本集,不需要对原始墒情序列进行提取趋势项和周期项等操作.PSO、FSA、FS三种算法最后寻优得到的LS—SVM模型参数(-y,仃)分别为(41.7621,11.4565)、(39.6068,10.8913)、(40.2095,10.9231),4种模型的预测结果见表1,预测效果见图2,模型模拟值及预测值的合格率(即模拟值及预测值的相对误差绝对值小于等于某指定百分数的百分率)见表2.

表1四种模型的预测精度

模型类别时间序列加法模型基于PSO的LS-SVM模型基于FSA的LS.SVM模型基于FS的LS—SVM模型

合格率/%堕塑壁型!!鲨苎型苎三!!竺竺兰!:!∑竺堡型苎三!!全竺!兰!∑竺苎型苎三!!竺兰!:!∑竺堡型模拟值预测值模拟值预测值模拟值预测值模拟值预测值

从图2可以看出,4种模型的预测值与实测值吻合情况较好,均能基本满足实际工作的需要.由表2可见:对于时间序列加法模型,有96.1%1雏J模拟值和91.7%的预测值在相对误差15%以内;基于自由搜索算法的LS-SVM模型,有94.4%的预测值在相对误差15%以内;而基于三种智能算法的LS—SVM模型的模拟值

第2期张展羽,等:基于自由搜索的LS—SVM在墒情预测中的应用205

在相对误差15%以内的合格率均这到了100%.因此,从总体上看,基于三种智能算法的LS—SVM模型的模拟及预测效果均优于时间序列加法模型,尤其模拟效果均明显优于后者,这是由于SVM能良好地逼近函数的性能决定的;基于PSO和FSA的LS-SVM模型的模拟及预测结果相近,而基于FS的LS—SVM模型的模拟及预测结果更好,FS表现出了良好的优化性能.

26.0

24.0

22.0

磐20.0

18.O

16.0

14.0

l3579ll131517192123252729313335

时问(旬)

图2四种模型的预测效果图

5结论

根据长期墒情序列动态变化的特点,建立了基于FS的LS—SVM模型预测墒情,并与传统的时间序列模型以及基于粒子群算法和鱼群算法的LS—SVM模型进行比较.研究结果表明,上述模型均能以较高的精度模拟和预测墒情在长时期内的动态变化过程;LS—SVM模型的模拟及预测精度高于时间序列加法模型,基于FS的LS-SVM模型的模拟及预测效果最好.虽然SVM方法及其原理不如时间序列方法直观,但SVM建模的实际操作简单,全部过程可以由设计好的程序自动执行,不需人工干预,对序列的平稳性要求不高;相对而言,时间序列方法的成分提取及模型定阶等过程需要分步执行,人工判别步骤较多.因而,在实践中可采取两种预测方法相互验证的做法,以相互校核从而提高墒情预测结果的准确性.

参考文献

【1】张学工,译.统计学习理论的本质【M】.北京:清华大学出版社,2000.

G.NatureofStatisticalLeaningTheory[M].Beijing:TsinghuaUniversityPress,2000.ZhangX

【2】张学工.关于统计学习理论与支持向量机【J].自动化学报,2000,26(1):32-42.

ZhangXG.Introdutiontostatisticallearningtheoryandsupportvectormachines[J].ActaAutomaticaSinica,2000,26(1):32-42.

【3】SuykensJAK,VandewalleJ.Leastsquaressupportvectormachinesclassifiers[J].NeuralProcessingLetters,1999,9(3):293-300.

[41康绍忠.土壤水分动态的随机模拟研究【J】.土壤学报,1990,27(1):17.24.

KangSZ.Stochasticmodefingofdynamicprocessofsoilmoisture[J].ActaPedologicaSinica,1990,27(1):1弘24.[5】刘洪斌,武伟,魏朝富,等.AR模型在土壤水分动态模拟中的应用【J】.山地学报,2004,22(1):121-125.LiuHB,WuW,WeiCF,eta1.Soilwaterdynamicssimulationbyautoregressionmodels[J].JournalofMountainResearch,2004,22(1):121—125.

『61门宝辉.SPAC理论及其在川中丘陵区节水农业中的应用研究[D】.成都:四川大学,2004.

MenBH.SPACtheoryresearchanditsapplicationonsavingwateragricultureinhillregionofSichuanmiddlepart[D1.Chengdu:SichuanUniversity,2004.

【7】杨绍辉,壬一鸣,郭正琴,等.ARIMA模型预测土壤墒情研究[J].干旱地区农业研究,2006,24(2):114-118.

H,WangYM,GuoZQ,eta1.ResearchonsoilmoistureforecastbasedonAtUMAmodel[J].AgriculturalYangS

ResearchintheAridAreas,2006,24(2):114-118.

【8】张和喜,杨静,方小宇,等.时间序列分析在土壤墒情预测中的应用研究【J】.水土保持研究,2008,15(4):82-84.

moistureforecast[J].ResearchofZhangHX,YangJ,FangXY,eta1.Applicationoftimeseriesanalysisinsoil

SoilandWaterConservation,2008,15(4):82-84.

f91PenevK,LittlefairG.Freesearch—Acomparativeanalysis[J].InformationSciences,2005,172:173-193.

系统工程理论与实践第30卷

【10】蔡冬松,靖继鹏.基于最小二乘支持向量机的数据挖掘应用研究(J].情报科学,2005,23(12):1877-1880.

CaiDS,JingJP.Dataminingbasedonleastsquaressupportvectormachines[J].InformationScience,2005,23(12):1877-1880.

[11】陈帅,朱建宁,潘俊,等.最小二乘支持向量机的参数优化及其应用【J】.华东理工大学学报:自然科学版,2008,34(2):

278—282.

ChenS,ZhuJN,PanJ,eta1.ParametersoptimizationofLS.SVManditsapplication[J].JournalofEastChinaUniversityofScienceandTechnology:NaturalScienceEdition,2008,34(2):278-282.

【12]刘涵,刘丁,李琦.基于支持向量机的混沌时间序列非线性预测[J】.系统工程理论与实践,2005,25(9):94—99.

LiuH,LiuD,LiQ.Chaotictimeseries

nonlinearpredictionbasedonsupportvectormachines[J].SystemsEngineering—Theo&,,25(9):.

.ryPractice200594-99

[13】李正欣,赵林度.基于贝叶斯框架下LS.SVM的时间序列预测模型[J】.系统工程理论与实践,2007,27(5):142—146.

“ZX,ZhaoLD.TimeseriespredictionbasedonLS.SVMwithintheBayesian矗amework[J1.SystemsEngi-neering—Theory&Practice,2007,27(5):142—146.

【14】司春棣,练继建,郑杨.土石坝渗流安全监测的遗传支持向量机方法【J】.水利学报,2007,38(11):1341—1346.

SiCD.LianJJ.ZhengY.Geneticsupportvectormachinemodelforseepagesafetymonitoringofearth.rockdams[JI.Journal

ofHydraulicEngineering,2007,38(111:1341—1346.【15】刘胜,江娜.基于SVM的故障预报中的并行优化仿真研究[J】.系统仿真学报,2008,20(13):3445-3448.LiuS,JiangN.ResearchonparalleloptimizationsimulationoffaultpredictionbasedonSVM[J1.JournalotSystemSimulation,2008,20(13):3445—3448.

[16】王斌,张展羽,张国华,等.一种新的优化灌溉制度算法一自由搜索【J】.水科学进展,2008,(5):736-741.

WangB,ZhangZY,ZhangGH,eta1.Freesearch:Anovelalgorithmforoptimizingirrigationschedule[J].

AdvancesinWaterScience,2008,(5):736-741.

[171王斌,张展羽,张国华,等.基于自由搜索的灌区优化配水模型研究【J】.水利学报,2008,39(11):1239-1243.

WangB,ZhangZY,ZhangGH,eta1.Optimizedwaterrationingmodelbasedonfreesearchforirrigationdistrict[J1.Journal

ofHydraulicEngineering,2008,39(11):1239-1243.【18]张展羽,高玉芳,李龙昌,等.沿海缺水灌区水资源优化调配耦合模型[J】.水利学报,2006,37(10):1246-1252.ZhangZY,GaoYF,LiLC,eta1.Optimalutilizationofwaterresourceincoastalwater-deficientirrigationregion[J].JournalofHydraulicEngineering,2006,37(10):1246-1252.

[19】高玉芳,张展羽.混沌人工鱼群算法及其在灌区优化配水中的应用【J】.农业工程学报,2007,23(6):7_11.

GaoYF,ZhangZY.Chaoticartificialfish-swarmalgorithmanditsapplicationinwateruseoptimization

inirrigatedareas[J1。TransactionsoftheChineseSocietyofAgriculturalEngineering,2007,23f6):7-11.

【20】张国华,张展羽,邵光成,等.基于粒子群优化算法的灌溉渠道配水优化模型研究[J】.水利学报,2006,37(8):1004-1008.

ZhangGH,ZhangZY,ShaoGC,eta1.Optimizationmodelfordischargedistributionofirrigationchannels?basedonparticleswal'nloptimizer[J].JournalofHydraulicEngineering,2006,37(8):1004-1008.

相关文档
相关文档 最新文档