文档库

最新最全的文档下载
当前位置:文档库 > 神经网络的两种结构优化算法研究

神经网络的两种结构优化算法研究

文章编号:1002 0411(2006)06 0700 05

神经网络的两种结构优化算法研究

杨慧中,王伟娜,丁 锋

(江南大学控制科学与工程研究中心,江苏无锡 214122)

摘 要:提出了一种基于权值拟熵的 剪枝算法与权值敏感度相结合的新方法,在 剪枝算法中将权值拟熵作为惩罚项加入目标函数中,使多层前向神经网络在学习过程中自动约束权值分布,并以权值敏感度作为简化标准,避免了单纯依赖权值大小剪枝的随机性.同时,又针对剪枝算法在优化多输入多输出网络过程中计算量大、效率不高的问题,提出了一种在级联!相关(cascade corre l ation,CC)算法的基础上从适当的网络结构开始对网络进行构建的快速 构造算法.仿真结果表明这种快速构造算法在收敛速度、运行效率乃至泛化性能上都更胜一筹.*

关键词:神经网络结构优化;剪枝算法;权值拟熵;权值敏感度;快速构造算法;泛化性能

中图分类号:T P183 文献标识码:A

Two Structure Opti m ization A lgorith m s for N eural N et works

YANG H ui zhong,WANG W ei na,D I N G Feng

(R esearch C e n ter of C on t rol Science and E ng i n ee ring,Sou thern Yang tze Un i versit y,W uxi214122,Ch i na) Ab stract:B ased on pseudo entropy of we i ghts,a new m e t hod is proposed to integ ra te pruning a l gor it hm w it h sensiti v ity we i ghts.T he prun i ng algor i th m i n troduces the pseudo entropy o f we i ghts as a pena lt y ter m i nto t he no r m al ob jecti ve function,and the d i str i bution of we i ghts is auto m aticall y constra i ned by a mu ltilay er feed fo r wa rd neura l ne t work duri ng the tra i n i ng process.The we ight sensitiv it y is served as t he si m plifi cation cr iter i a o f pruning to avo id t he prun i ng random i c ity caused by on l y us i ng t he we i ghts.M eanwh ile,for the prob le m s of heavy co m puta tion burden and l ow effic i ency o f prun i ng algor it h m in opti m izi ng the m ulti i nput and mu lti output ne t w orks,a fast constructi ve algo r it h m is put forwa rd,wh ich i s based on t he Cascade Co rre lati on(CC)a l gor it hm and construc ts the new neura l ne t work fro m a proper net w ork structure.T he s i m u l ation resu lts sho w t hat t h is fast constructi ve a l go rith m is a be tter cho ice in ter m s o f convergence rate,com putationa l efficiency and even gene ra liza tion perfor m ance.

K ey words:neu ra l net wo rk structure opti m ization;prun i ng algorith m;pseudo entropy o f we i ghts;w e i ght sensi tivity;fast constructi ve a l go rith m;genera li za ti on perfor m ance

1 引言(Introduction)

人工神经网络以其较强的非线性映射能力和自学习能力而得到广泛的应用.对于一个特定的问题而言,选择适当的网络结构以确保较好的泛化能力是神经网络得以应用的关键.一般认为,当网络的自由度较大时,更容易产生过拟合现象,在保证能完成学习任务的条件下,保持较小的网络结构将有助于提高网络的泛化性能.

剪枝算法是一种避免以上问题的直观有效的方法,它先从一个足够大的网络开始,待其训练收敛后减去冗余权值,并重新训练和测试网络,直至得到能满足精度的最小的网络结构.剪枝算法一般可分为两大类:惩罚项法[1,2]和敏感度分析法[3,4].本文首先在比较两种剪枝方法优缺点的基础上提出一种基于权值拟熵的剪枝算法,将权值拟熵作为惩罚项对训练中权值的分布进行控制,待训练结束后以各权值的敏感度作为简化标准,从而达到优化网络结构的目的.

在剪枝算法中,为了保证算法最终得到满意的效果,初始网络一般选定一个比较大的结构,然后根据各权值或节点的敏感度逐步减小网络结构,所以

第35卷第6期2006年12月 信息与控制

Infor m a tion and Contro l

V o.l35,N o.6

Dec.,2006

*

收稿日期:2005-07-11

基金项目:国家自然科学基金资助项目(60574051)