非光滑凸优化问题的二层递归神经网络(英文翻译)
递归神经网络
递归神经网络概述 一、引言 人工神经网络的发展历史己有60多年，是采用物理可实现的系统模仿人脑神经细胞的结构和功能，是在神经生理学和神经解剖学的基础上，利用电子技术、光学技术等模拟生物神经网络的结构和功能原理而发展起来的一门新兴的边缘交叉学科，(下面简称为神经网络，NeuralNetwork)。这些学科相互结合，相互渗透和相互推动。神经网络是当前科学理论研究的主要“热点”之一，它的发展对目前和未来的科学技术的发展将有重要的影响。神经网络的主要特征是：大规模的并行处理、分布式的信息存储、良好的自适应性、自组织性、以及很强的学习能力、联想能力和容错能力。神经网络在处理自然语言理解、图像识别、智能机器人控制等方面具有独到的优势。与冯·诺依曼计算机相比，神经网络更加接近人脑的信息处理模式。 自从20世纪80年代，Hopfield首次提出了利用能量函数的概念来研究一类具有固定权值的神经网络的稳定性并付诸电路实现以来，关于这类具有固定权值神经网络稳定性的定性研究得到大量的关注。由于神经网络的各种应用取决于神经网络的稳定特性，所以，关于神经网络的各种稳定性的定性研究就具有重要的理论和实际意义。递归神经网络具有较强的优化计算能力，是目前神经计算应用最为广泛的一类神经网络模型。 根据不同的划分标准，神经网络可划分成不同的种类。按连接方式来分主要有两种：前向神经网络和反馈(递归)神经网络。前向网络主要是函数映射，可用于模式识别和函数逼近。递归神经网络因为有反馈的存在，所以它是一个非线性动力系统，可用来实现联想记忆和求解优化等问题。由于神经网络的记亿信息都存储在连接权上，根据连接权的获取方式来划分，一般可分为有监督神经网络、无监督神经网络和固定权值神经网络。有监督学习是在网络训练往往要基于一定数量的训练样木。在学习和训练过程中，网络根据实际输出与期望输出的比较，进行连接权值和阂值的调节。通常称期望输出为教师信号，是评价学习的标准。最典型的有监督学习算法是BP(BackProPagation)算法。对于无监督学习，无教师
(完整版)卷积神经网络CNN原理、改进及应用
卷积神经网络（CNN） 一、简介 卷积神经网络（Convolutional Neural Networks，简称CNN）是近年发展起来，并引起广泛重视的一种高效的识别方法。 1962年，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的局部互连网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神经网络[1]（Convolutional Neural Networks-简称CNN）7863。现在，CNN已经成为众多科学领域的研究热点之一，特别是在模式分类领域，由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用。 Fukushima在1980年基于神经元间的局部连通性和图像的层次组织转换，为解决模式识别问题，提出的新识别机（Neocognitron）是卷积神经网络的第一个实现网络[2]。他指出，当在不同位置应用具有相同参数的神经元作为前一层的patches时，能够实现平移不变性1296。随着1986年BP算法以及T-C问题[3]（即权值共享和池化）9508的提出，LeCun和其合作者遵循这一想法，使用误差梯度（the error gradient）设计和训练卷积神经网络，在一些模式识别任务中获得了最先进的性能[4][5]。在1998年，他们建立了一个多层人工神经网络，被称为LeNet-5[5]，用于手写数字分类,这是第一个正式的卷积神经网
络模型3579。类似于一般的神经网络，LeNet-5有多层，利用BP算法来训练参数。它可以获得原始图像的有效表示，使得直接从原始像素（几乎不经过预处理）中识别视觉模式成为可能。然而，由于当时大型训练数据和计算能力的缺乏，使得LeNet-5在面对更复杂的问题时，如大规模图像和视频分类，不能表现出良好的性能。 因此，在接下来近十年的时间里，卷积神经网络的相关研究趋于停滞，原因有两个：一是研究人员意识到多层神经网络在进行BP训练时的计算量极其之大，当时的硬件计算能力完全不可能实现；二是包括SVM在内的浅层机器学习算法也渐渐开始暂露头脚。直到2006年，Hinton终于一鸣惊人，在《科学》上发表文章，使得CNN再度觉醒，并取得长足发展。随后，更多的科研工作者对该网络进行了改进。其中，值得注意的是Krizhevsky等人提出的一个经典的CNN架构，相对于图像分类任务之前的方法，在性能方面表现出了显著的改善2674。他们方法的整体架构，即AlexNet[9]（也叫ImageNet），与LeNet-5相似，但具有更深的结构。它包括8个学习层（5个卷积与池化层和3个全连接层），前边的几层划分到2个GPU上，（和ImageNet 是同一个）并且它在卷积层使用ReLU作为非线性激活函数，在全连接层使用Dropout减少过拟合。该深度网络在ImageNet大赛上夺冠，进一步掀起了CNN学习热潮。 一般地，CNN包括两种基本的计算，其一为特征提取，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该
一种递归神经网络在FPGA平台上的实现方案详解
一种递归神经网络在FPGA平台上的实现方案详解 近十年来，人工智能又到了一个快速发展的阶段。深度学习在其发展中起到了中流砥柱的作用，尽管拥有强大的模拟预测能力，深度学习还面临着超大计算量的问题。在硬件层面上，GPU，ASIC，FPGA都是解决庞大计算量的方案。本文将阐释深度学习和FPGA各自的结构特点以及为什么用FPGA加速深度学习是有效的，并且将介绍一种递归神经网络（RNN）在FPGA平台上的实现方案。 揭开深度学习的面纱深度学习是机器学习的一个领域，都属于人工智能的范畴。深度学习主要研究的是人工神经网络的算法、理论、应用。自从2006年Hinton等人提出来之后，深度学习高速发展，在自然语言处理、图像处理、语音处理等领域都取得了非凡的成就，受到了巨大的关注。在互联网概念被人们普遍关注的时代，深度学习给人工智能带来的影响是巨大的，人们会为它隐含的巨大潜能以及广泛的应用价值感到不可思议。 事实上，人工智能是上世纪就提出来的概念。1957年，Rosenblatt提出了感知机模型（Perception），即两层的线性网络；1986年，Rumelhart等人提出了后向传播算法（Back PropagaTIon），用于三层的神经网络的训练，使得训练优化参数庞大的神经网络成为可能；1995年，Vapnik等人发明了支持向量机（Support Vector Machines），在分类问题中展现了其强大的能力。以上都是人工智能历史上比较有代表性的事件，然而受限于当时计算能力，AI总是在一段高光之后便要陷入灰暗时光——称为：“AI寒冬”。 然而，随着计算机硬件能力和存储能力的提升，加上庞大的数据集，现在正是人AI发展的最好时机。自Hinton提出DBN（深度置信网络）以来，人工智能就在不断的高速发展。在图像处理领域，CNN（卷积神经网络）发挥了不可替代的作用，在语音识别领域，RNN （递归神经网络）也表现的可圈可点。而科技巨头也在加紧自己的脚步，谷歌的领军人物是Hinton，其重头戏是Google brain，并且在去年还收购了利用AI在游戏中击败人类的DeepMind；Facebook的领军人物是Yann LeCun，另外还组建了Facebook的AI实验室，Deepface在人脸识别的准确率更达到了惊人的97.35%；而国内的巨头当属百度，在挖来了斯坦福大学教授Andrew Ng（Coursera的联合创始人）并成立了百度大脑项目之后，百
粒子群算法和蚁群算法的结合及其在组合优化中的应用
２００７年第２期空间电子技术收稿日期：２００６－０４－０３；收修改稿日期：２００６－０４－３０ 粒子群算法和蚁群算法的结合及其在 组合优化中的应用 张长春苏昕易克初 （西安电子科技大学综合业务网国家重点实验室，西安７１００７１） 摘要文章首次提出了一种用于求解组合优化问题的ＰＡＡＡ算法。该算法有效地 结合了粒子群算法和蚁群算法的优点，先利用粒子群算法的随机性、快速性、全局性得到初始信息素分布（即粗搜索），再利用蚁群算法的并行性、正反馈性、求解精度高等优点求精确解（即细搜索）。将文中提出的算法用于经典ＴＳＰ问题的求解，仿真结果表明ＰＡＡＡ算法兼有两种算法的优点，同时抛弃了各自的缺点。该算法在时间效率上优于蚁群算法，在求精效率上优于粒子群算法，是综合了两种算法长处的一种新的启发式算法，达到时间性能和优化性能上的双赢，获得了非常好的效果。 主题词蚁群算法粒子群算法旅行商问题ＰＡＡＡ ０引言 近年来对生物启发式计算（Ｂｉｏ－ｉｎｓｐｉｒｅｄＣｏｍｐｕｔｉｎｇ）的研究，越来越引起众多学者的关注和兴 趣，产生了神经网络、 遗传算法、模拟退火、粒子群算法、蚁群算法等许多用于解决复杂优化问题的新方法。然而，面对各种问题的特殊性和复杂性，每种算法都表现出了自身的优势和缺陷，都存在时间性能和优化性能不能兼得的矛盾。粒子群优化（ＰａｒｔｉｃｌｅＳｗａｒｍＯｐｔｉｍｉｚａｔｉｏｎ，ＰＳＯ）算法［１，２］是由Ｅｂｅｒｈａｒｔ和Ｋｅｎｎｅｄｙ于１９９５年提出的一种全局优化算法，该算法源于对鸟群觅食行为的模拟。它的优势在于：（１）算法简洁，可调参数少，易于实现；（２）随机初始化种群，具有较强的全局搜索能力，类似于遗传算法；（３）利用评价函数衡量个体的优劣程度，搜索速度快；（４）具有较强的可扩展性。其缺点是：不能充分利用系统中的反馈信息，求解组合优化问题的能力不强。 蚁群算法［３，４］（ＡｎｔＣｏｌｏｎｙＯｐｔｉｍｉｚａｔｉｏｎ，ＡＣＯ）是由意大利学者Ｍ．Ｄｏｒｉｇｏ，Ｖ．Ｍａｎｉｅｚｚｏ和Ａ．Ｃｏｌｏｒｎｉ 于２０世纪９０年代初提出的一种新型的智能优化算法，已经被应用到ＴＳＰ问题［５，６］、二次分配问题、工件调度问题、图着色问题等许多经典组合优化问题中，取得了很好的效果。它的优点是：（１）采用一种正反馈机制，通过信息素的不断更新，达到最终收敛于最优路径上的目的；（２）是一种分布式的优化方法，易于并行实现；（３）是一种全局优化的方法，不仅可用于求解单目标优化问题，而且可用于求解多目标优化问题；（４）适合于求解离散优化问题；（５）鲁棒性强。但由于在算法的初始阶段信息素匮乏，所以求解速度较慢。 文章将粒子群算法和蚁群算法有机地结合，提出了ＰＡＡＡ算法。它利用粒子群算法的较强的全局搜索能力生成信息素分布，再利用蚁群算法的正反馈机制求问题的精确解，汲取各自的优势，以达空间电子技术ＳＰＡＣＥＥＬＥＣＴＲＯＮＩＣＴＥＣＨＮＯＬＯＧＹ７６
零基础入门深度学习(5) - 循环神经网络
[关闭] 零基础入门深度学习(5) - 循环神经网络 机器学习深度学习入门 无论即将到来的是大数据时代还是人工智能时代，亦或是传统行业使用人工智能在云上处理大数据的时代，作为一个有理想有追求的程序员，不懂深度学习（Deep Learning）这个超热的技术，会不会感觉马上就out了？现在救命稻草来了，《零基础入门深度学习》系列文章旨在讲帮助爱编程的你从零基础达到入门级水平。零基础意味着你不需要太多的数学知识，只要会写程序就行了，没错，这是专门为程序员写的文章。虽然文中会有很多公式你也许看不懂，但同时也会有更多的代码，程序员的你一定能看懂的（我周围是一群狂热的Clean Code程序员，所以我写的代码也不会很差）。 文章列表 零基础入门深度学习(1) - 感知器 零基础入门深度学习(2) - 线性单元和梯度下降 零基础入门深度学习(3) - 神经网络和反向传播算法 零基础入门深度学习(4) - 卷积神经网络 零基础入门深度学习(5) - 循环神经网络 零基础入门深度学习(6) - 长短时记忆网络(LSTM) 零基础入门深度学习(7) - 递归神经网络 往期回顾 在前面的文章系列文章中，我们介绍了全连接神经网络和卷积神经网络，以及它们的训练和使用。他们都只能单独的取处理一个个的输入，前一个输入和后一个输入是完全没有关系的。但是，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。比如，当我们在理解一句话意思时，孤立的理解这句话的每个词是不够的，我们需要处理这些词连接起来的整个序列；当我们处理视频的时候，我们也不能只单独的去分析每一帧，而要分析这些帧连接起来的整个序列。这时，就需要用到深度学习领域中另一类非常重要神经网络：循环神经网络(Recurrent Neural Network)。RNN种类很多，也比较绕脑子。不过读者不用担心，本文将一如既往的对复杂的东西剥茧抽丝，帮助您理解RNNs以及它的训练算法，并动手实现一个循环神经网络。 语言模型 RNN是在自然语言处理领域中最先被用起来的，比如，RNN可以为语言模型来建模。那么，什么是语言模型呢？ 我们可以和电脑玩一个游戏，我们写出一个句子前面的一些词，然后，让电脑帮我们写下接下来的一个词。比如下面这句：我昨天上学迟到了，老师批评了____。 我们给电脑展示了这句话前面这些词，然后，让电脑写下接下来的一个词。在这个例子中，接下来的这个词最有可能是『我』，而不太可能是『小明』，甚至是『吃饭』。 语言模型就是这样的东西：给定一个一句话前面的部分，预测接下来最有可能的一个词是什么。 语言模型是对一种语言的特征进行建模，它有很多很多用处。比如在语音转文本(STT)的应用中，声学模型输出的结果，往往是若干个可能的候选词，这时候就需要语言模型来从这些候选词中选择一个最可能的。当然，它同样也可以用在图像到文本的识别中(OCR)。 使用RNN之前，语言模型主要是采用N-Gram。N可以是一个自然数，比如2或者3。它的含义是，假设一个词出现的概率只与前面N个词相关。我
连续时间递归神经网络的稳定性分析
文章编号:1003-1251(2007)02-0001-04 连续时间递归神经网络的稳定性分析 陈 钢1 ,王占山 2 (1.沈阳理工大学理学院,辽宁沈阳110168;2.沈阳理工大学) 摘 要:基于压缩映射原理,针对连续时间递归神经网络研究了其平衡点全局稳定性问 题,给出了平衡点稳定的充分判据.该判据不要求网络互连矩阵的对称性,改进了现有一些文献中的结果,且具有易于验证的特点.通过两个注释和一个仿真例子证明了所得结果的有效性.关 键 词:递归神经网络;平衡点;压缩映射原理;稳定性 中图分类号:TP183 文献标识码:A An Analysis on t he Stability of Conti n uous ti m e Recursive Neural Net works CHEN G ang ,WANG Zhan shan (Shenyang L i gong Un ivers i ty ,Shenyang 110168,C h i na) A bstract :U si n g the co m pression m app i n g theore m,a sufficient conditi o n is g i v en for the g lobal asy m ptotic stab ility of a conti n uous ti m e recursive neural net w ork .The ne w conditi o ns do not requ ire the sy mm etry o f the i n terconnection m atri x o f the recursive neura l net w or ks ,and the activati o n f u ncti o n m ay be unbounded .The obtained suffic i e nt conditi o ns are less conservati v e than so m e prev i o us w orks ,and are easy to check .The effectiveness o f the ob ta i n ed results is de m onstrated by t w o re m arks and a si m ulation exa m p le . K ey words :recursive neural net w orks ;equ ili b ri u m poin;t co m pression m app i n g pri n c i p le ;stab ility 收稿日期:2006-11-20 作者简介:陈钢(1968 ),男,内蒙通辽人,讲师 递归神经网络在优化和联想记忆等领域已经取得广泛成功应用 [1] .众所周知,递归神经网络的工程应用主要依赖于网络的动态行为.这样,关于 递归神经网络稳定性的研究得到人们越来越多的关注 [1~10] .目前神经网络稳定性研究所得到的稳 定判据主要具有如下特征:激励函数是有界的[7] , 利用M 矩阵特性[4,6] ,及计算互联矩阵的各种范数或测度等 [11] .然而,在某些工程应用中常常要 求神经网络的激励函数是无界的,且进一步降低 神经网络稳定条件的保守性仍是一个有待解决的问题 [2] .所以,研究递归神经网络的稳定性具有重 要的理论意义和实际意义.文献[1]利用矩阵范数的概念得到了神经网络稳定性的充分条件,而文献[2~11]分别基于矩阵测度、M 矩阵等方法得到了神经网络稳定性的充分条件. 本文研究连续时间递归神经网络的稳定性问题.基于压缩映射原理,我们将给出保证神经网络平衡点存在性、唯一性和渐近稳定性的充分判据. 2007年4月 沈阳理工大学学报 V ol.26N o.2 第26卷第2期 TRANSACT I O NS OF S H ENYANG L I G ONG UN I V ERSI TY Ap r . 2 7
循环神经网络(RNN, Recurrent Neural Networks)介绍
循环神经网络(RNN, Recurrent Neural Networks)介绍 标签：递归神经网络RNN神经网络LSTMCW-RNN 2015-09-23 13:24 25873人阅读评论(13) 收藏举报分类： 数据挖掘与机器学习（23） 版权声明：未经许可, 不能转载 目录(?)[+]循环神经网络(RNN, Recurrent Neural Networks)介绍 这篇文章很多内容是参考： https://www.wendangku.net/doc/4910884787.html,/2015/09/recurrent-neural-networks-tutorial-part-1-introd uction-to-rnns/，在这篇文章中，加入了一些新的内容与一些自己的理解。 循环神经网络(Recurrent Neural Networks，RNNs)已经在众多自然语言处理(Natural Language Processing, NLP)中取得了巨大成功以及广泛应用。但是，目前网上与RNNs有关的学习资料很少，因此该系列便是介绍RNNs的原理以及如何实现。主要分成以下几个部分对RNNs进行介绍： 1. RNNs的基本介绍以及一些常见的RNNs(本文内容)； 2. 详细介绍RNNs中一些经常使用的训练算法，如Back Propagation Through Time(BPTT)、Real-time Recurrent Learning(RTRL)、Extended Kalman Filter(EKF)等学习算法，以及梯度消失问题(vanishing gradient problem) 3. 详细介绍Long Short-Term Memory(LSTM，长短时记忆网络)；
蚁群优化神经网络
二、 function [R_best,L_best,L_ave,Shortest_Route,Shortest_Length]=ACATSP(C,NC_max,m,Alp ha,Beta,Rho,Q) %%========================================================== ===== %% ACATSP.m %% Ant Colony Algorithm for Traveling Salesman Problem %%------------------------------------------------------------------------- %% 主要符号说明 %% C n个城市的坐标，n×2的矩阵 %% NC_max 最大迭代次数 %% m 蚂蚁个数 %% Alpha 表征信息素重要程度的参数 %% Beta 表征启发式因子重要程度的参数 %% Rho 信息素蒸发系数 %% Q 信息素增加强度系数 %% R_best 各代最佳路线 %% L_best 各代最佳路线的长度 %%========================================================== ====== C=[1304,2312;3639,1315;4177,2244;3712,1399;3488,1535;3326,1556; 3238 1229;4196 1004;4312 790;4386 570;3007 1970;2562 1756; 2788 1491;2381 1676;1332 695;3715 1678;3918 2179;4061 2370; 3780 2212;3676 2578;4029 2838;4263 2931;3429 1908;3507 2367; 3394 2643;3439 3201;2935 3240;3140 3550;2545 2357;2778 2826; 2370 2975]; m=31; Alpha=1; Beta=5; Rho=.1; NC_max=30; Q=100; %%第一步：变量初始化 n=size(C,1);%*表示问题的规模（城市个数） D=zeros(n,n);%D表示完全图的赋权邻接矩阵 for i=1:n for j=1:n if i~=j D(i,j)=((C(i,1)-C(j,1))^2+(C(i,2)-C(j,2))^2)^0.5; else
利用蚁群算法优化前向神经网络
利用蚁群算法优化前向神经网络 来源：深圳发票 https://www.wendangku.net/doc/4910884787.html,/ 内容摘要：蚁群算法（ant colony algorithm，简称ACA）是一种最新提出的新型的寻优策略，本文尝试将蚁群算法用于三层前向神经网络的训练过程，建立了相应的优化模型，进行了实际的编程计算，并与加动量项的BP算法、演化算法以及模拟退火算法进行比较，结果表明该方法具有更好的全局收敛性，以及对初值的不敏感性等特点。关键词：期货经纪公司综合实力主成分分析聚类分析 人工神经网络（ANN）是大脑及其活动的一个理论化的数学模型，由大量的处理单元（神经元）互连而成的，是神经元联结形式的数学抽象，是一个大规模的非线性自适应模型。人工神经网络具有高速的运算能力，很强的自学习能力、自适应能力和非线性映射能力以及良好的容错性，因而它在模式识别、图像处理、信号及信息处理、系统优化和智能控制等许多领域得到了广泛的应用。 人工神经网络的学习算法可以分为：局部搜索算法，包括误差反传（BP）算法、牛顿法和共轭梯度法等；线性化算法；随机优化算法，包括遗传算法（GA）、演化算法（EA）、模拟退火算法（SA）等。 蚁群算法是一种基于模拟蚂蚁群行为的随机搜索优化算法。虽然单个蚂蚁的能力非常有限，但多个蚂蚁构成的群体具有找到蚁穴与食物之间最短路径的能力，这种能力是靠其在所经过的路径上留下的一种挥发性分泌物（pheromone）来实现的。蚂蚁个体间通过这种信息的交流寻求通向食物的最短路径。已有相关计算实例表明该算法具有良好的收敛速度，且在得到的最优解更接近理论的最优解。
本文尝试将蚁群算法引入到前向神经网络的优化训练中来，建立了基于该算法的前向神经网络训练模型，编制了基于C++语言的优化计算程序，并针对多个实例与多个算法进行了比较分析。 前向神经网络模型 前向人工神经网络具有数层相连的处理单元，连接可从一层中的每个神经元到下一层的所有神经元，且网络中不存在反馈环，是常用的一种人工神经网络模型。在本文中只考虑三层前向网络，且输出层为线性层，隐层神经元的非线性作用函数（激活函数）为双曲线正切函数： 其中输入层神经元把输入网络的数据不做任何处理直接作为该神经元的输出。设输入层神经元的输出为(x1,x2,Λ,xn)，隐层神经元的输入为(s1,s2,Λ,sh)，隐层神经元的输出为 (z1,z2,Λ,zh)，输出层神经元的输出为(y1,y2,Λ,ym)，则网络的输入-输出为： 其中{w ij}为输入层-隐层的连接权值，{w i0}隐层神经元的阈值，{v ki}为隐层-输出层的连接权值，{v k0}为输出层神经元的阈值。网络的输入-输出映射也可简写为： 1≤k≤m (5)
一类时滞静态递归神经网络的全局鲁棒稳定性
收稿日期:2007209230 基金项目:国家自然科学基金资助项目(10771199) 作者简介:陶霓(19832 ),女,硕士研究生,主要研究方向为动力系统与神经网络.Email :tncolorcrystal @https://www.wendangku.net/doc/4910884787.html, 王林山(19552 ),男,博士,博士生导师,主要研究方向为动力系统与神经网络.Email :wls115cn @https://www.wendangku.net/doc/4910884787.html, 文章编号:167129352(2008)0320040203 一类时滞静态递归神经网络的 全局鲁棒稳定性 陶霓,王林山 (中国海洋大学数学系,山东青岛266071) 摘要:运用M 2矩阵的性质、Liapunov 泛函方法及不等式技巧,研究了一类时滞静态递归神经网络的全局鲁棒稳定性,给出了全局鲁棒稳定性的新的代数判据。关键词:静态神经网络;时滞;全局鲁棒稳定性中图分类号:O175 文献标志码:A On global robust stability for a class of static recurrent neural netw orks with delays T AO Ni ,W ANGLin 2shan (Department of Mathematics ,Ocean University of China ,Qingdao 266071,Shandong ,China ) Abstract :By using properties of the M 2matrix ,method of Liapunov function and inequality technique ,the global robust stability for a class of static recurrent neural netw orks with delays was studied ,and a new algebraic criterion was given.K ey w ords :static neural netw orks ;delays ;global robust stability 0 引言 局域递归神经网络模型(Local field recurrent neural netw ork m odels )将神经元内部状态作为变量研究,这类模型已被广泛研究[1] 。静态递归神经网络模型(Static recurrent neural netw ork m odels )将神经元的外部状态作为基本变量研究。目前,静态神经网络模型的动力学性质还未被深入地讨论。由于ReBp (The recurrent bake 2propagation )神经网络、Op 2type (The optimization 2type )神经网络等模型都是静态递归神经网络模型,因此,静态递归神经网络模型具有广泛的代表性,对其进行研究具有理论和应用两方面的价值。文献[2]中,H.Qiao 研究了如下静态神经网络模型: d x i (t ) d t =-a i x i (t )+f i ∑n j =1w ij x j (t )+I i ,a i >0,i =1,2,…,n 。因为在网络的运行及信号的传递过程中,时滞是不可避免的,因此研究时滞静态神经网络是必要的而且更 有意义。本文运用M 2矩阵的性质、Liapunov 泛函方法[3] 及不等式技巧,研究了一类时滞静态神经网络的全局鲁棒稳定性。 第43卷 第3期 V ol.43 N o.3 山 东 大 学 学 报 (理 学 版) Journal of Shandong University (Natural Science ) 2008年3月 Mar.2008
基于蚁群算法和神经网络的数控机床故障诊断技术研究
基于蚁群算法和神经网络的数控机床故障诊断技术研究 吴冬敏，邵剑平，芮延年 （苏州大学，江苏苏州215021） 来稿日期：2012-03-16 基金项目：“高档数控机床与基础制造装备”科技重大专项（2011ZX04004-061） 作者简介：吴冬敏，（1979-），女，江苏南通人，讲师，硕士，主要研究方向为机电智能、可靠性分析；芮延年，（1951-），男，安徽，教授，博士生导师，主要研究方向为仿真工程学，人工智能及机器人等 1引言 数控机床作为大中型企业生产中的关键设备，任何部分出现故障，都可能导致零件加工精度降低、机床停机、生产停顿，造成巨大的经济损失，严重时还会危及到人身安全。与传统加工设备相比，数控机床的集成化、自动化程度越来越高，这使设备发生故障的概率增大、 种类增多。经验表明:即使一个熟练的技术人员，在故障诊断时，确定故障原因和部位的时间约占总时间的（70~90）%，而只有约（10~30）%用于最后排除故障的维修工作。据调查，我国企业现有的数控设备的利用率和完好率普遍偏低，主要原因之一是维修力量不足，检修过程中故障处理速度较慢且受人为因素影响较大，因此，要提高维修效率，提高故障诊断能力是关键[1]。 文献[2]提出了用蚁群算法来训练BP 神经网络的权值，并将其应用于求解非线性模型的辨识问题及倒立摆的控制问题，取得了良好的效果。因此，将蚁群算法和BP 神经网络结合起来，可兼 有神经网络的非线性映射能力和蚁群算法的快速、 全局收敛及启发式学习等特点，在某种程度上避免了神经网络收敛速度慢，易于陷局部极小点的问题[2]。将其应用于数控机床的故障诊断中，可有效地提高故障诊断的准确度和效率。 2蚁群算法的基本原理 蚁群算法（Ant Colony Algorithm ）又称为蚁群优化算法[3]，是一种模拟蚂蚁智能行为的仿生优化算法。其基本思想是:蚂蚁个体之间是通过在其走过的路径上留下一种被称为信息素的物质来进行信息传递的，并根据信息素的浓度来选择自己的前进方向。因此，在某条路径上，走过的蚂蚁越多，后面的蚂蚁选择该路径的可能性就越大，形成正反馈机制。 随着算法的推移，代表最优解路径上的信息素逐渐增多，而其他路径上的信息素却会随着时间的流逝而逐渐消减，最终整个蚁群在正反馈的作用下集中到代表最优解的路径上，也就找到了最优解。蚁群算法具有较强的鲁棒性、优良的分布式计算机制、易 摘 要：为了克服BP 神经网络收敛速度慢、易于陷入局部极小点的缺点，在研究蚁群算法优化神经网络训练算法的基础 上，以数控机床的进给伺服系统故障诊断为例，建立其故障诊断模型。利用训练后的蚁群神经网络对其进行故障诊断，并把BP 神经网络和蚁群神经网络的训练和诊断结果相比较。实验结果表明：蚁群神经网络比BP 神经网络的收敛速度快、运算效率高、识别能力强。这说明蚁群神经网络应用于数控机床的故障诊断中，可有效地提高故障诊断的准确度和效率，具有良好的应用效果。 关键词：蚁群算法；神经网络；数控机床；进给伺服系统；故障诊断中图分类号： TH16；TG659；TH165+.3文献标识码：A 文章编号：1001-3997（2013）01-0165-03 Research on CNC Machine Fault Diagnosis Based on Ant Colony Algorithm and Neural Network WU Dong-min ，SHAO Jian-ping ，RUI Yan-nian （Soochow University ，Jiangsu Suzhou 215021，China ） Abstract ：In order to overcome the shortcomings of slow convergence speed and easy falling into the local minimum points in the BP neural network ，based on the research of ant colony algorithm to optimizate neural network training algorithm ，it takes CNC machine tool feed servo system fault diagnosis as example to establish the fault diagnosis model.The fault of feed servo system is diagnosed by trained ant colony neural network ，and the training and diagnosis results of the BP neural network and the ant colony neural network are comparied.The result shows that the ant colony neural network has the advantages of more quick convergence speed ，higher operation efficiency ，stronger identification ability than BP neural network.These show that the ant colony neural used in the fault diagnosis of CNC machine tool ，which can effectively improve the accuracy of fault diagnosis and efficiency ， has good application prospects.Key Words ：Ant Colony Algorithm ；Neural Network ；CNC Machine ；Feed Servo System ；Fault Diagnosis Machinery Design ＆Manufacture 机械设计与制造 第1期 2013年1月 165
粒子群算法和蚁群算法的结合及其在组合优化中的应用e
2007年第2期空间电子技术收稿日期：2006-04-03；收修改稿日期：2006-04-30 粒子群算法和蚁群算法的结合及其在 组合优化中的应用 张长春苏昕易克初 （西安电子科技大学综合业务网国家重点实验室，西安710071） 摘要文章首次提出了一种用于求解组合优化问题的PAAA 算法。该算法有效地 结合了粒子群算法和蚁群算法的优点，先利用粒子群算法的随机性、快速性、全局性得到 初始信息素分布（即粗搜索），再利用蚁群算法的并行性、正反馈性、求解精度高等优点求 精确解（即细搜索）。将文中提出的算法用于经典TSP 问题的求解，仿真结果表明PAAA 算 法兼有两种算法的优点，同时抛弃了各自的缺点。该算法在时间效率上优于蚁群算法，在 求精效率上优于粒子群算法，是综合了两种算法长处的一种新的启发式算法，达到时间性 能和优化性能上的双赢，获得了非常好的效果。 主题词蚁群算法粒子群算法旅行商问题PAAA 0引言 近年来对生物启发式计算（Bio-inspired Computing ）的研究，越来越引起众多学者的关注和兴趣，产生了神经网络、遗传算法、模拟退火、粒子群算法、蚁群算法等许多用于解决复杂优化问题的新方法。然而，面对各种问题的特殊性和复杂性，每种算法都表现出了自身的优势和缺陷，都存在时间性能和优化性能不能兼得的矛盾。 粒子群优化（Particie Swarm Optimization ，PSO ）算法[1， 2]是由Eberhart 和Kennedy 于1995年提出的一种全局优化算法，该算法源于对鸟群觅食行为的模拟。它的优势在于：（1） 算法简洁，可调参数少，易于实现；（2） 随机初始化种群，具有较强的全局搜索能力，类似于遗传算法；（3）利用评价函数衡量个体的优劣程度，搜索速度快；（4）具有较强的可扩展性。其缺点是：不能充分利用系统中的反馈信息，求解组合优化问题的能力不强。 蚁群算法[3，4]（Ant Coiony Optimization ，ACO ） 是由意大利学者M.Dorigo ，V.Maniezzo 和A.Coiorni 于20世纪90年代初提出的一种新型的智能优化算法，已经被应用到TSP 问题[5，6]、二次分配问题、工 件调度问题、图着色问题等许多经典组合优化问题中，取得了很好的效果。它的优点是：（1）采用一种正反馈机制，通过信息素的不断更新，达到最终收敛于最优路径上的目的；（2）是一种分布式的优化方法，易于并行实现；（3）是一种全局优化的方法，不仅可用于求解单目标优化问题，而且可用于求解多目标优化问题；（4）适合于求解离散优化问题；（5）鲁棒性强。但由于在算法的初始阶段信息素匮乏，所以求解速度较慢。 文章将粒子群算法和蚁群算法有机地结合，提出了PAAA 算法。它利用粒子群算法的较强的全局搜索能力生成信息素分布，再利用蚁群算法的正反馈机制求问题的精确解，汲取各自的优势，以达空间电子技术 SPACE ELECTRONIC TECHNOLOGY !"
比较专家系统、模糊方法、遗传算法、神经网络、蚁群算法的特点及其适合解决的实际问题
比较专家系统、模糊方法、遗传算法、神经网络、蚁群算法的特点及其适合解决的实际问题 一、专家系统(Expert System) 1，什么是专家系统？ 在日常生活中大家所认知的“专家”一般都拥有某一特定领域的大量专业知识，以及丰富的实际经验。在解决问题时，专家们通常拥有一套独特的思维方式，能较圆满地解决一类困难问题，或向用户提出一些建设性的建议等。 专家系统一般定义为一个具有智能特点的计算机程序。 它的智能化主要表现为能够在特定的领域内模仿人类专家思维来求解复杂问题。因此，专家系统必须包含领域专家的大量知识，拥有类似人类专家思维的推理能力，并能用这些知识来解决实际问题。 专家系统的基本结构如图1所示，其中箭头方向为数据流动的方向。 图1 专家系统的基本组成 专家系统通常由知识库和推理机两个主要组成要素。 知识库存放着作为专家经验的判断性知识,例如表达建议、 推断、 命令、 策略的产生式规则等, 用于某种结论的推理、 问题的求解,以及对于推理、 求解知识的各种控制知识。 知识库中还包括另一类叙述性知识, 也称作数据,用于说明问题的状态,有关的事实和概念,当前的条件以及常识等。
专家系统的问题求解过程是通过知识库中的知识来模拟专家的思维方式的，因此，知识库是专家系统质量是否优越的关键所在，即知识库中知识的质量和数量决定着专家系统的质量水平。一般来说，专家系统中的知识库与专家系统程序是相互独立的，用户可以通过改变、完善知识库中的知识内容来提高专家系统的性能。 推理机实际上是一个运用知识库中提供的两类知识,基于木某种通用的问题求解模型,进行自动推理、 求解问题的计算机软件系统。 它包括一个解释程序, 用于决定如何使用判断性知识推导新的知识, 还包括一个调度程序, 用于决定判断性知识的使用次序。 推理机的具体构造取决于问题领域的特点,及专家系统中知识表示和组织的方法。 推理机针对当前问题的条件或已知信息，反复匹配知识库中的规则，获得新的结论，以得到问题求解结果。在这里，推理方式可以有正向和反向推理两种。正向推理是从前件匹配到结论，反向推理则先假设一个结论成立，看它的条件有没有得到满足。由此可见，推理机就如同专家解决问题的思维方式，知识库就是通过推理机来实现其价值的。 人机界面是系统与用户进行交流时的界面。通过该界面，用户输入基本信息、回答系统提出的相关问题，并输出推理结果及相关的解释等。 综合数据库专门用于存储推理过程中所需的原始数据、中间结果和最终结论，往往是作为暂时的存储区。解释器能够根据用户的提问，对结论、求解过程做出说明，因而使专家系统更具有人情味。 知识获取是专家系统知识库是否优越的关键，也是专家系统设计的“瓶颈”问题，通过知识获取，可以扩充和修改知识库中的内容，也可以实现自动学习功能。 2，专家系统的特点 在功能上, 专家系统是一种知识信息处理系统, 而不是数值信息计算系统。在结构上, 专家系统的两个主要组成部分 – 知识库和推理机是独立构造、分离组织, 但又相互作用的。在性能上, 专家系统具有启发性, 它能够运用专家的经验知识对不确定的或不精确的问题进行启发式推理, 运用排除多余步骤或减少不必要计算的思维捷径和策略；专家系统具有透明性, 它能够向用户显示为得出某一结论而形成的推理链, 运用有关推理的知识(元知识)检查导出结论的精度、一致性和合理性, 甚至提出一些证据来解释或证明它的推理；专家系统具有灵活性, 它能够通过知识库的扩充和更新提高求解专门问题的水平或适应环境对象的某些变化,通过与系统用户的交互使自身的性能得到评价和监护。 3，专家系统适合解决的实际问题 专家系统是人工智能的一个应用，但由于其重要性及相关应用系统之迅速发展，它已是信息系统的一种特定类型。专家系统一词系由以知识为基础的专家系统(knowledge-based expert system)而来，此种系统应用计算机中储存的人类知识，解决一般需要用到专家才能处理的问题，它能模仿人类专家解决特定问题时的推理过程，因而可供非专家们用来增进问题解决的能力，同时专家们也可把它视为具备专业知识的助理。由于在人类社会中，专家资源确实相当稀少，有了专家系统，则可使此珍贵的专家知识获得普遍的应用。 专家系统技术广泛应用在工程、科学、医药、军事、商业等方面，而且成果相当丰硕，甚至在某些应用领域，还超过人类专家的智能与判断。其功能应用领
一种递归模糊神经网络自适应控制方法
一种递归模糊神经网络自适应控制方法 毛六平,王耀南,孙 炜,戴瑜兴 (湖南大学电气与信息工程学院,湖南长沙410082) 摘 要: 构造了一种递归模糊神经网络(RFNN ),该RFNN 利用递归神经网络实现模糊推理,并通过在网络的第 一层添加了反馈连接,使网络具有了动态信息处理能力.基于所设计的RFNN ,提出了一种自适应控制方案,在该控制方案中,采用了两个RFNN 分别用于对被控对象进行辨识和控制.将所提出的自适应控制方案应用于交流伺服系统,并给出了仿真实验结果,验证了所提方法的有效性. 关键词: 递归模糊神经网络;自适应控制;交流伺服中图分类号: TP183 文献标识码: A 文章编号: 037222112(2006)1222285203 An Adaptive Control Using Recurrent Fuzzy Neural Network M AO Liu 2ping ,W ANG Y ao 2nan ,S UN Wei ,DAI Y u 2xin (College o f Electrical and Information Engineering ,Hunan University ,Changsha ,Hunan 410082,China ) Abstract : A kind of recurrent fuzzy neural network (RFNN )is constructed ,in which ,recurrent neural network is used to re 2alize fuzzy inference temporal relations are embedded in the network by adding feedback connections on the first layer of the network.On the basis of the proposed RFNN ,an adaptive control scheme is proposed ,in which ,two proposed RFNNs are used to i 2dentify and control plant respectively.Simulation experiments are made by applying proposed adaptive control scheme on AC servo control problem to confirm its effectiveness. K ey words : recurrent fuzzy neural network ;adaptive control ;AC servo 1 引言 近年来,人们开始越来越多地将神经网络用于辨识和控 制动态系统[1～3].神经网络在信号的传播方向上,可以分为前馈神经网络和递归神经网络.前馈神经网络能够以任意精度逼近任意的连续函数,但是前馈神经网络是一个静态的映射,它不能反映动态的映射.尽管这个问题可以通过增加延时环节来解决,但是那样会使前馈神经网络增加大量的神经元来代表时域的动态响应.而且,由于前馈神经网络的权值修正与网络的内部信息无关,使得网络对函数的逼近效果过分依赖于训练数据的好坏.而另一方面,递归神经网络[4～7]能够很好地反映动态映射关系,并且能够存储网络的内部信息用于训练网络的权值.递归神经网络有一个内部的反馈环,它能够捕获系统的动态响应而不必在外部添加延时反馈环节.由于递归神经网络能够反映动态映射关系,它在处理参数漂移、强干扰、非线性、不确定性等问题时表现出了优异的性能.然而递归神经网络也有它的缺陷,和前馈神经网络一样,它的知识表达能力也很差,并且缺乏有效的构造方法来选择网络结构和确定神经元的参数. 递归模糊神经网络(RFNN )[8,9]是一种改进的递归神经网络,它利用递归网络来实现模糊推理,从而同时具有递归神经网络和模糊逻辑的优点.它不仅可以很好地反映动态映射关系,还具有定性知识表达的能力,可以用人类专家的语言控制规则来训练网络,并且使网络的内部知识具有明确的物理意 义,从而可以很容易地确定网络的结构和神经元的参数. 本文构造了一种RFNN ,在所设计的网络中,通过在网络的第一层加入反馈连接来存储暂态信息.基于该RFNN ,本文还提出了一种自适应控制方法,在该控制方法中,两个RFNN 被分别用于对被控对象进行辨识和控制.为了验证所提方法的有效性,本文将所提控制方法用于交流伺服系统的控制,并给出了仿真实验结果. 2 RFNN 的结构 所提RFNN 的结构如图1所示,网络包含n 个输入节点,对每个输入定义了m 个语言词集节点,另外有l 条控制规则 节点和p 个输出节点.用u (k )i 、O (k ) i 分别代表第k 层的第i 个节点的输入和输出,则网络内部的信号传递过程和各层之间的输入输出关系可以描述如下: 第一层:这一层的节点将输入变量引入网络.与以往国内外的研究不同,本文将反馈连接加入这一层中.第一层的输入输出关系可以描述为:O (1)i (k )=u (1)i (k )=x (1)i (k )+w (1)i (k )?O (1)i (k -1), i =1,…,n (1) 之所以将反馈连接加入这一层,是因为在以往的模糊神经网络控制器中,控制器往往是根据系统的误差及其对时间的导数来决定控制的行为,在第一层中加入暂态反馈环,则只需要以系统的误差作为网络的输入就可以反映这种关系,这样做不仅可以简化网络的结构,而且具有明显的物理意义,使 收稿日期:2005207201;修回日期:2006206218 基金项目:国家自然科学基金项目(N o.60075008);湖南省自然科学基金(N o.06JJ50121) 第12期2006年12月 电 子 学 报 ACT A E LECTRONICA SINICA V ol.34 N o.12 Dec. 2006