标准粒子群优化算法收敛性能分析与参数选择
标准粒子群优化算法收敛性能分析与参数选择1
林川，冯全源
西南交通大学信息科学与技术学院，成都（610031）
E-mail ：lin_langai@https://www.wendangku.net/doc/c89561488.html,
摘 要：基于离散时间线性动态系统理论，推导了确定性标准粒子群优化（PSO ）算法收敛，临界稳定与发散的充分必要条件，并用若干个粒子运动轨迹的仿真结果对理论结果进行了验证。根据理论分析结果，给出了参数选择的指导方法，讨论了随机参数对PSO 算法性能的影响，分析了不同收敛阶段PSO 算法探索与开发能力的平衡问题。同时本文指出，目前较普遍认为的：PSO 算法的惯性权越小则局部搜索能力越强这一观点严格说来并不够准确，在实际中应小心使用。
关键词：粒子群，随机优化，收敛性，参数选择
中图分类号：TP18
粒子群优化（PSO ）算法是J. Kennedy 与Eberhart 提出的一种基于群体智能的随机优化方法，它模拟了鸟类或鱼群觅食过程的社会行为[1]，已在许多领域获得了广泛应用[2]。PSO 算法的参数设置对算法性能有很大的影响，而这些参数设置又常与待优化问题密切相关。虽然目前已有许多学者通过大量仿真实验对PSO 算法的参数选择进行了研究，但为了更深入地理解PSO 算法并提供参数选择的指导方法，近年来，一些学者开始对PSO 算法的粒子运
动轨迹及其稳定性进行深入的理论分析[3~7]，
这些理论研究大部分集中在PSO 算法稳定收敛的充分条件方面。本文利用离散时间线性动态系统理论，从理论上推导了确定性PSO 算法收敛，临界稳定与发散的充分必要条件。根据理论分析结果，给出了PSO 算法参数选择的指导方法，讨论了随机参数对算法性能的影响，分析了PSO 算法获得成功的一些关键因素。本文指出目前较普遍认为的：惯性权越小则PSO 算法的局部搜索能力越强这一观点严格说来并不够准确，它只在一定条件下成立。同时，本文还给出了若干个粒子运动轨迹的仿真结果，对理论分析结果进行了验证。
1．PSO 算法
PSO 算法中的每个粒子代表D 维搜索空间中的一个潜在解，它在搜索空间以一定的速度飞行，这个速度根据它先前的飞行速度，本身及同伴的飞行经验进行动态调整。具体说来，标准PSO 算法中第i 个粒子第d 维的速度与位置按如下的表达式进行更新[8]：
）
（）（)()()()()()1(21t x p t t x p t t wv t v id gd d id id d id id ?+?+=+φφ (1) )1()()1(++=+t v t x t x id id id (2)
其中，i =1,…, m , d =1,…., D ，m 为种群规模，D 维向量x i (t )与v i (t )分别为粒子i 在t 时刻的位置与速度，p i 为粒子i 曾经历过的个体最优位置，p g 为粒子i 的所有邻域个体曾经历过的全
局历史最优位置。w 为惯性权，)()(111t r c t d d =φ, )
()(222t r c t d d =φ，c 1，c 2为加速系数，r 1d ，r 2d 为在[0, 1]内均匀分布的随机数。
由于本文主要分析确定性PSO 算法的收敛性能，因此我们将随机变量)(1t d φ，)(2t d φ简化为常数1φ，2φ。为了便于分析，不失一般性，我们将粒子位置与速度的维数从D 维简化为1维[4]。这样，式（1）与式（2）可简化为： 1本课题得到国家自然科学基金（基金号：60371017）的资助。
))(())(()()1(21t x p t x p t wv t v g i ?+?+=+φφ (3)
)1()()1(++=+t v t x t x (4)
令21φφφ+=，)/()(2121φφφφ++=g i p p p ，p t x t y ?=)()(，并假设p 保持不变，则式（3）与（4）可化为：
)()()1(t y t wv t v φ?=+ （5）
)()1()()1(t y t wv t y φ?+=+ （6）
2．PSO 算法的收敛性能分析
令??????=)()()(t y t v t R ，??
??????= 1 φφw w G 则式（5），（6）可表示成如下的向量形式： )(*)1(t R G t R =+ （7）
定义（平衡点[7]）：*ξ定义为动态系统)),(()1(t t f t ξξ=+的平衡点，如果*ξ满足：对于所有0≥t ，都有)*,(*t f ξξ=。
注意到矩阵I G ?对应的行列式值det (I G ?)=φ，其中I 为单位矩阵。如果0≠φ，则式（7）表示的系统有唯一平衡点R *= [0, 0]T ，即v *=0, x *=p ，其中上标T 代表转置。如果φ=0，则式（7）具有无数个平衡点，其形式为[0, c ]T ，即v *=0, x *=c +p ，其中c 为任意常数。矩阵G 的特征方程为：0)1(2=+?+?w w λφλ （8）
解特征方程（8）可得到矩阵G 的特征值：
211?+?+=φλw ，2
12???+=φλw （9） 其中，w w 4)1(2??+=?φ。当0≠?时，矩阵G 可对角化。定义酉矩阵U ，使得：
I U U UU H H ==，且Λ=GU U H ，其中?????
?=Λ21 00 λλ。令)()(t UQ t R = （10） 则：||)(||||)(||t Q t R = （11）
其中，|| ||为范数符号，代表向量的长度。将式（10）代入式（7）可得：)()1(t Q t Q Λ=+ （12）
于是：)0( 00 )0()(2t 1Q Q t Q t t
????????=Λ=λλ (13) 如果?=0，则λ1=λ2。我们可以证明在这种情况下矩阵G 无法对角化。此时，我们可定义
可逆矩阵T ，使得：J GT T =?1= ?????
?11 01 λλ (14) 类似地，令R (t )=TS (t ) （15）
则：||S (t )||/|| T -1||≤||R (t )||≤|| T || ||S (t )|| (16)
将式（15）代入式（7）可得：S (t +1)=JS (t ) (17)
于是：)0( 0 t )0()(11-t 1t 1S S J t S t t
????????==λλλ (18) 由式（10~18），我们可以得到如下结论：
定理１：式（7）中的R (t )收敛到平衡点R*=[0, 0]T ，即v *=0, x *=p 的充分必要条件是
max ||λ=max{|1λ|, |2λ|}<1；R (t )发散的充分必要条件是||λmax >1，或?=0，||λmax =1；R (t )临界稳定（即R (t )不收敛到平衡点R*=[0 0]T 也不发散到无穷大，而是在一定范围内振荡）的充分必要条件是||λmax =1，0≠?。
下面我们来进一步推导R (t )收敛，临界稳定或发散的充分必要条件的精确表达式。我们分三种情况讨论，即：（a ）?<0；（b ）?＝0；（c ）?>0。
(a) ?<0，当且仅当??
???++<w w w w w 21210φ （19） 此时，1λ与2λ为共轭复数，且||||||21max λλλ===w 。
(b) ?=0，当且仅当 ?????++?+=≥w
w w w w 21or 210φ （20） 此时，w ==21λλor w ?，于是有：||||||21max λλλ===w 。这种情况下，||λmax =1 当且仅当w =1，φ=0 或4。
(c) ?>0，当且仅当w<0 或?
??≠=10φw 或 ?????++>?+<>w w w w w 21or 210φφ 这种情况下，如果01≥?+φw ，那么1max ||λλ＝，为φ的递减函数。如果01
么2max ||λλ?＝，为φ的递增函数。
综合上述三种情况，我们可以得到： ?????
??????>???≤≤???+=<≤?=???+<<<
max max λφφλφλ＝ （21） 结合定理１，我们可以得到如下结论：
定理2：式（７）表示的系统中，R (t )收敛到平衡点R*=[0, 0]T ，即v *=0, x *=p 的充分必要条
件是???+<<<
??+=<≤?22or 011w w φ 或 ?
??<<401φ＝w ；在其它条件下R (t )发散到无穷大。 3．参数选择讨论
3.1 确定性粒子运动轨迹的仿真实验
为了验证定理2并对上述假设条件下粒子的运动轨迹有一个直观的认识，本节我们给出了几种不同参数组合条件下由式（５）与（６）确定的粒子位置运动轨迹的仿真图。在所有仿真实验中，都取x (0)=10，v (0)=8，p =0，从而有x (t)=y (t)。图1~4显示了４种不同的w 与φ组合条件下粒子位置的运动轨迹。图１是当w =0.729，φ=2.988时粒子位置的运动轨迹，该参数组合已被广泛地应用于PSO 算法的参数设置中。此时，φ<2w +2，对应的特征值为具
有负实部的复数，粒子位置运动轨迹呈Z 字形振荡收敛。第２种参数设置是w =－0.6，
φ=0.5，相应的特征值为λ1=0.7262,λ2=－0.8262。此时，粒子位置的运动轨迹呈Z 字形收敛，如图
２所示。图3的运动轨迹是在w =1，φ=3的条件下得到的。根据定理2，此时粒子处于临界稳定状态，其运动轨迹应该在一定范围内振荡，图３的仿真结果证实了这个结论。第４种参数设置是w =1，φ=4，此时?=0，λ1=λ2=－1。由图4可知它对应的粒子运动轨迹以几乎线性的方式发散，这与定理2的结论也是相符合的。
图1 w=0.729,φ=2.988时粒子的运动轨迹 图2 w=-0.6,φ=0.5时粒子的运动轨迹 Fig. 1 Particle’s trajectory with w=0.729,φ=2.988 Fig. 2 Particle’s trajectory with w=-0.6,φ=0.5
图3 w=1,φ=3时粒子的运动轨迹 Fig. 4 w=1,φ=4时粒子的运动轨迹
Fig. 3 Particle’s trajectory with w=1,φ=3 Fig. 4 Particle’s trajectory with w=1,φ=4
3.2 参数选择的指导思想
由上面的讨论可知，PSO 算法粒子的运动轨迹基本上是以||λmax 的指数形式收敛或发散，因此PSO 算法的探索（exploration ）与开发(exploitation)能力主要取决于||λmax 。而特征值λ1 与λ2的具体形式则决定了粒子运动轨迹的收敛模式，如当特征值为复值，即?<0，或实部为负数，即01
由于目前大多数文献中PSO 算法所用的参数范围都在0 1)内的某个值，当φ从0增到w w 21?+时，λ|max =λ1，为φ的减函数，它的值从1递减到w ，当w w w w 2121++≤≤?+φ时，max ||λ=w ；当φ从w w 21++变化到2w +2时，2max ||λλ?=，为φ的增函数，它的值从w 增加到1。当φ>2w +2时，||λmax 的值从1开始继续递增。由此可见，w 值对||λmax 有很大影响。但在0 在设定加速系数c 1，c 2时应使c 1+c 2小于或略大于2w +2，以保证PSO 算法的收敛。这样当w 相对较大（接近1）时，φ的值将主要落在区间[w w 21?+, w w 21++]内。在这种条件下，w 越小则PSO 算法的局部搜索能力越强这一观点成立。随机参数对算法性能的影响我们在下节将继续讨论。 3.3 随机参数与其它粒子的影响 在定理2中我们没有考虑其它粒子对粒子i 的影响，并假设粒子位置的平衡点p （p 不 一定是全局或局部极值点）保持不变。事实上，p 是p i 与 p g 的加权平均， 其权重取决于φ1，φ2。由于p i 或p g 的更新，都会使平衡点p 发生变化。即使p i 与 p g 保持不变，φ1与φ2的 随机变化也会引起平衡点p 的变化， 从而使粒子移向新的平衡点，粒子当前位置与平衡点的距离也发生变化。实际上，正是平衡点p 的不断变化维持着PSO 算法的搜索能力，否则粒子群中的所有粒子将会很快地收敛到p g 的很小邻域内，从而使种群陷入早熟。在PSO 算法收敛初期，粒子分布在一个较大的空间内，粒子的平均速度，粒子间个体最优位置的平均距离，粒子当前位置到平衡点的平均距离都较大，而且粒子个体最优位置的更新频率也相对较高。因此，粒子个体最优位置的更新或φ1与φ2的随机变化会引起平衡点p 的较大变化，这样粒子就不会连续多代以指数形式收敛到某一固定的平衡点或小区域，从而使粒子当前位置与平衡点的平均距离不会迅速地减小，算法可以在收敛初期维持较大的探索能力。而到了收敛阶段后期，粒子个体最优位置相对集中在一个较小的区域，此时由于粒子个体最优位置更新或φ1与φ2的随机变化引起的平衡点p 的变化也较小，从而使粒子连续多代向同一较小的区域收敛，并集中在一个小区域内搜索，此时算法以开发能力为主。PSO 算法这种前期以探索为主后期以开发为主的搜索模式也是它获得成功的一个关键因素。另外，标准PSO 算 法中φ1与φ2的随机变化， 也会引起系统特征值大小与形式的变化，从而使粒子的搜索模式，探索与开发能力的平衡点也不断地变化，这总体上可能有助于增加粒子群的多样性。 4．结论 利用离散时间线性动态系统理论，本文推导出了确定性标准PSO 算法收敛，临界稳定与发散的充分必要条件。根据理论分析结果，给出了PSO 算法参数选择的指导方法，讨论了随机参数对算法性能的影响，分析了不同收敛阶段PSO 算法探索与开发能力的平衡问题。这些理论分析结果有助于我们加深对PSO 算法的理解及在实际中选用合适的参数以提高PSO 算法的效率。今后的工作是进一步从理论上深入研究随机参数对PSO 算法收敛性能的影响，并根据理论分析结果设计自适应变化的参数，以更好地平衡算法的探索与开发能力。 参考文献 [1] J. Kennedy, R.C. Eberhart. Particle swarm optimization[C]. Proceedings of the IEEE International Joint Conference on Neural Networks, Piscataway: IEEE Press, 1995. 1942–1948. [2]谢晓锋，张文俊，杨之廉. 微粒群算法综述[J]. 控制与决策，2003，18(2): 129-134 [3] M. Clerc, J. Kennedy. The particle swarm: explosion stability and convergence in a multi-dimensional complex space[J]. IEEE Trans. On Evolutionary Computation, 2002, 6 (1) 58–73. [4] I. C. Trelea. The particle swarm optimization algorithm: Convergence analysis and parameter selection[J]. Information Processing Letters, 2003, 85 (6): 317–325. [5] F. van den Bergh, A.P. Engelbrecht. A study of particle swarm optimization particle trajectories[J]. Information Science, 2006, 176 (8): 937-971 [6] 潘峰，陈杰，甘明刚等. 粒子群优化算法模型分析[J]. 自动化学报，2006，32(3): 368-377 [7] Visakan Kadirkamanathan, Kirusnapillai Selvarajah, Peter J. Fleming. Stability Analysis of the Particle Dynamics in Particle Swarm Optimizer[J]. IEEE Trans. On Evolutionary Computation, 2006, 10 (3): 245-255 [8] Shi, Y. and Eberhart, R. C., A modified particle swarm optimizer[C]. Proceedings of the IEEE International Conference on Evolutionary Computation. Piscataway: IEEE Press, 1998. 69-73. Convergence Analysis and Parameters Selection of Standard Particle Swarm Optimization Algorithm Lin Chuan，Feng Quanyuan School of Information Science and Technology，Southwest Jiaotong University，Chengdu, (610031) Abstract Based on the discrete time linear dynamic system theory, the formal sufficient and necessary condition for the deterministic standard PSO algorithm to converge to equilibrium point, diverge to infinity or oscillate within a range is derived. Several simulation results of particle trajectories are given to illustrate and verify the theory analysis. Based on the theory analysis, a general guideline for parameters selection is provided; the effect of randomness is discussed and the exploration and exploitation tradeoff of PSO algorithm at different stages is analyzed. It is also pointed out that, strictly speaking, the currently popular view that small inertia weight will facilitate a local search is not accurate enough. It should be used carefully in practice. Keywords：Particle swarm，Stochastic Optimization，Convergence analysis，Parameter selection 作者简介：林川（1980-）男，福建福州人，博士研究生，通信与信息系统专业。 毕业论文 题目粒子群算法及其参数设置专业信息与计算科学 班级计算061 学号3060811007 学生xx 指导教师徐小平 2016年 I 粒子群优化算法及其参数设置 专业：信息与计算科学 学生： xx 指导教师：徐小平 摘要 粒子群优化是一种新兴的基于群体智能的启发式全局搜索算法，粒子群优化算法通过粒子间的竞争和协作以实现在复杂搜索空间中寻找全局最优点。它具有易理解、易实现、全局搜索能力强等特点，倍受科学与工程领域的广泛关注，已经成为发展最快的智能优化算法之一。论文介绍了粒子群优化算法的基本原理，分析了其特点。论文中围绕粒子群优化算法的原理、特点、参数设置与应用等方面进行全面综述，重点利用单因子方差分析方法，分析了粒群优化算法中的惯性权值，加速因子的设置对算法基本性能的影响，给出算法中的经验参数设置。最后对其未来的研究提出了一些建议及研究方向的展望。 关键词：粒子群优化算法；参数；方差分析；最优解 II Particle swarm optimization algorithm and its parameter set Speciality: Information and Computing Science Student: Ren Kan Advisor: Xu Xiaoping Abstract Particle swarm optimization is an emerging global based on swarm intelligence heuristic search algorithm, particle swarm optimization algorithm competition and collaboration between particles to achieve in complex search space to find the global optimum. It has easy to understand, easy to achieve, the characteristics of strong global search ability, and has never wide field of science and engineering concern, has become the fastest growing one of the intelligent optimization algorithms. This paper introduces the particle swarm optimization basic principles, and analyzes its features. Paper around the particle swarm optimization principles, characteristics, parameters settings and applications to conduct a thorough review, focusing on a single factor analysis of variance, analysis of the particle swarm optimization algorithm in the inertia weight, acceleration factor setting the basic properties of the algorithm the impact of the experience of the algorithm given parameter setting. Finally, its future researched and prospects are proposed. Key word：Particle swarm optimization; Parameter; Variance analysis; Optimal solution III 1.Pso算法 function [xm,fv] = SAPSO( fitness,N,c1,c2,wmax,wmin,M ) % fitness 适应度函数 % N 种群个数 % c1 % c2 % wmax 最大权重 % wmin 最小权重 % M 迭代次数 cg=32;%传感器个数 format long; %-----------------------初始化种群个体 ------------------------------------- for i=1:N %粒子个数为n a1=-17.5:10:12.5; a11=a1*(i+5)/10; [a2,a3]=meshgrid(a1,a11); a4=reshape(a2,1,16); a5=reshape(a3,1,16); b1=-12.5:10:17.5; b11=b1*(i+5)/10; [b2,b3]=meshgrid(b1,b11); b4=reshape(b2,1,16); b5=reshape(b3,1,16); x11=[a4,b4;a5,b5]+20;%ó|ó?μè±èàyà?é￠y1ì?¨ x(:,:,i)=x11';%初始化传感器个数为20 v(:,:,i)=10*rand(cg,2); end %----------------------计算各个粒子适应度------------------------------for i=1:N; p(i)=fitness(x(:,:,i)); y(:,:,i)=x(:,:,i); end pg=x(:,:,N); %pg为全局最优 for i=1:(N-1) if fitness(x(:,:,i)) 粒子群优化算法综述 摘要：本文围绕粒子群优化算法的原理、特点、改进与应用等方面进行全面综述。侧重于粒子群的改进算法，简短介绍了粒子群算法在典型理论问题和实际工业对象中的应用，并给出了粒子群算三个重要的网址，最后对粒子群算做了进一步展望。 关键词；粒子群算法；应用；电子资源；综述 0.引言 粒子群优化算法]1[(Particle Swarm Optimization ，PSO)是由美国的Kenned 和Eberhar 于1995年提出的一种优化算法,该算法通过模拟鸟群觅食行为的规律和过程，建立了一种基于群智能方法的演化计算技术。由于此算法在多维空间函数寻优、动态目标寻优时有实现容易，鲁棒性好，收敛快等优点在科学和工程领域已取得很好的研究成果。 1. 基本粒子群算法]41[- 假设在一个D 维目标搜索空间中，有m 个粒子组成一个群落，其中地i 个粒子组成一个D 维向量，),,,(21iD i i i x x x x =，m i ,2,1=，即第i 个粒子在D 维目标搜索空间中的位置是i x 。换言之，每个粒子 的位置就是一个潜在的解。将i x 带入一个目标函数就可以计算出其适 应值，根据适应值得大小衡量i x 的优劣。第i 个粒子的飞翔速度也是一个D 维向量，记为),,,(21iD i i i v v v v =。记第i 个粒子迄今为止搜索到的最优位置为),,,(21iD i i i p p p p =，整个粒子群迄今为止搜索到的最优位置为),,,(21gD gi g g p p p p =。 粒子群优化算法一般采用下面的公式对粒子进行操作 )()(22111t id t gd t id t id t id t id x p r c x p r c v v -+-+=+ω (1) 11+++=t id t id t id v x x (2) 式中，m i ,,2,1 =；D d ,,2,1 =；ω是惯性权重， 1c 和2c 是非负常数， 称为学习因子， 1r 和2r 是介于]1,0[间的随机数；],[max max v v v id -∈，max v 是常数，由用户设定。 2. 粒子群算法的改进 与其它优化算法一样PSO 也存在早熟收敛问题。随着人们对算 法搜索速度和精度的不断追求，大量的学者对该算法进行了改进，大致可分为以下两类：一类是提高算法的收敛速度；一类是增加种群多样性以防止算法陷入局部最优。以下是对最新的这两类改进的总结。 2.1.1 改进收敛速度 量子粒子群优化算法]5[:在量子系统中，粒子能够以某一确定的 概率出现在可行解空间中的任意位置，因此，有更大的搜索范围，与传统PSO 法相比，更有可能避免粒子陷入局部最优。虽然量子有更大的搜索空间，但是在粒子进化过程中，缺乏很好的方向指导。针对这个缺陷，对进化过程中的粒子进行有效疫苗接种，使它们朝着更好的进化方向发展，从而提高量子粒子群的收敛速度和寻优能力。 文化粒子群算法]6[:自适应指导文化PSO 由种群空间和信念空间 两部分组成。前者是基于PSO 的进化，而后者是基于信念文化的进化。两个空间通过一组由接受函数和影响函数组成的通信协议联系在一起，接受函数用来收集群体空间中优秀个体的经验知识；影响函数利用解决问题的知识指导种群空间进化；更新函数用于更新信念空间； 粒子群算法综述 【摘要】：粒子群算法(pso)是一种新兴的基于群体智能的启发式全局搜索算法，具有易理解、易实现、全局搜索能力强等特点，倍受科学与工程领域的广泛关注，已得到广泛研究和应用。为了进一步推广应用粒子群算法并为深入研究该算法提供相关资料，本文对目前国内外研究现状进行了全面分析，在论述粒子群算法基本思想的基础上，围绕pso的运算过程、特点、改进方式与应用等方面进行了全面综述，并给出了未来的研究方向展望。 【关键词】：粒子群算法优化综述 优化理论的研究一直是一个非常活跃的研究领域。它所研究的问题是在多方案中寻求最优方案。人们关于优化问题的研究工作，随着历史的发展不断深入，对人类的发展起到了重要的推动作用。但是，任何科学的进步都受到历史条件的限制，直到二十世纪中期，由于高速数字计算机日益广泛应用，使优化技术不仅成为迫切需要，而且有了求解的有力工具。因此，优化理论和算法迅速发展起来，形成一门新的学科。至今已出现线性规划、整数规划、非线性规划、几何规划、动态规划、随机规划、网络流等许多分支。这些优化技术在诸多工程领域得到了迅速推广和应用，如系统控制、人工智能、生产调度等。随着人类生存空间的扩大，以及认识世界和改造世界范围的拓宽，常规优化法如牛顿法、车辆梯度法、模式搜索法、单纯形法等已经无法处理人们所面的复杂问题，因此高效的 优化算法成为科学工作者的研究目标之一。 1.粒子群算法的背景 粒子群算法(particle swarm optimization，pso)是一种新兴的演化算法。该算法是由j.kennedy和r.c.eberhart于1995年提出的一种基于群智能的随机优化算法。这类算法的仿生基点是：群集动物(如蚂蚁、鸟、鱼等)通过群聚而有效的觅食和逃避追捕。在这类群体的动物中，每个个体的行为是建立在群体行为的基础之上的，即在整个群体中信息是共享的，而且在个体之间存在着信息的交换与协作。如在蚁群中，当每个个体发现食物之后，它将通过接触或化学信号来招募同伴，使整个群落找到食源；在鸟群的飞行中，每只鸟在初始状态下处于随机位置，且朝各个方向随机飞行，但随着时间推移，这些初始处于随机状态的鸟通过相互学习(相互跟踪)组织的聚集成一个个小的群落，并以相同的速度朝着相同的方向飞行，最终整个群落聚集在同一位置──食源。这些群集动物所表现的智能常称为“群体智能”，它可表述为：一组相互之间可以进行直接通讯或间接通讯(通过改变局部环境)的主体，能够通过合作对问题进行分布求解。换言之，一组无智能的主体通过合作表现出智能行为特征。粒子群算法就是以模拟鸟的群集智能为特征，以求解连续变量优化问题为背景的一种优化算法。因其概念简单、参数较少、易于实现等特点，自提出以来已经受到国内外研究者的高度重视并被广泛应用于许多领域。 基本粒子群算法的原理和matlab程序 作者——niewei120（nuaa） 一、粒子群算法的基本原理 粒子群优化算法源自对鸟群捕食行为的研究，最初由Kennedy和Eberhart提出，是一种通用的启发式搜索技术。一群鸟在区域中随机搜索食物，所有鸟知道自己当前位置离食物多远，那么搜索的最简单有效的策略就是搜寻目前离食物最近的鸟的周围区域。PSO 算法利用这种模型得到启示并应用于解决优化问题。PSO 算法中，每个优化问题的解都是粒子在搜索 空间中的位置，所有的粒子都有一个被优化的目标函数所决定的适应值，粒子还有一个速度值决定它们飞翔的方向和距离，然后粒子群就追随当前的最优粒子在解空间中搜索。 PSO 算法首先在给定的解空间中随机初始化粒子群，待优化问题的变量数决定了解空间的维数。每个粒子有了初始位置与初始速度。然后通过迭代寻优。在每一次迭代中，每个粒子通过跟踪两个“极值”来更新自己在解空间中的空间位置与飞翔速度。第一个极值就是单个粒子本身在迭代过程中找到的最优解粒子，这个粒子叫做个体极值。另一个极值是种群所有粒子在迭代过程中所找到的最优解粒子，这个粒子是全局极值。上述的方法叫全局粒子群算法。如果不用种群所有粒子而只用其中一部分作为该粒子的邻居粒子，那么在所有邻居粒子中的极值就是局部极值，该方法称为局部PSO 算法。 速度、位置的更新方程表示为： 每个粒子自身搜索到的历史最优值p i ，p i=(p i1,p i2,....,p iQ)，i=1,2,3,....,n。所有粒子搜索到的最优值p g，p g=(p g1,p g2,....,p gQ)，注意这里的p g只有一个。 是保持原来速度的系数，所以叫做惯性权重。 是粒子跟踪自己历史最优值的权重系数，它表示粒子自身的认识，所以叫“认知”。通常设置为2。 是粒子跟踪群体最优值的权重系数，它表示粒子对整个群体知识的认识，所以叫做“社会知识”，经常叫做“社会”。通常设置为2。 是[0,1]区间内均匀分布的随机数。 是对位置更新的时候，在速度前面加的一个系数，这个系数我们叫做约束因子。通常设 置为1 。 粒子群优化算法(1)—粒子群优化算法简介 PSO算法就是模拟一群鸟寻找食物的过程，每个鸟就是PSO中的粒子，也就是我们需要求解问题的可能解，这些鸟在寻找食物的过程中，不停改变自己在空中飞行的位置与速度。大家也可以观察一下，鸟群在寻找食物的过程中，开始鸟群比较分散，逐渐这些鸟就会聚成一群，这个群忽高忽低、忽左忽右，直到最后找到食物。这个过程我们转化为一个数学问题。寻找函数y=1-cos(3*x)*exp(-x)的在[0,4]最大值。该函数的图形如下： 当x=0.9350-0.9450，达到最大值y=1.3706。为了得到该函数的最大值，我们在[0, 4]之间随机的洒一些点，为了演示，我们放置两个点，并且计算这两个点的函数值，同时给这两个点设置在[0, 4]之间的一个速度。下面这些点就会按照一定的公式更改自己的位置，到达新位置后，再计算这两个点的值，然后再按照一定的公式更新自己的位置。直到最后在y=1.3706这个点停止自己的更新。这个过程与粒子群算法作为对照如下： 这两个点就是粒子群算法中的粒子。 该函数的最大值就是鸟群中的食物。 计算两个点函数值就是粒子群算法中的适应值，计算用的函数就是粒子群算法中的适应度函数。 更新自己位置的公式就是粒子群算法中的位置速度更新公式。 下面演示一下这个算法运行一次的大概过程： 第一次初始化 第一次更新位置 第二次更新位置 第21次更新 最后的结果（30次迭代） 最后所有的点都集中在最大值的地方。 粒子群优化算法(2)—标准粒子群优化算法 在上一节的叙述中，唯一没有给大家介绍的就是函数的这些随机的点（粒子）是如何运动的，只是说按照一定的公式更新。这个公式就是粒子群算法中的位置速度更新公式。下面就介绍这个公式是什么。在上一节中我们求取函数y=1-cos(3*x)*exp(-x)的在[0, 4]最大值。并在[0,4]之间放置了两个随机的点，这些点的坐标假设为x1=1.5，x2=2.5；这里的点是一个标量，但是我们经常遇到的问题可能是更一般的情况—x 为一个矢量的情况，比如二维z=2*x1+3*x22的情况。这个时候我们的每个粒子均为二维，记粒子P1＝(x11,x12),P2=(x21,x22),P3=(x31,x32)，......Pn=(xn1,xn2)。这里n 为粒子群群体的规模，也就是这个群中粒子的个数，每个粒子的维数为2。更一般的是粒子的维数为q ，这样在这个种群中有n 个粒子，每个粒子为q 维。 由n 个粒子组成的群体对Q 维（就是每个粒子的维数）空间进行搜索。每个粒子表示为：x i ＝（x i1,x i2,x i3,...,x iQ ），每个粒子对应的速度可以表示为v i =(v i1,v i2,v i3,....,v iQ )，每个粒子在搜索时要考虑两个因素： 1. 自己搜索到的历史最优值 p i ，p i =(p i1,p i2,....,p iQ )，i=1,2,3,....,n ； 2. 全部粒子搜索到的最优值p g ，p g =(p g1,p g2,....,p gQ )，注意这里的p g 只有一个。 下面给出粒子群算法的位置速度更新公式： 112()()()()k k k k i i i i v v c rand pbest x c rand gbest x ω+=+??-+??-, 11k k k i i i x x av ++=+. 这里有几个重要的参数需要大家记忆，因为在以后的讲解中将会经常用到，它们是： ω是保持原来速度的系数，所以叫做惯性权重。1c 是粒子跟踪自己历史最优值的权重系数，它表示粒子自身的认识，所以叫“认知”。通常设置为2。2c 是粒子跟踪群体最优值的权重系数，它表示粒子对整个群体知识的认识，所以叫做“社会知识”，经常叫做“社会”。通常设置为2。()rand 是[0,1]区间内均匀分布的随机数。a 是对位置更新的时候，在速度前面加的一个系数，这个系数我们叫做约束因子。通常设置为1。这样一个标准的粒子群算法就介绍结束了。下图是对整个基本的粒子群的过程给一个简单的图形表示。 判断终止条件可是设置适应值到达一定的数值或者循环一定的次数。 注意：这里的粒子是同时跟踪自己的历史最优值与全局（群体）最优值来改变自己的位置预速度的，所以又叫做全局版本的标准粒子群优化算法。 粒子群算法解决函数优化问题 1、群智能算法研究背景 粒子群优化算法（Particle Swarm Optimization，PSO）是由Kennedy 和Eberhart 在研究鸟类和鱼类的群体行为基础上于1995 年提出的一种群智能算法，其思想来源于人工生命和演化计算理论，模仿鸟群飞行觅食行为，通过鸟集体协作使群体达到优。 PSO算法作为一种新的群智能算法，可用于解决大量非线性、不可微和多峰值的复杂函数优化问题，并已广泛应用于科学和工程领域，如函数优化、神经网络训练、经济调度、模式识别与分类、结构设计、电磁场和任务调度等工程优化问题等。 PSO算法从提出到进一步发展，仅仅经历了十几年的时间，算法的理论基础还很薄弱，自身也存在着收敛速度慢和早熟的缺陷。如何加快粒子群算法的收敛速度和避免出现早熟收敛，一直是大多数研究者关注的重点。因此，对粒子群算法的分析改进不仅具有理论意义，而且具有一定的实际应用价值。 2、国内外研究现状 对PSO算法中惯性权重的改进：Poli等人在速度更新公式中引入惯性权重来更好的控制收敛和探索，形成了当前的标准PSO算法。 研究人员进行了大量的研究工作，先后提出了线性递减权值( LDIW)策略、模糊惯性权值( FIW) 策略和随机惯性权值( RIW) 策略。其中，FIW 策略需要专家知识建立模糊规则，实现难度较大，RIW 策略被用于求解动态系统，LDIW策略相对简单且收敛速度快， 任子晖，王坚于2009 年，又提出了基于聚焦距离变化率的自适应惯性权重PSO算法。 郑春颖和郑全弟等人，提出了基于试探的变步长自适应粒子群算 法。这些改进的PSO算法既保持了搜索速度快的特点, 又提高了全局搜索的能力。 对PSO算法的行为和收敛性的分析：1999 年采用代数方法对几种典型PSO算法的运行轨迹进行了分析，给出了保证收敛的参数选择范围。在收敛性方面Fransvan den Bergh引用Solis和Wets关于随机性算法的收敛准则，证明了标准PSO算法不能收敛于全局优解，甚至于局部优解；证明了保证收敛的PSO算法能够收敛于局部优解，而不能保证收敛于全局优解。 国内的学者：2006 年，刘洪波和王秀坤等人对粒子群优化算法的收敛性进行分析，指出它在满足收敛性的前提下种群多样性趋于减小，粒子将会因速度降低而失去继续搜索可行解的能力，提出混沌粒子群优化算法。 2008 年，黄翀鹏和熊伟丽等人分析惯性权值因子大小对PSO算法收敛性所带来的影响，对粒子群算法进行了改进。2009 年，高浩和冷文浩等人，分析了速度因子对微粒群算法影响，提出了一种基于Gaussian 变异全局收敛的粒子群算法。并证明了它能以概率 1 收敛到全局优解。 2010 年，为提高粒子群算法的收敛性,提出了基于动力系统的稳定性理论，对惯性权重粒子群模型的收敛性进行了分析，提出了使得在算法模型群模型收敛条件下的惯性权重和加速系数的参数约束关系，使算法在收敛性方面具有显著优越性。在PSO算法中嵌入别的算法的思想和技术。 1997年，李兵和蒋慰孙提出混沌优化方法； 1998年，Angeline在PSO算法中引入遗传算法中的选择算子，该算法虽然加快了算法的收敛速度，但同时也使算法陷入局部优的概率大增，特别是在优化Griewank 基准函数的优值时得到的结果不理想； 2004 年，高鹰和谢胜利将混沌寻优思想引入到粒子群优化算法中，首先对当前群体中的优粒子进行混沌寻优, 再用混沌寻优的结果随机替换群体中的一个粒子，这样提出另一种混沌粒子群优化算法。 4.1粒子群算法基本原理 粒子群优化算法[45]最原始的工作可以追溯到1987年Reynolds 对鸟群社会系统Boids （Reynolds 对其仿真鸟群系统的命名）的仿真研究 。通常，群体的行为可以由几条简单的规则进行建模，虽然每个个体具有简单的行为规则，但是却群体的行为却是非常的复杂，所以他们在鸟类仿真中，即Boids 系统中采取了下面的三条简单的规则： （1）飞离最近的个体(鸟)，避免与其发生碰撞冲突； （2）尽量使自己与周围的鸟保持速度一致； （3）尽量试图向自己认为的群体中心靠近。 虽然只有三条规则，但Boids 系统已经表现出非常逼真的群体聚集行为。但Reynolds 仅仅实现了该仿真，并无实用价值。 1995年Kennedy [46-48]和Eberhart 在Reynolds 等人的研究基础上创造性地提出了粒子群优化算法，应用于连续空间的优化计算中 。Kennedy 和Eberhart 在boids 中加入了一个特定点，定义为食物，每只鸟根据周围鸟的觅食行为来搜寻食物。Kennedy 和Eberhart 的初衷是希望模拟研究鸟群觅食行为，但试验结果却显示这个仿真模型蕴含着很强的优化能力，尤其是在多维空间中的寻优。最初仿真的时候，每只鸟在计算机屏幕上显示为一个点，而“点”在数学领域具有多种意义，于是作者用“粒子（particle ）”来称呼每个个体，这样就产生了基本的粒子群优化算法[49]。 假设在一个D 维搜索空间中，有m 个粒子组成一粒子群，其中第i 个粒子的空间位置为123(,,,...,)1,2,...,i i i i iD X x x x x i m ==，它是优化问题的一个潜在解，将它带入优化目标函数可以计算出其相应的适应值，根据适应值可衡量i x 的优劣；第i 个粒子所经历的最好位置称为其个体历史最好位置，记为123(,,,...,)1,2,...,i i i i i D P p p p p i m ==，相应的适应值为个体最好适应值 Fi ；同时，每个粒子还具有各自的飞行速度123(,,,...,)1,2,...,i i i i iD V v v v v i m ==。所有粒子经历过的位置中的最好位置称为全局历史最好位置，记为 主函数源程序（main.m） %------基本粒子群优化算法（Particle Swarm Optimization）-----------%------名称：基本粒子群优化算法（PSO） %------作用：求解优化问题 %------说明：全局性，并行性，高效的群体智能算法 %------初始格式化--------------------------------------------------clear all; clc; format long; %------给定初始化条件---------------------------------------------- c1=1.4962;%学习因子1 c2=1.4962;%学习因子2 w=0.7298;%惯性权重 MaxDT=1000;%最大迭代次数 D=10;%搜索空间维数（未知数个数） N=40;%初始化群体个体数目 eps=10^(-6);%设置精度(在已知最小值时候用) %------初始化种群的个体(可以在这里限定位置和速度的范围)------------for i=1:N for j=1:D x(i,j)=randn;%随机初始化位置 v(i,j)=randn;%随机初始化速度 end end %------先计算各个粒子的适应度，并初始化Pi和Pg----------------------for i=1:N p(i)=fitness(x(i,:),D); y(i,:)=x(i,:); end pg=x(1,:);%Pg为全局最优 for i=2:N if fitness(x(i,:),D) 摘要 在智能领域，大部分问题都可以归结为优化问题。常用的经典优化算法都对问题有一定的约束条件，如要求优化函数可微等，仿生算法是一种模拟生物智能行为的优化算法，由于其几乎不存在对问题的约束，因此，粒子群优化算法在各种优化问题中得到广泛应用。 本文首先描述了基本粒子群优化算法及其改进算法的基本原理,对比分析粒子群优化算法与其他优化算法的优缺点，并对基本粒子群优化算法参数进行了简要分析。根据分析结果,研究了一种基于量子的粒子群优化算法。在标准测试函数的优化上粒子群优化算法与改进算法进行了比较,实验结果表明改进的算法在优化性能明显要优于其它算法。本文算法应用于支持向量机参数选择的优化问题上也获得了较好的性能。最后,对本文进行了简单的总结和展望。 关键词：粒子群优化算法最小二乘支持向量机参数优化适应度 目录 摘要...................................................................... I 目录....................................................................... II 1.概述. (1) 1.1引言 (1) 1.2研究背景 (1) 1.2.1人工生命计算 (1) 1.2.2 群集智能理论 (2) 1.3算法比较 (2) 1.3.1粒子群算法与遗传算法(GA)比较 (2) 1.3.2粒子群算法与蚁群算法(ACO)比较 (3) 1.4粒子群优化算法的研究现状 (4) 1.4.1理论研究现状 (4) 1.4.2应用研究现状 (5) 1.5粒子群优化算法的应用 (5) 1.5.1神经网络训练 (6) 1.5.2函数优化 (6) 1.5.3其他应用 (6) 1.5.4粒子群优化算法的工程应用概述 (6) 2.粒子群优化算法 (8) 2.1基本粒子群优化算法 (8) 2.1.1基本理论 (8) 2.1.2算法流程 (9) 2.2标准粒子群优化算法 (10) 2.2.1惯性权重 (10) 2.2.2压缩因子 (11) 2.3算法分析 (12) 2.3.1参数分析 (12) 2.3.2粒子群优化算法的特点 (14) 3.粒子群优化算法的改进 (15) 3.1粒子群优化算法存在的问题 (15) 3.2粒子群优化算法的改进分析 (15) 3.3基于量子粒子群优化(QPSO)算法 (17) 3.3.1 QPSO算法的优点 (17) 3.3.2 基于MATLAB的仿真 (18) 3.4 PSO仿真 (19) 3.4.1 标准测试函数 (19) 3.4.2 试验参数设置 (20) 3.5试验结果与分析 (21) 4.粒子群优化算法在支持向量机的参数优化中的应用 (22) 4.1支持向量机 (22) 4.2最小二乘支持向量机原理 (22) 粒子群算法(1)----粒子群算法简介 二、粒子群算法的具体表述 上面罗嗦了半天，那些都是科研工作者写论文的语气，不过，PSO的历史就像上面说的那样。下面通俗的解释PSO算法。 PSO算法就是模拟一群鸟寻找食物的过程，每个鸟就是PSO.中的粒子，也就是我们需要求解问题的可能解，这些鸟在寻找食物的过程中，不停改变自己在空中飞行的位置与速度。大家也可以观察一下，鸟群在寻找食物的过程中，开始鸟群比较分散，逐渐这些鸟就会聚成一群，这个群忽高忽低、忽左忽右，直到最后找到食物。这个过程我们转化为一个数学问题。寻找函数y=1-cos(3*x)*exp(-x)的在[0,4]最大值。该函数的图形如下： 当x=0.9350-0.9450，达到最大值y=1.3706。为了得到该函数的最大值，我们在[0，4]之间随机的洒一些点，为了演示，我们放置两个点，并且计算这两个点的函数值，同时给这两个点设置在[0，4]之间的一个速度。下面这些点就会按照一定的公式更改自己的位置，到达新位置后，再计算这两个点的值，然后再按照一定的公式更新自己的位置。直到最后在y=1.3706这个点停止自己的更新。这个过程与粒子群算法作为对照如下： 这两个点就是粒子群算法中的粒子。 该函数的最大值就是鸟群中的食物 计算两个点函数值就是粒子群算法中的适应值，计算用的函数就是粒子群算法中的适应度函数。 更新自己位置的一定公式就是粒子群算法中的位置速度更新公式。 下面演示一下这个算法运行一次的大概过程： 第一次初始化 第一次更新位置 第二次更新位置 第21次更新 最后的结果（30次迭代） 最后所有的点都集中在最大值的地方。 附录 程序1 当22111==c c ，5.12212==c c ，2.1=w 。 a)%主函数源程序（main.m ） %------基本粒子群算法 （particle swarm optimization ） %------名称： 基本粒子群算法 %------初始格式化 clear all ; %清除所有变量 clc; %清屏 format long ; %将数据显示为长整形科学计数 %------给定初始条条件------------------ N=40; %3初始化群体个数 D=10; %初始化群体维数 T=100; %初始化群体最迭代次数 c11=2; %学习因子1 c21=2; %学习因子2 c12=1.5; c22=1.5; w=1.2; %惯性权重 eps=10^(-6); %设置精度（在已知最小值的时候用） %------初始化种群个体（限定位置和速度）------------ x=zeros(N,D); v=zeros(N,D); for i=1:N for j=1:D x(i,j)=randn; %随机初始化位置 v(i,j)=randn; %随机初始化速度 end end %------显示群位置---------------------- figure(1) for j=1:D if(rem(D,2)>0) subplot((D+1)/2,2,j) else subplot(D/2,2,j) end plot(x(:,j),'b*');grid on xlabel('粒子') ylabel('初始位置') tInfo=strcat('第',char(j+48),'维'); if(j>9) tInfo=strcat('第',char(floor(j/10)+48),char(rem(j,10)+48),'维'); end title(tInfo) end %------显示种群速度 figure(2) for j=1:D if(rem(D,2)>0) subplot((D+1)/2,2,j) else subplot(D/2,2,j) end plot(x(:,j),'b*');grid on xlabel('粒子') ylabel('初始速度') tInfo=strcat('第,char(j+48),'维'); if(j>9) tInfo=strcat('第',char(floor(j/10)+48), char(rem(j,10)+48),'维); end title(tInfo) end figure(3) 基于粒子群算法的控制系统 PID 参数优化设计 摘 要 本文主要研究基于粒子群算法控制系统PID 参数优化设计方法以及对PID 控制的 改进。PID 参数的寻优方法有很多种，各种方法的都有各自的特点，应按实际的系统特点选择适当的方法。本文采用粒子群算法进行参数优化，主要做了如下工作：其一，选择控制系统的目标函数，本控制系统选用时间乘以误差的绝对值，通过对控制系统的逐步仿真，对结果进行分析。由于选取的这个目标函数的解析式不能直接写出，故采用逐步仿真来实现；其二，本文先采用工程上的整定方法（临界比例度法）粗略的确定其初始的三个参数p K ，i K ，d K ，再利用粒子群算法进行寻优，得到更好的PID 参数；其三，采用SIMULINK 的仿真工具对PID 参数优化系统进行仿真，得出系统的响应曲线。从中发现它的性能指标，都比原来有了很大的改进。因此，采用粒子群算法的优越性是显而易见的。 关键词 目标函数；PID 参数；粒子群算法；优化设计；SIMULINK Optimal design of PID parameter of the control system based on Particle Swarm Optimization Abstract The main purpose of this paper is to study the optimal design of PID parameter of the control system based on Particle Swarm Optimization and find a way to improve the PID control. There are a lot of methods of optimization for the parameters of PID, and each of them has its own characteristics. The proper methods need to be selected according to the actual characteristics of the system. In this paper we adopt the Particle Swarm Optimization to tune the parameters. To finish it, the following tasks should be done. First, select the target function of the control system. The target function of the control system should be chosen as the absolute value of the error multiplied by time. Then we simulate the control system gradually, and analyze the results of the process. Because the solution of the target function cannot be worked out directly, this design adopts simulation gradually. Second, this paper adopts the engineering method (the critical ratio method) to determine its initial parameters p K ,i K ,d K , then uses the Particle Swarm Optimization to get a series better PID parameters. Third, this paper uses the tool of SIMULINK to optimize the parameters of PID and gets the response curve of the system. By contrast with the two response curves, it is clearly that the performance has improved a lot than the former one. Therefore, it is obviously to find the advantages in using the Particle Swarm Optimization. Key word : target function; PID parameters; Particle Swarm Optimization; optimal design; SIMULINK 基本粒子群算法的原理和matlab 程序 作者—— niewei120 （nuaa） 一、粒子群算法的基本原理 粒子群优化算法源自对鸟群捕食行为的研究，最初由Kennedy 和 Eberhart 提出，是一种通 用的启发式搜索技术。一群鸟在区域中随机搜索食物，所有鸟知道自己当前位置离食物多远， 那么搜索的最简单有效的策略就是搜寻目前离食物最近的鸟的周围区域。PSO 算法利用这种模型得到启示并应用于解决优化问题。PSO 算法中，每个优化问题的解都是粒子在搜索 空间中的位置，所有的粒子都有一个被优化的目标函数所决定的适应值，粒子还有一个速度值决定它们飞翔的方向和距离，然后粒子群就追随当前的最优粒子在解空间中搜索。 PSO 算法首先在给定的解空间中随机初始化粒子群，待优化问题的变量数决定了解空间的维数。每个粒子有了初始位置与初始速度。然后通过迭代寻优。在每一次迭代中，每个粒子通过跟踪两个“极值”来更新自己在解空间中的空间位置与飞翔速度。第一个极值就是单个粒子本身在迭代过程中找到的最优解粒子，这个粒子叫做个体极值。另一个极值是种群所有粒子在迭代过程中所找到的最优解粒子，这个粒子是全局极值。上述的方法叫全局粒子群算法。如果不用种群所有粒子而只用其中一部分作为该粒子的邻居粒子，那么在所有邻居粒子中的极值就是局部极值，该方法称为局部PSO 算法。 速度、位置的更新方程表示为： 每个粒子自身搜索到的历史最优值p i，p i=(p i1 ,p i2 ,....,p iQ )， i=1,2,3,....,n 。所有粒子搜索到的最优值p g， p g=(p g1 ,p g2,....,p gQ )，注意这里的p g只有一个。 是保持原来速度的系数，所以叫做惯性权重。 是粒子跟踪自己历史最优值的权重系数，它表示粒子自身的认识，所以叫“认知”。通常设置为 2 。 是粒子跟踪群体最优值的权重系数，它表示粒子对整个群体知识的认识，所以叫做“社会知识”，经常叫做“社会”。通常设置为2。 是[0,1] 区间内均匀分布的随机数。 是对位置更新的时候，在速度前面加的一个系数，这个系数我们叫做约束因子。通常设 置为 1 。 启发式优化算法综述 一、启发式算法简介 1、定义 由于传统的优化算法如最速下降法，线性规划，动态规划，分支定界法，单纯形法，共轭梯度法，拟牛顿法等在求解复杂的大规模优化问题中无法快速有效地寻找到一个合理可靠的解，使得学者们期望探索一种算法:它不依赖问题的数学性能，如连续可微，非凸等特性; 对初始值要求不严格、不敏感，并能够高效处理髙维数多模态的复杂优化问题，在合理时间内寻找到全局最优值或靠近全局最优的值。于是基于实际应用的需求，智能优化算法应运而生。智能优化算法借助自然现象的一些特点，抽象出数学规则来求解优化问题，受大自然的启发，人们从大自然的运行规律中找到了许多解决实际问题的方法。对于那些受大自然的运行规律或者面向具体问题的经验、规则启发出来的方法，人们常常称之为启发式算法（Heuristic Algorithm）。 为什么要引出启发式算法，因为NP问题，一般的经典算法是无法求解，或求解时间过长，我们无法接受。因此，采用一种相对好的求解算法，去尽可能逼近最优解，得到一个相对优解，在很多实际情况中也是可以接受的。启发式算法是一种技术，这种技术使得在可接受的计算成本内去搜寻最好的解，但不一定能保证所得的可行解和最优解，甚至在多数情况下，无法阐述所得解同最优解的近似程度。 启发式算法是和问题求解及搜索相关的，也就是说,启发式算法是为了提高搜索效率才提出的。人在解决问题时所采取的一种根据经验规则进行发现的方法。其特点是在解决问题 时,利用过去的经验,选择已经行之有效的方法，而不是系统地、以确定的步骤去寻求答案，以随机或近似随机方法搜索非线性复杂空间中全局最优解的寻取。启发式解决问题的方法是与算法相对立的。算法是把各种可能性都一一进行尝试，最终能找到问题的答案，但它是在很大的问题空间内，花费大量的时间和精力才能求得答案。启发式方法则是在有限的搜索空间内，大大减少尝试的数量，能迅速地达到问题的解决。 2、发展历史 启发式算法的计算量都比较大，所以启发式算法伴随着计算机技术的发展，才能取得了巨大的成就。纵观启发式算法的历史发展史： 40年代：由于实际需要，提出了启发式算法（快速有效）。 50年代：逐步繁荣，其中贪婪算法和局部搜索等到人们的关注。 60年代: 反思，发现以前提出的启发式算法速度很快，但是解得质量不能保证，而且对大规模的问题仍然无能为力（收敛速度慢）。 70年代：计算复杂性理论的提出，NP问题。许多实际问题不可能在合理的时间范围内找到全局最优解。发现贪婪算法和局部搜索算法速度快，但解不好的原因主要是他们只是在局部的区域内找解，等到的解没有全局最优性。由此必须引入新的搜索机制和策略。 Holland的遗传算法出现了（Genetic Algorithm）再次引发了人们研究启发式算法的兴趣。 80年代以后：模拟退火算法（Simulated Annealing Algorithm），人工神经网络（Artificial Neural Network），禁忌搜索（Tabu Search）相继出现。 最近比较火热的：演化算法（Evolutionary Algorithm）, 蚁群算法（Ant Algorithms），拟人拟物算法，量子算法等。粒子群优化算法及其参数设置
matlab粒子群优化算法进行传感器优化配置程序
粒子群优化算法综述
粒子群算法综述
(完整word版)基本粒子群算法的原理和matlab程序
粒子群优化算法介绍及matlab程序
粒子群算法解决函数优化问题
粒子群算法基本原理
基本粒子群算法的matlab源程序
粒子群优化算法及其应用研究【精品文档】(完整版)
粒子群算法(1)----粒子群算法简介
粒子群优化算法及其参数设置
基于粒子群算法的控制系统PID参数优化设计
(完整word版)基本粒子群算法的原理和matlab程序.doc
启发式优化算法综述【精品文档】(完整版)