智能优化算法课件
现代优化方法综述
1.引言 优化设计英文名是optimization design，从多种方案中选择最佳方案的设计方法。它以数学中的最优化理论为基础，以计算机为手段，根据设计所追求的性能目标，建立目标函数，在满足给定的各种约束条件下，寻求最优的设计方案。 第二次世界大战期间，在军事上首先应用了优化技术。1967年，美国的R.L.福克斯等发表了第一篇机构最优化论文。1970年，C.S.贝特勒等用几何规划解决了液体动压轴承的优化设计问题后，优化设计在机械设计中得到应用和发展。随着数学理论和电子计算机技术的进一步发展，优化设计已逐步形成为一门新兴的独立的工程学科，并在生产实践中得到了广泛的应用。通常设计方案可以用一组参数来表示，这些参数有些已经给定，有些没有给定，需要在设计中优选，称为设计变量。如何找到一组最合适的设计变量，在允许的范围内，能使所设计的产品结构最合理、性能最好、质量最高、成本最低（即技术经济指标最佳），有市场竞争能力，同时设计的时间又不要太长，这就是优化设计所要解决的问题。一般来说，优化设计有以下几个步骤：①建立数学模型。②选择最优化算法。③程序设计。 ④制定目标要求。⑤计算机自动筛选最优设计方案等。 2.数学模型 优化设计的数学模型是对优化设计工程问题的数学描述，它包含设计变量、目标函数和设计约束三个基本要素。 2.1设计变量 2.1.1基本参数 a、定义：在设计过程中进行选择变化并最终确定的各项独立参数称为设计变量。 b、说明：在设计选择过程中，这些设计变量是变量，但它们一旦被确定后，设计对象也 就完全确定了。最优化设计是研究怎样合理地优选这些设计变量的一种现代设计 方法。在设计过程中，凡根据设计要求事先给定的，不是设计变量而是设计常量。 2.1.2设计方案的表现形式 a、设计空间：由n个设计变量为坐标所组成的时空间称作设计空间。 b、设计变量的表示法 （1）坐标表示法：一维问题→一个设计变量→数轴上的一个点 二维问题→两个设计变量→平面直角坐标系上的向量 三维问题→三个设计变量→空间直角坐标系的向量
智能优化算法
智能计算读书报告（二） 智能优化算法 姓名：XX 学号：XXXX 班级：XXXX 联系方式：XXXXXX
一、引言 智能优化算法又称为现代启发式算法，是一种具有全局优化性能、通用性强、且适用于并行处理的算法。这种算法一般具有严密的理论依据，而不是单纯凭借专家的经验，理论上可以在一定时间内找到最优解或者近似最优解。所以，智能优化算法是一数学为基础的，用于求解各种工程问题优化解的应用科学，其应用非常广泛，在系统控制、人工智能、模式识别、生产调度、VLSI技术和计算机工程等各个方面都可以看到它的踪影。 最优化的核心是模型，最优化方法也是随着模型的变化不断发展起来的，最优化问题就是在约束条件的限制下，利用优化方法达到某个优化目标的最优。线性规划、非线性规划、动态规划等优化模型使最优化方法进入飞速发展的时代。 20世纪80年代以来，涌现出了大量的智能优化算法，这些新颖的智能优化算法被提出来解决一系列的复杂实际应用问题。这些智能优化算法主要包括：遗传算法，粒子群优化算法，和声搜索算法，差分进化算法，人工神经网络、模拟退火算法等等。这些算法独特的优点和机制，引起了国内外学者的广泛重视并掀起了该领域的研究热潮，并且在很多领域得到了成功地应用。 二、模拟退火算法（SA） 1. 退火和模拟退火 模拟退火算法(Simulated Annealing，SA)最早的思想是由N. Metropolis 等人于1953年提出。1983 年,S. Kirkpatrick 等成功地将退火思想引入到组合优化领域。它是基于Monte-Carlo迭代求解策略的一种随机寻优算法，其出发点是基于物理中固体物质的退火过程与一般组合优化问题之间的相似性。模拟退火算法从某一较高初温出发，伴随温度参数的不断下降,结合概率突跳特性在解空间中随机寻找目标函数的全局最优解，即在局部最优解能概率性地跳出并最终趋于全局最优。模拟退火算法是一种通用的优化算法，理论上算法具有概率的全局优化性能,目前已在工程中得到了广泛应用，诸如VLSI、生产调度、控制工程、机器学习、神经网络、信号处理等领域。 模拟退火算法是通过赋予搜索过程一种时变且最终趋于零的概率突跳性，从而可有效避免陷入局部极小并最终趋于全局最优的串行结构的优化算法。 模拟退火其实也是一种贪心算法，但是它的搜索过程引入了随机因素。模拟
智能优化算法综述
智能优化算法的统一框架 指导老师：叶晓东教授 姓名：李进阳 学号：2 班级：电磁场与微波技术5班 2011年6月20日
目录 1 概述 (3) 2群体智能优化算法.................................. 错误!未定义书签。 人工鱼群算法 (4) 蚁群算法 (5) 混合蛙跳算法 (9) 3神经网络算法 (10) 神经网络知识点概述 (10) 神经网络在计算机中的应用 (11) 4模拟退火算法 (15) 5遗传算法.......................................... 错误!未定义书签。 遗传算法知识简介 (17) 遗传算法现状 (18) 遗传算法定义 (19) 遗传算法特点和应用 (20) 遗传算法的一般算法 (21) 遗传算法的基本框架 (26) 6总结 (28) 7感谢 (29)
1概述 近年来，随着人工智能应用领域的不断拓广，传统的基于符号处理机制的人工智能方法在知识表示、处理模式信息及解决组合爆炸等方面所碰到的问题已变得越来越突出，这些困难甚至使某些学者对强人工智能提出了强烈批判，对人工智能的可能性提出了质疑。众所周知，在人工智能领域中，有不少问题需要在复杂而庞大的搜索空间中寻找最优解或准优解。像货朗担问题和规划问题等组合优化问题就是典型的例子。在求解此类问题时，若不能利用问题的固有知识来缩小搜索空间则会产生搜索的组合爆炸。因此，研究能在搜索过程中自动获得和积累有关搜索空间的知识，并能自适应地控制搜索过程，从而得到最优解或准有解的通用搜索算法一直是令人瞩目的课题。智能优化算法就是在这种背景下产生并经实践证明特别有效的算法。 2群体智能优化算法 自然界中群体生活的昆虫、动物,大都表现出惊人的完成复杂行为的能力。人们从中得到启发,参考群体生活的昆虫、动物的社会行为,提出了模拟生物系统中群体生活习性的群体智能优化算法。在群体智能优化算法中每一个个体都是具有经验和智慧的智能体 (Agent) ,个体之间存在互相作用机制,通过相互作用形成强大的群体智慧来解决复杂的问题。自 20世纪 90年代模拟蚂蚁行为的蚁群算法(ACO)提出以来,又产生了模拟鸟类行为的微粒群算法 ( PSO)、模拟鱼类生存习性的人工鱼群算法、模拟青蛙觅食的混合蛙跳算法 ( SFLA)等。这些群体智能优化算法的出现,使原来一些复杂的、难于用常规的优化算法进行处理的问题可以得到解决,大大增强了人们解决和处理优化问题的能力,这些算法不断地用于解决工程实际中的问题,使得人们投入更大的精力对其理论和实际应用进行研究。群体智能优化算法本质上是一种概率搜索,它不需要问题的梯度信息具有以下不同于传统优化算法的特点: ①群体中相互作用的个体是分布式的,不存在直接的中心控制,不会因为个别个体出现故障而影响群体对问题的求解,具有较强的鲁棒性; ②每个个体只能感知局部信息,个体的能力或遵循规则非常简单,所以群体智能的实现简单、方便; ③系统用于通信的开销较少,易于扩充; ④自
一种新型的智能优化方法—人工鱼群算法
浙江大学 博士学位论文 一种新型的智能优化方法—人工鱼群算法 姓名：李晓磊 申请学位级别：博士 专业：控制科学与工程 指导教师：钱积新 2003.1.1
加，，Ｚ掌博士学位论文一ＩＩＩ－ 摘要 （优化命题的解决存在于许多领域，对于国民经济的发展也有着巨大的应用前景。随着优化对象在复杂化和规模化等方面的提高，基于严格机理模型的传统优化方法在实施方面变得越来越困难。厂吖 本文将基于行为的人工智能思想通过动物自治体的模式引入优化命题的解决中，构造了一种解决问题的架构一鱼群模式，并由此产生了一种高效的智能优化算法一人工鱼群算法。 文中给出了人工鱼群算法的原理和详细描述，并对算法的收敛性能和算法中各参数对收敛性的影响等因素进行了分析；针对组合优化问题，给出了人工鱼群算法在其中的距离、邻域和中心等概念，并给出了算法在组合优化问题中的描述；针对大规模系统的优化问题，给出了基于分解协调思想的人工鱼群算法；给出了人工鱼群算法中常用的一些改进方法；给出了人工鱼群算法在时变系统的在线辨识和鲁棒ＰＩＤ的参数整定中两个应用实例ｊ最后指出了鱼群模式和算法的发展方向。 ｆ在应用中发现，人工鱼群算法具有以下主要特点： ?算法只需要比较目标函数值，对目标函数的性质要求不高； ?算法对初值的要求不高，初值随机产生或设定为固定值均可以； ?算法对参数设定的要求不高，有较大的容许范围； ?算法具备并行处理的能力，寻优速度较快； ?算法具备全局寻优的能力； 鱼群模式和鱼群算法从具体的实施算法到总体的设计理念，都不同于传统的设计和解决方法，同时它又具有与传统方法相融合的基础，相信鱼群模式和鱼群算法有着良好的应用前景。∥ ／ 关键词人工智能，集群智能，动物自治体，人工鱼群算法，ｆ优∥ ，ｌ／。７
现代优化设计方法的现状和发展趋势
M ac hi neBuil di ng Auto m atio n,D ec2007,36(6):5~6,9 现代优化设计方法的现状和发展趋势 王基维1,熊伟2,李会玲1,汪振华3 (1.宁波职业技术学院,浙江宁波315800;2.湖南生物机电职业技术学院,湖南长沙410126; 3.南京理工大学,江苏南京210094) 摘要:优化设计是近年来发展起来的一门新学科,为机械设计提供了一种重要的科学设计方 法。优化设计在解决复杂设计问题时,能从众多设计方案中寻到尽可能完美或最适宜的设计 方案。对现代优化设计方法进行了概括和总结,展望了现代优化设计的发展方向和发展趋势。 关键词:优化设计;机械设计;发展趋势 中图分类号:T H122文献标识码:B文章编号:167125276(2007)0620005202 Develop ing T rend on M odern O pt im a l Design M ethods WANG J i2wei1,XI ONG W ei2,LI H u i2li ng1,WANG Zhen2hua3 (1.Ni ngbo Voca ti on Te chno l ogy C o ll e ge,N i n gbo315800,C h i na; 2.Huna n B i o l ogy Me c ha ni c a la nd E l e c tri c a lP ro f e ss i ona lTe chno l ogy C o ll ege,C ha ngsha410126,C h i na; 3.Na n ji ng Un i ve rs ity o f S c i e nc e a nd Te chno l o gy,Na n ji ng210094,C h i n a) Abstr ac t:As a new d i s c i p l i ne,o p tm i a l de s i gn p rov i de s an m i p o rtan t sc i en tifi c de s i gn m e t h od f o r e ng i nee https://www.wendangku.net/doc/1516272392.html, i ng op tm i a ld es i gn, t he y can fi nd o ut a nea rl y pe rf e ct o r op tm i um des i gn s ch em e fr om l o ts o f feas i b l e ap p r o ache s.T he p ape r s um m a ri ze s t he de ve l o p i ng trend a nd d ir e cti o n o f t he m ode rn op tm i a l des i gn m e t hod s. K ey word s:op tm i a ld es i g n;m a ch i n e des i gn;de ve l o p t re nd 0引言 机械设计与制造是机械工程领域中最重要的内容,而机械设计又是机械制造的前提。优化设计(opti m a l de2 si gn)是近年来发展起来的一门新的学科,优化设计为机械设计提供了一种重要的科学设计方法,在机械设计上起着重要的作用,使得在解决复杂设计问题时,能从众多的设计方案中寻到尽可能完美的或最适宜的设计方案[1]。实践证明,在机械设计中采用优化设计方法,不仅可以减轻机械设备质量,降低材料消耗与制造成本,而且可以提高产品的品质和工作性能[2]。文中初步论述了机械优化设计方法的发展现状和趋势。 优化设计方法[3]是数学规划和计算机技术相结合的产物,它是一种将设计变量表示为产品性能指标、结构指标或运动参数指标的函数(称为目标函数),然后在产品规定的性态、几何和运动等其它条件的限制(称为约束条件)的范围内,寻找满足一个目标函数或多个目标函数最大或最小的设计变量组合的数学方法。优化设计方法已成为解决复杂设计问题的一种有效工具。 1优化设计方法及应用现状 优化设计的基础和核心是优化理论和算法。迄今为止,己有上百种优化方法提出,这里重点介绍以下几种优化方法[4,5]。 a)线性逼近法:线性逼近法SLP是将原非线性问题转化为一系列线性优化问题,通过求解线性优化问题得到原问题的近似解。根据形成线性优化的方法不同,可以得到不同的线性逼近法。常用的线性逼近法有近似规划法和割平面法; b)遗传算法[2,6,14]:遗传算法GA(genetic a l gorith m s)是一种基于生物自然选择与遗传机理的随机搜索算法。它是1962年首先由美国密执安大学的J.H.H olland教授提出、随后主要由他和他的一批学生发展起来的[7],并在1975年的专著中作了介绍,首先提出了以二进制串为基础的基因模式理论,用二进制位串来模拟生物群体的进化过程。进化结束时的二进制所对应的设计变量的值即为优化问题的解。GA方法的主要优点是具有很强的通用优化能力,它不需要导数信息,也不需要设计空间或函数的连续性条件,其优化搜索具有隐性并行性,可以多点同时在大空间中作快速搜索,因此有可能获得全局最优解。由于G A有着其他优化算法不可比拟的优点,因此,GA的应用非常广泛,取得大量研究应用成果。在结构优化设计方面的如离散结构的遗传形状优化设计[8]、悬臂扭转结构和梁结构的优化设计[9]、桁架和薄壁的结构优化问题[10]等。在文献[11]中对平面四杆机构的遗传优化设计进行了研究。文献[12]介绍了一个用于ZL40装载机的直齿圆锥齿轮差速器的优化设计问题,用GA中的实数编码进行优化求解,取群体大小为50,交叉率为0.2,变异率为0.5,经过120代的进化并经圆整后得到最优解。文献[15]中通过把机械方案设计过程看作是一个状态空间的求解问题,用遗传算法控制其搜索过程,完善了新的遗传编码体系,为了适应新的编码体系重新构建了交叉和变异等遗传操作,并利用复制、交换和变异等操作进行一次次迭代,最终自动生成一组最优的设计方案。 此外,G A还应用在函数优化、机械工程、结构优化、电工、神经网络、机器学习、自适应控制、故障诊断、系统工程调度和运输问题等诸多领域中[13]; #5 #
现代设计论文-优化设计
现代设计方法论文课题名称：现代设计—优化设计 班别：卓越交Y131 姓名：刘xx 学号; 2013002070xx 2015年7月
摘要：优化设计是在计算机广泛应用的基础上发展起来的一项新技术,是根据最优化原理和方法综合各方面因素,以人机配合方式或“自动探索”方式,在计算机上进行的半自动或自 动设计,以选出在现有工程条件下的最佳设计方案的一种现代设计方法。其设计原则是最优设 计:设计手段是电子计算机及计算程序;设计方法是采用最优化。 关键词：优化方法；数学模型；优化应用；MATLAB 一·现代设计——优化设计 优化设计主要包括两部分内容，一是优化设计的建模技术；另一是优化设计问题的求解 技术。如何将一个实际的设计问题抽象成一个优化设计问题，并建立起符合实际要求的优化 设计数学模型，这是优化技术的关键。建立实际问题的优化数学模型，不仅需要掌握优化设 计方法的基本理论，更重要的是要具有该设计领域的设计经验。 目前，它的内容主要包括优化设计、可靠性设计、设计方法学、计算机辅助设计、动态 设计、有限元法、工业艺术造型设计、人机工程、并行工程、价值工程、反求工程设计、模 块化设计、相似性设计、虚拟设计、疲劳设计、三次设计等。在运用它们进行工程设计时， 一般都以计算机作为分析、计算、综合、决策的工具。这些学科汇集成了一个设计学的新体 系，即现代设计方法。 设计的思想和方法一方面不断地影响着人类的生活与生产，推动社会的进步；另一方面又 受到社会发展的反作用，不断变化和更新。实际上所谓的“传统设计”和“现代设计”都只 是相对的概念。人们把当前认为先进的那部分系统称为现代的，而其余的自然成为传统的， 若干年后，目前先进的被新发展的东西所取代，而成为传统。从人类生产的进步来看，整个 设计进程大致经历了四个阶段。 1直觉设计阶段。既从自然现象中直接获得启示，或是全凭人的直观感受来设计，制作。2经 验设计阶段。3半理论半经验设计阶段。4现代设计阶段。电子计算机技术的发展和应用，使 设计工作产生了革命性的突变。 现代设计是面向市场面向用户的设计。首先，好的产品始于先进的设计理念和对市场需求 的深刻了解以及贯穿整个设计过程中的以人为本的信念。其次，设计要求对产品进行全寿命 周期设计。即在设计过程中要考虑设计，制造，安装，运行，维修和报废等每一个阶段中用 户的需求。也就是，设计不仅要实现产品的基本功能要求，还应该体现人性化和环境友好的 先进设计思想。此外，设计对象从最初的单一功能产品变为越来越复杂的系统。功能更加先 进和全面，因此需要在设计时运用集成，综合，系统的方法与技术来解决设计问题。 与传统设计相比，有如下一些特点。 1传统设计中灵感和经验的成分占有很大的比例。思维带有很大的被动性。但是，今天技
我对智能优化算法的认识
我对智能优化算法的认识 20世纪70年代以来，随着仿生学、遗传学和人工智能科学的发列展，形成了一系列新的优化算法——智能优化算法。智能优化算法是通过模拟某一自然现象或过程而建立起来的，他们具有适于高度并行、自组织、自学习与自适应等特征，为解决复杂问题提供了一种新的途径。它们不需要构造精确的数学方法，不需要进行繁杂的搜索，同大连简单的信息传播和演变方法来得的问题的最优解。 传统的智能优化算法包括进化算法、粒子群算法、禁忌搜索、分散搜索、模拟退火、人工模拟系统、蚁群算法、遗传算法、人工神经网络技术等等。随着智能优化算法的发展出现了一些新的算法如：萤火虫算法，随着遇到事物的复杂性显现出混合智能优化算法的优势。这些算法在农业、电子科技行业、计算机应用中有很大的作用。 在查看资料后，我发现传统的智能优化算法应用较广泛些。在2009年发表的一篇论文中，讲到了遗传算法可以成功解决函数优化问题。其上提到，利用遗传算法，根据函数创造一系列个体，计算适应度函数，模拟“优胜劣汰”的自然法则，选择优良个体交叉、随机产生后代等步骤解决函数优化问题。其中还提出了用蚁群算法求解传统方法难以解决的非凸、非线性非连续的优化问题。 11年发表的《浅谈几种智能优化算法》中介绍了几种典型传统的智能优化算法，并对它们（遗传算法、蚁群算法和粒子群算法等）做了详尽的分析，让人们对这几种算法有更深刻的认识。近年来，这些算法在运筹学、管理科学中也有重要的应用。另外，从近几年
发表论文可以看出典型的智能优化算法在解决传统难题方面的优势，及其广泛的应用。如蚁群算法在静态组合优化中可用来解决TSP 问题、QAP、JSP、VRP等；在动态组合优化中用于解决路由问题、电子系统故障诊断、模糊系统和设计无限数字响应器等。 随着其应用的的广泛，出现了一些新的算法，如微粒子群算法，可应用于化学过程的动态分析，蛋白质序列的模拟及光纤通信。还有95年提出的蜂群算法，该算法可应用于解决作业车间调度问题。02年提出的人工鱼群算法，在组合优化、参数估计、PID控制器的参数整定及神经网络优化等方面都有重要意义。 通过查看资料学习，我了解了智能优化算法在交通、物流、人工神经网络优化、生产调度、电力系统优化及电子科技行业的重要作用及应用，对智能优化算法的意义有更深刻的认识；有机会的话我会继续了解其发展和应用。 参考文献： [1]高炜欣，穆向阳，汤楠，等.Hopfield 神经网络在机组组合问题中的应用[J].计算机应用，2009，4：1028- 1031. [2]张炯，刘天琪，苏鹏，等.基于遗传粒子群混合算法的机组组合优化[J].电力系统保护与控制，2009，9（29）：25- 29. [3]刘海江，张春伟，徐君杰，等．基于遗传算法的白车身焊接机器人焊点分配[J]．同济大学学报(自然科学版)，2010，38(5)：725－728． [4]海丽切木?阿布来提.浅谈几种智能优化算法[J].电脑知识与技术,2011,中图分类号：TP301 文献标识码：A 文章编号：1009-3044(2011)19-4628-03.
群体智能方法在最优化问题的应用和未来
群体智能方法在最优化问题的应用和发展前景 姓名：曾燕亭学号：201110510133 班级：11计科1班 摘要：将遗传算法解决最优化问题，即将最优化问题转化为求解目标函数的最优解问题。关键词：遗传算法；最优化 1.定义 1.1定义及原理 顾名思义，群体智能即群其实质是将物理问题数字化，体产生的智能，与集体智慧类似。我们可以从两个方面来理解群体智能的含义。一方面，群体智能是自然界广泛存在的一种现象，指大量简单个体构成的群体按照简单的交互规则相互协作，完成了其中任何一个个体不可能单独完成的复杂任务。以蚁群为例，正如斯坦福大学生物学家D．Gordon的概括：蚂蚁很笨，但蚁群很聪明。另一方面，人们通过对这些群体行为的研究，逐步形成了群体智能理论，即研究大量个体的简单行动如何成为群体的高智能行为的理论。群体智能理论自20世纪80年代出现以来便吸引了众多研究者的关注，是人工智能及经济、社会、生物等交叉学科的热点和前沿领域，因此设计高效的优化算法成为众多科研工作者的研究目标。随着人类对生物启发式计算的研究, 一些社会性动物( 如蚁群、蜂群、鸟群) 的自组织行为引起了科学家的广泛关注。这些社会性动物在漫长的进化过程中形成了一个共同的特点: 个体的行为都很简单, 但当它们一起协同工作时, 却能够“突现”出非常复杂的行为特征。基于此,人们设计了许多优化算法,例如蚁群算法、粒子群优化算法、混合蛙跳算法、人工鱼群算法,并在诸多领域得到了成功应用。目前, 群智能理论研究领域主要有两种算法: 蚁群算法和粒子群优化算法。 群集智能优化算法源于对自然界的生物进化过程或觅食行为的模拟。它将搜索和优化过程模拟成个体的进化或觅食过程，用搜索空间中的点模拟自然界中的个体；将求解问题的目标函数度量成个体对环境的适应能力；将个体的优胜劣汰过程或觅食过程类比为搜索和优化过程中用好的可行解取代较差可行解的迭代过程。从而，形成了一种以“生成+检验”特征的迭代搜索算法，是一种求解极值问题的自适应人工智能技术。各类优化算法实质上都是建立问题的目标函数，求目标函数的最优解，因而实际工程优化问题均可转化为函数优化问题。其表达形式如下： 求：
第二十三章现代优化算法简介
第二十三章 现代优化算法简介 §1 现代优化算法简介 现代优化算法是80年代初兴起的启发式算法。这些算法包括禁忌搜索（tabu search ），模拟退火（simulated annealing ），遗传算法（genetic algorithms ），人工神经网络（neural networks ）。它们主要用于解决大量的实际应用问题。目前，这些算法在理论和实际应用方面得到了较大的发展。无论这些算法是怎样产生的，它们有一个共同的目标－求NP-hard 组合优化问题的全局最优解。虽然有这些目标，但NP-hard 理论限制它们只能以启发式的算法去求解实际问题。 启发式算法包含的算法很多，例如解决复杂优化问题的蚁群算法（Ant Colony Algorithms ）。有些启发式算法是根据实际问题而产生的，如解空间分解、解空间的限制等；另一类算法是集成算法，这些算法是诸多启发式算法的合成。 现代优化算法解决组合优化问题，如TSP （Traveling Salesman Problem ）问题，QAP （Quadratic Assignment Problem ）问题，JSP （Job-shop Scheduling Problem ）问题等效果很好。 本章我们只介绍模拟退火算法，初步介绍一下蚁群算法，其它优化算法可以参看相关的参考资料。 §2 模拟退火算法 2.1 算法简介 模拟退火算法得益于材料的统计力学的研究成果。统计力学表明材料中粒子的不同结构对应于粒子的不同能量水平。在高温条件下，粒子的能量较高，可以自由运动和重新排列。在低温条件下，粒子能量较低。如果从高温开始，非常缓慢地降温（这个过程被称为退火），粒子就可以在每个温度下达到热平衡。当系统完全被冷却时，最终形成处于低能状态的晶体。 如果用粒子的能量定义材料的状态，Metropolis 算法用一个简单的数学模型描述了退火过程。假设材料在状态i 之下的能量为)(i E ，那么材料在温度T 时从状态i 进入状态j 就遵循如下规律： （1）如果)()(i E j E ≤，接受该状态被转换。 （2）如果)()(i E j E >，则状态转换以如下概率被接受： KT j E i E e )()(- 其中K 是物理学中的波尔兹曼常数，T 是材料温度。 在某一个特定温度下，进行了充分的转换之后，材料将达到热平衡。这时材料处于状态i 的概率满足波尔兹曼分布： ∑∈--==S j KT j E KT i E T e e i x P )()()( 其中x 表示材料当前状态的随机变量，S 表示状态空间集合。 显然
智能优化算法笔试考试试题
ll一、写出遗传算法中的两种交叉运算方法，并分别举例说明。 解：双亲双子法（两父代交叉位之后的全部基因互换）、变化交叉法（从不相同的基因开始选取交叉位，之后的方法同双亲双子法）、多交叉位法（间隔交换）、双亲单子法（2选1）、显性遗传法（按位或）、单亲遗传法（2-opt）等，例子见课本175-179。 二、什么是P问题，什么是NP问题？智能优化算法主要是针对什么问题而提出的？ 解：（1）P问题 （2）NP问题 （3）NP-C问题和NP-Hard问题 （4）智能优化算法主要是针对组合优化问题而提出的。 三、描述组合优化问题中的一个典型例子，并建立其数学模型。 解：（1）旅行商问题（Traveling Salesman Problem，TSP）
（2）背包问题 （3）并行机排序问题
四、描述模拟退火算法中的接收准则。 解：在一给定温度下，由一个状态变到另一个状态，每一个状态到达的次数服从一个概率分布，即基于Metropolis 接受准则的过程，该过程达到平衡时停止。在状态s i 时，产生的状态s j 被接受的概率为： 1, ()()()exp(),()()i j ij ij i j if f s f s A t f if f s f s t ≥?? =??-
Step 1. 构造函数逼近的能量函数，使得能量函数有好的稳定性，如Err(w)； Step 2. 由能量函数Err(w)，根据 () i i dz Err dt y ? -= ? w 求解出动力系统方程 ； Step 3. 用数值计算的方法求解动力系统方程的平衡点，用定理判断平衡点是否为稳定点或渐近稳定点，网络达到稳定状态即达到极小值。 七、用遗传算法解决实数编码求连续函数优化问题，写出一种变异的运算方法。解： 再用单点变异法或多点变异法即可完成实数码的变异方法。（随机选一个或几个变异位取反） 八、为什么学“智能优化算法”？学习之后有什么感想？对本课程考核方法有什么建议。 答：最优化问题使人们在工程实践中，科学研究和经济管理等诸多领域中经常遇到的问题。
现代设计方法(第二章 优化设计)
1.直接搜索法。它只利用目标函数值构成的搜索方法，如POWELL，单纯形法； 2.梯度法。它需要有目标函数及其导数的解析式。 对于非线性的显函数，且变量数较少或中等的问题，用复合形法或罚函数法（其中尤其是内点罚函数法）的求解效果一般都比较理想，前者求得全域最优解的可能性较大。建议当找不到一个可行的初始点时，才用外点罚函数法。在用罚函数法解优化问题时，必须选用一个合适的无约束优化方法。如果目标函数的一阶和二阶偏导数易于计算（用解析法），且设计变量不是很多（如n ≤20）时，建议用拟牛顿法；若n>20，且每一步的Hessian 矩阵求解变得很费时时，则选用变尺度法较好。若目标函数的导数计算困难（用解析法）或者不存在连续的一阶偏导数，则用Powell共轭方向法效果是最好的。对于一般工程设计问题，由于维数都不很高（n<50），且函数的求导计算都存在不同程度的困难，因此用内点罚函数法调用Powell无约束优化方法求序列极小化。 优化设计：它是以数学规划理论为基础，以电子计算机为辅助工具的一种设计方法。它首先将设计问题按规定的格式建立数学模型，并选择合适的优化方法，选择或编制计算机程序，然后通过电子计算机自动获得最优设计方案。 两类优化方法： 1.直接法：直接计算目标函数值，比较目标函数值，并以之作为迭代、收敛根据的方法。 2.求导法：以多变量函数极值理论为基础，利用目标函数的性态，并以之作为寻优、迭代、收敛根据的方法。 综合设计法： 以程序设计、优化技术、仿真技术及自动绘图技术的综合为基础，以计算机工作站为工具，将工业设计方法提高到更新的阶段，使产品设计，换代、创新更趋于自动化，并展示了有可能向智能化发展的前景。 优化问题的分类： 按照目标函数的性质和约束条件可分为无约束问题和有约束问题。 无约束问题按照目标函数包含的单变量或多变量来分类。（直接搜索法：它只利用目标函数值构成的搜索方法，如POWELL法，单纯形法等。梯度法：它需要有目标函数及其导数的解析式。） 有约束问题有三类： 1.线性目标函数和线性约束（线性规划，整数规划） 2.非线性的目标函数和线性约束（二次规划，凸规划，线性分式规划） 3.非线性目标函数和非线性约束条件（变换法，线性逼近法，直接搜索法） 建立数学模型有哪三个基本步骤？ 1）识别要确定的未知变量，并用代数符号表示它们。2）识别目标或判别标准，并将其表示为要最大化或最小化的函数。 3）识别问题的约束条件或限制，并将它们表示成未知变量的线性或非线性的等式或不等式组。 。优化设计的数学模型一般由设计变量、目标函数和约束条件三个基本要素组成。其含义为在一定的约束条件下，追求目标函数的极小值（或极大值）,而求得一组设计变量值。 。设计变量与设计空间：设计变量的个数决定了设计空间的维数，设计空间的维数又表征设计的自由度，设计变量越多，则设计的自由度越大，可供选择的方案越多，设计越灵活，但难度亦越大，求解越复杂。通常在保证必要的设计精度的前提下，设计变量应尽可能取少些。 。约束条件可分为边界约束和性能约束。在二维设计空间中，不等式约束条件的可行域，是各约束线所围的平面，比较直观。三维和三维以上的设计问题，约束条件是曲面或超曲面，约束曲面围成的可行域，是多曲面或超越曲面围成的空间。 。等值线有哪些特点：不同值的等值线不相交；除极 值点外，等值线在设计空间内不会中断；等值线反映 了目标函数的变化规律，愈内层的等值线，其函数值 愈小，其中心点为极值点；等值线间隔越密，表示该 处函数变化率越大；极值点附近的等值线近似椭圆 族，极值点为中心点。 。线性规划与非线性规划有何区别？ 当目标函数F(x)和约束条件都是设计变量的线性函 数时，列出这种数学模型并求解的过程，称为线性规 划，只有一个公用算法，称为“单纯形法”。在所有 的优化模型中，线性规划应用的最广。如果目标函数 F(x)和约束条件中有一个或多个是设计变量的非线 性函数时，列出这种数学表达式并求解的过程，称为 非线性规划。解非线性规划问题有许多算法。 。什么是约束条件？约束条件和可行域有何关系？等 式约束和不等式约束有何区别与联系？ 设计变量的取值范围有限制或必须满足一定的条件， 这种对设计变量取值的限制称为约束条件。 不等式约束条件将设计空间划分为可行域和非可行 域，设计方案只能在可行域内选取。 等式约束条件只允许设计方案在可行域的等式约束 线（或面）上选取。 不等式约束将设计变量限制在一个区间或区域，约束 不严格；而等式约束设计变量限制在一个点、线或面 上，约束严格。 等式约束起到降低自由度的作用，有一个等式约束可 以降低一个设计自由度，一个等式约束可以用两个不 等式约束表示。 。约束极值点存在的条件：库恩-塔克条件：一个约 束极值点存在的必要条件为目标函数的梯度可表示 成诸约束面梯度纯属组合的负值。其几何意义为：起 作用约束的梯度矢量，在设计空间构成一个锥体，目 标函数的负梯度应包含在此锥体内。这个条件是约束 优化问题极值的必要条件，而不是充分条件。只有当 目标函数为凸函数，约束函数也是凸函数时，即凸规 划问题时，其局部最优点就是全局最优点，刚库恩- 塔克条件是该极值的必要充分条件。 。数值方法：根据目标函数值的变化规律，以适当的 步长沿着能使目标函数值下降的方向，逐步向目标函 数值的最优点进行探索，逐步逼近目标函数的最优 点，直至达到最优点。 。常用迭代终止准则有哪三种？ 1）点距准则：当设计变量在相邻两点之间的移动距 离以充分小时，可以相邻两点的矢量差的摸作为终止 迭代的判据。 2) 值差准则：当相邻两点目标函数之差已达到充分 小时，可用两次迭代的目标函数之差作为终止判据 3）梯度准则：当迭代点逼近极值点时，目标函数在 该点的梯度已达到充分小时，可用梯度的模作为终止 判据。 0.618法的基本思想：0.618法又称黄金分割法，要 求定义区间[a,b]上的函数为单峰值函数通过不断割 舍左端或右端的一部分，逐步把区间缩小之至极小点 所在区间到给定误差范围内，从而得到近似的最优 解，并且每次缩短的新区建长度与元区间长度的比值 始终是一个常数。 。二次插值法的基本思想是:在选定的单峰区间内选 一点，连同两端点，利用这三点的函数值构成一个二 次多项式，作为原函数的近似，求近似二次多项式的 极小点作为原函数的近似最优点。 。Powell法在每一轮形成新的搜索方向时会存在何 种问题导致不收敛？如何修正？ Powell法在每一轮形成新的搜索方向替换原来矢量 组中的第一个方向形成新的搜索方向组，可能存在新的方向 组线性相关的情况，从而导致算法不收敛的问题。修正 方法：选代过程中，形成一个新的方向后，先判别一下新方 向是否有效，如果有效则替换原来的搜索方向组中的第一个 搜索方向，否则，不替换，仍然按原来的方向组搜索。 。梯度法的基本原理和特点是什么 1）梯度法的基本原理：梯度法又称最速下降法，基本原理是 在迭代点附近采用使目标函数值下降最快的负梯度方向作为 搜索方向，求目标函数的极小值。 2）梯度法的特点：迭代计算简单，只需求一阶偏导数，所占 用存储单元少，对初始点要求不高，在接近极小点位置时收 敛速度很慢。 1.共轭梯度法的特点是什么？ 在梯度法靠近极值点收敛速度减慢的情况下，共轭梯度法可 以通过构造共轭方向，使其收敛速度加快，具有一次收敛速 度，使得计算过程简便，效果又好：在每一步迭代过程中都 要构造共轭方向，比较繁琐。 2.为什么选项用共轭方向作为搜索方向可以取得良好的 效果？ 选用共轭方向作为搜索方向可以取得良好的效果，主要是由 共轭方向的性质所决定。 共轭方向的性质为: 对于n维正定二次型函数，从任意初始 点出发，依次沿着与矩阵A为共轭的n个线性无关的方向进 行一维搜索，则能在第n或第n步以前达到极小点。 3.变尺度法：为了得到既快速收敛的性质，又能避免计 算二阶导数矩阵及其逆矩阵，减少计算工作量。 变尺度矩阵必须是对称正定矩阵，才能保证变尺度算法的搜 索方向是函数值下降的方向，而且从一次迭代到另一次迭代 是变化的，故称变尺度矩阵。 4.有约束优化方法根据对约束条件的处理方法不同，可 分为直接法和间接法两大类。 直接法的基本思想是设法使每一次的迭代点都能在可行域 内，并逐步降低目标函数值，直至最后得到一个在可靠域内 的约束最优解。即在迭代过程中，搜索方向和迭代步长都要 经过可靠性和适用性条件的检查。属于直接法的有：复合形 法、简约梯度法等。间接法的基本思想是把有约束问题通过 一定形式的变换，转化成无约束优化问题，然后用无约束方 法求解，属于此类常见的有罚函数法等。 5.简述复合形法的优化过程的基本原理。 复合形法的优化过程为：在可行域内选择是个设计点，作为 初始复合形的顶点，构造一个多面体；然后对多面体各顶点 的函数值逐个进行比较，目标函数最大的为坏点，按照一定 规则去掉坏点而代以新点，构成一个新的多面体；依次步骤 进行多次，使复合形的位置逐步调向邻近最优点，最后以顶 点中目标函数值最小的点，作为近似最优点而得到解。 特点：由于在迭代计算中不必计算目标函数的导数，也不用 一维搜索，所以程序结构比较简单，适用性较广。对设计变 量增加，维数高或约束条件多的优化问题，为了得到较好的 新顶点，往往要向中心点多次收缩，因而计算效率显著降低。 6.简约梯度法：解决线性约束非线性规划问题。 7.简述罚函数法的基本原理，罚函数法分为哪几种？ 基本思想是把一个有约束的问题转化为一系列无约束问 题求解，逐渐逼近于目标函数的最优值。 在原目标函数中添加一些与约束函数有关的项，形成一个 新的目标函数以取代原目标函数，然后用无约束融洽优化 方法求新目标函数的最优解。 有内点法、外点法、混合法。 内点罚函数法、外点罚函数法及混合罚函数法的基本思想： 内点罚函数法：是把新目标函数定义于可行域内，因此其初 始点和后面产生的迭代点序列也必然在可行域内，这种方法 是求解不等式约束最优化问题的一种十分有效的方法，但不 能处理等式约束。 缺陷：一是不能处理等式约束问题，因为在边界上新目标函 数的函数值无穷大，迭代点无法达到；二是初始点必须在可