求多变量有约束非线性函数的最小值
9.2.5.2 相关函数介绍
fmincon函数
功能：求多变量有约束非线性函数的最小值。
数学模型：
其中，x, b, beq, lb,和ub为向量，A和Aeq为矩阵，c(x)和ceq(x)为函数，返回
标量。f(x), c(x), 和ceq(x)可以是非线性函数。
语法：
x = fmincon(fun,x0,A,b)
x = fmincon(fun,x0,A,b,Aeq,beq)
x = fmincon(fun,x0,A,b,Aeq,beq,lb,ub)
x = fmincon(fun,x0,A,b,Aeq,beq,lb,ub,nonlcon)
x = fmincon(fun,x0,A,b,Aeq,beq,lb,ub,nonlcon,options)
x = fmincon(fun,x0,A,b,Aeq,beq,lb,ub,nonlcon,options,P1,P2, ...)
[x,fval] = fmincon(...)
[x,fval,exitflag] = fmincon(...)
[x,fval,exitflag,output] = fmincon(...)
[x,fval,exitflag,output,lambda] = fmincon(...)
[x,fval,exitflag,output,lambda,grad] = fmincon(...)
[x,fval,exitflag,output,lambda,grad,hessian] = fmincon(...)描述：
fmincon 求多变量有约束非线性函数的最小值。该函数常用于有约束非线性优化
问题。
x = fmincon(fun,x0,A,b) 给定初值x0，求解fun函数的最小值x。fun函数的约束
条件为A*x <= b，x0可以是标量、向量或矩阵。
x = fmincon(fun,x0,A,b,Aeq,beq) 最小化fun函数，约束条件为Aeq*x = beq 和
A*x <= b。若没有不等式存在，则设置A=[]、b=[]。
x = fmincon(fun,x0,A,b,Aeq,beq,lb,ub) 定义设计变量x的下界lb和上界ub，使得
总是有lb <= x <= ub。若无等式存在，则令Aeq=[]、beq=[]。
x = fmincon(fun,x0,A,b,Aeq,beq,lb,ub,nonlcon) 在上面的基础上，在nonlcon参数
中提供非线性不等式c(x)或等式ceq(x)。fmincon函数要求c(x) <= 0且ceq(x)
= 0。当无边界存在时，令lb=[]和（或）ub=[]。
x = fmincon(fun,x0,A,b,Aeq,beq,lb,ub,nonlcon,options) 用optiions参数指定的参数
进行最小化。
x = fmincon(fun,x0,A,b,Aeq,beq,lb,ub,nonlcon,options,P1,P2,...) 将问题参数P1, P2
等直接传递给函数fun和nonli n。若不需要这些变量，则传递空矩阵到A, b, Aeq, beq, lb, ub, nonlcon和options。
[x,fval] = fmincon(...) 返回解x处的目标函数值。
[x,fval,exitflag] = fmincon(...) 返回exitflag参数，描述函数计算的退出条件。
[x,fval,exitflag,output] = fmincon(...) 返回包含优化信息的输出参数output。
[x,fval,exitflag,output,lambda] = fmincon(...) 返回解x处包含拉格朗日乘子的lambda参数。
[x,fval,exitflag,output,lambda,grad] = fmincon(...) 返回解x处fun函数的梯度。
[x,fval,exitflag,output,lambda,grad,hessian] = fmincon(...) 返回解x处fun函数的Hessian矩阵。
变量：
nonlcon参数
该参数计算非线性不等式约束c(x)<=0 和非线性等式约束ceq(x)=0。nonlcon 参数是一个包含函数名的字符串。该函数可以是M文件、内部文件或MEX文件。
它要求输入一个向量x，返回两个变量—解x处的非线性不等式向量c和非线性等式向量ceq。例如，若nonlcon='mycon'，则M文件mycon.m具有下面的形式：function [c,ceq] = mycon(x)
c = ... % 计算x处的非线性不等式。
ceq = ... % 计算x处的非线性等式。
若还计算了约束的梯度，即
options = optimset('GradConstr','on')
则nonlcon函数必须在第三个和第四个输出变量中返回c(x)的梯度GC和ceq(x)的梯度Gceq。当被调用的nonlcon函数只需要两个输出变量（此时优化算法只需要c和ceq的值，而不需要GC和GCeq）时，可以通过查看nargout的值来避免计算GC和Gceq的值。
function [c,ceq,GC,GCeq] = mycon(x)
c = ... % 解x处的非线性不等式。
ceq = ... % 解x处的非线性等式。
if nargout > 2 % 被调用的nonlcon函数，要求有4个输出变量。
GC = ... % 不等式的梯度。
GCeq = ... % 等式的梯度。
end
若nonlcon函数返回m元素的向量c和长度为n的x，则c(x)的梯度GC是一个n*m的矩阵，其中GC(i,j)是c(j)对x(i)的偏导数。同样，若ceq是一个p元素的向量，则ceq(x)的梯度Gceq是一个n*p的矩阵，其中Gceq(i,j)是ceq(j)对x(i)的
偏导数。
其它参数意义同前。
注意：
大型优化问题：
1．使用大型算法，必须在fun函数中提供梯度信息(options.GradObj设置为'on')。如果没有梯度信息，则给出警告信息。
fmincon函数允许g(x)为一近似梯度，但使用真正的梯度将使优化过程更具稳健性。
2．当对矩阵的二阶导数（即Hessian矩阵）进行计算以后，用该函数求解大型问题将更有效。但不需要求得真正的Hessian矩阵，如果能提供Hessian矩阵的稀疏结构的信息（用options参数的HessPattern属性），则fmincon函数可以算得Hessian矩阵的稀疏有限差分近似。
3．若x0不是严格可行的，则fmincon函数选择一个新的严格可行初始点。
4．若x的某些元素没有上界或下界，则fmincon函数更希望对应的元素设置为Inf（对于上界）或-Inf（对于下界），而不希望强制性地给上界赋一个很大的值，给下界赋一个很小的负值。
5．线性约束最小化课题中也有几个问题需要注意：
●Aeq矩阵中若存在密集列或近密集列（A dense (或fairly dense)column），会导
致满秩并使计算费时。
●fmincon函数剔除Aeq中线性相关的行。此过程需要进行反复的因子分解，因
此，如果相关行很多的话，计算将是一件很费时的事情。
●
每一次迭代都要用下式进行稀疏最小二乘求解
其中R T为前提条件的乔累斯基因子。
中型优化问题
1．如果用Aeq和beq清楚地提供等式约束，将比用lb和ub获得更好的数值解。
2．在二次子问题中，若有等式约束并且因等式（dependent equalities）被发现和剔除的话，将在过程标题中显示'dependent'(当output参数要求使用options.Display = 'iter')。只有在等式连续的情况下，因等式才会被剔除。若等式系统不连续，则子问题将不可行并在过程标题中打印'infeasible'信息。
算法：
大型优化算法缺省时，若提供了函数的梯度信息，并且只有上下界存在或只有线性等式约束存在，则fmincon函数将选择大型算法。本法是基于内部映射牛顿法(interior-reflective Newton method)的子空间置信域法(subspace trust-region)。该法的具体算法请参见文献[2]。该法的每一次迭代都与用PCG法求解大型线性系
统得到的近似解有关。
中型优化算法 fmincon函数使用序列二次规划法(SQP)。本法中，在每一步迭代
中求解二次规划子问题，并用BFGS法更新拉格朗日Hessian矩阵。参见文献[3]、
[6]。
该算法使用与文献[1]、[2]和[3]中提供的相似的目标函数进行一维搜索。二次子
问题使用文献[4]描述的活动集方案进行求解。
诊断：
大型优化问题求大型优化问题的代码中不允许上限和下限相等，即不能有
lb(2)==ub(2),否则给出下面的出错信息：
Equal upper and lower bounds not permitted in this large-scale
method.
Use equality constraints and the medium-scale method instead.
若只有等式约束，可以仍然使用大型算法。当既有等式约束又有边界
约束时，使用中型算法。
局限：
1．目标函数和约束函数都必须是连续的，否则可能会给出局部最优解。
2．当问题不可行时，fmincon函数将试图使最大约束值最小化。
3．目标函数和约束函数都必须是实数。
4．对于大型优化问题，使用大型优化算法时，用户必须在fun函数中提供梯
度(options参数的GradObj属性必须设置为'on') , 并且只可以指定上界和下界约
束，或者只有线性约束必须存在，Aeq的行数不能多于列数。
5．现在，如果在fun函数中提供了解析梯度，选项参数DerivativeCheck不
能与大型方法一起用，以比较解析梯度和有限差分梯度。可以通过将options参
数的MaxIter属性设置为0来用中型方法核对导数。然后用大型方法求解问题。
9.2.5.3 应用实例
[例一]求解下列优化问题
目标函数
约束条件
首先编写一个M文件，返回x处的函数值opt25_1o.m。
function f = myfun(x)
f = -x(1) * x(2) * x(3);
然后将约束条件改写成下面形式的不等式
因为两个约束条件都是线性的，将它们表达为矩阵不等式的形式，其中，
下一步给定初值，并调用优化过程
x0 = [10; 10; 10];% 初值
A=[-1–2–2
122];
b=[0;72];
[x,fval] = fmincon(@opt25_1o,x0,A,b)
经过66次函数评价以后，得到问题的解
x =
24.0000
12.0000
12.0000
函数值为
fval =
-3.4560e+03
而且线性不等式约束的值<= 0
A*x-b=
-72
磁盘中本问题的M文件为opt25_1.m。
[例二]求侧面积为常数6*52m2的体积最大的长方体体积。
设该长方体的长、宽、高分别为x1、x2和x3，据题意得到下面的数学模型：编一个M文件optim25_2o.m，返回x处的函数值f。
function f = myfun(x)
f = -x(1) * x(2) * x(3);
由于约束条件是非线性等式约束，所以需要编写一个约束条件M文件
opt25_2c.m：
function [c,ceq] = mycon(x)
ceq =x(2)x(3)+x(3)x(1)+x(1)x(2)-75(x =
fmincon(fun,x0,A,b,Aeq,beq,lb,ub,nonlcon) 在上面的基础上，在nonlcon参数中提
供非线性不等式c(x)或等式ceq(x)。fmincon函数要求c(x) <= 0且ceq(x) =
0。当无边界存在时，令lb=[]和（或）ub=[]。
)
下一步给定初值，并调用优化过程(磁盘中M文件名为opt25_2.m)。
x0 = [4; 5; 6];
lb=zeros(3,1);
[x,fval,exitflag,output,lambda]=fmincon(@opt25_2o,x0,[],[],[]
,[], lb,[],@opt25_2c)
计算结果为：
Optimization terminated successfully:
Search direction less than 2*options.TolX and
maximum constraint violation is less than options.TolCon
Active Constraints:
1
x =
5.0000
5.0000
5.0000
fval =
-125.0000
exitflag =
1
output =
iterations: 7
funcCount: 38
stepsize: 1
algorithm: 'medium-scale: SQP, Quasi-Newton, line-search'
firstorderopt: []
cgiterations: []
lambda =
lower: [3x1 double]
upper: [3x1 double]
eqlin: [0x1 double]
eqnonlin: 2.5000
ineqlin: [0x1 double]
ineqnonlin: [0x1 double]
优化结果显示过程成功收敛，搜索方向小于两倍options.TolX，最大违约值小于options.TolCon，主动约束为1个。
问题的解为x(1)=x(2)=x(3)=5.0000m，最大体积为125.0000m3。exitflag=1，表示过程成功收敛于解x处。output输出变量显示了收敛过程中的迭代次数、目标函数计算次数、步长、算法等信息。lambda则包含模型信息。
[例三]试设计一压缩圆柱螺旋弹簧，要求其质量最小。弹簧材料为65Mn，最大工作载荷Pmax=40N，最小工作载荷为0，载荷变化频率fr=25Hz，弹簧寿命为104h，弹簧钢丝直径d
的取值范围为10-30mm，工作圈数n不应小于4.5圈，弹簧旋的取值范围为1-4mm，中径D
2
绕比C不应小于4，弹簧一端固定，一端自由，工作温度为50C，弹簧变形量不小于10mm。
本题的优化目标是使弹簧质量最小，圆柱螺旋弹簧的质量可以表示为
式中，--弹簧材料的密度，对于钢材=7.8×10-6kg/mm3；
n—工作圈数；
n2—死圈数，常取n2=1.5-2.5，现取n2=2；
D2—弹簧中径，mm；
d—弹簧钢丝直径，mm。
将已知参数代入公式，进行整理以后得到问题的目标函数为
根据弹簧性能和结构上的要求，可写出问题的约束条件：
1．强度条件
2．刚度条件
3．稳定性条件
4．不发生共振现象，要求
5．弹簧旋绕比的限制
的限制
6．对d,n,D
2
且应取标准值，即1.0,1.2,1.6,2.0,2.5,3.0,3.5,4.0mm等。
由上可知，该压缩圆柱螺旋弹簧的优化设计是一个三维的约束优化问题，其数学模型为：
取初始设计参数为X(0)=[2.0,5.0,25.0]T
首先编写目标函数的M文件opt25_3.m，返回x处的函数值f。
function f = myfun(x)
f = 0.192457*1e-4*( x(2)+2)*x(1)^2 * x(3);
由于约束条件中有非线性约束，所以需要编写一个描述非线性约束条件的M 文件opt25_3c.m：
function [c,ceq] = mycon(x)
c(1)=350-163*x(1)^(-2.86)*x(3)^0.86;
c(2)=10-0.4*0.01*x(1)^(-4)*x(2)*x(3)^3;
c(3)=(x(2)+1.5)*x(1)+0.44*0.01*x(1)^(-4)*x(2)*x(3)^3-3.7*x(3) ;
c(4)=375-0.356*1e6*x(1)*x(2)^(-1)*x(3)^(-2);
c(5)=4-x(3)/x(1);
然后设置线性约束的系数：
A=[-1 0 0
1 0 0
0–1 0
0 1 0
0 0–1
0 0 1];
b=[-1;4;-4.5;50;-10;30];
下一步给定初值，给定变量的下限约束，并调用优化过程(磁盘中M文件为opt25_3.m)
x0 = [2.0; 5.0; 25.0];
lb=zeros(3,1);
[x,fval,exitflag,output,lambda]=fmincon(@opt25_3o,x0,A,b,[],[], lb,[],@opt25_3c)
计算结果为：
x =
1.6564
4.5000
16.1141
fval =
0.0055
exitflag =
1
output =
iterations: 3
funcCount: 16
stepsize: 1
algorithm: 'medium-scale: SQP, Quasi-Newton, line-search' firstorderopt: []
cgiterations: []
分别取1.6564、4.5000和所以当弹簧钢丝的直径d、工作圈数n及中径D
2
16.1141时弹簧质量最小，为5.5克。考虑到实际情况，各参数可分别取1.6、5.0和16.0
x=[1.6 5.0 16.0];
z=optim253(x)
z =
0.0055
故此时弹簧质量仍为5.5克。
关于多变量非线性系统的自适应模糊控制
自动化学报980613 自动化学报 ACTA AUTOMATICA SINCA 1998年 第24卷 第6期 Vol.24 No.6 1998 关于多变量非线性系统的自适应模糊控制1) 佟绍成 徐为民 柴天佑 摘 要 结合模糊逻辑系统、自适应控制和H∞控制，对一类非线性多变量未知系统提出了新的控制策略，给出了控制算法的稳定性分析.仿真结果证明了所提控制算法的有效性. 关键词 模糊控制，自适应控制，非线性系统. ADAPTIVE FUZZY CONTROL FOR MIMO NONLINEAR SYSTEMS TONG SHAOCHENG XU WEIMIN CHAI TIANYOU (Automation Research Center of Northeastern University, Shenyang 110006) Abstract By combining fuzzy logic systems, adaptive control and H∞control, this paper developed a new adaptive fuzzy control method for a class of MIMO unknown nonlinear systems and it is proven that this control algorithm can guarantee the stability of the closed-loop system. The simulation results verify the effectiv eness of the proposed algorithm. Key words Fuzzy control, adaptive control, nonlinear systems. 1 引言 模糊逻辑控制作为利用专家知识及经验的有效方法之一，在许多实际控制问题中已经取得了 成功.然而，目前大多数模糊控制系统缺少保证系统的基本性能准则的分析方法，其稳定性 、收敛性是模糊控制理论研究的重要课题.本文在文［1］的基础上，对一类非线性未知MIMO系统给出了新的控制算法.此控制算法是基于模糊逻辑系统，把一般非线性系统控制的设计与H∞控制相结合，它不但保证控制系统稳定，而且把参数的匹配误差和外部干扰减少到预先规定的指标. 2 问题描述 考虑如下的MIMO非线性系统 =f(x)+g1(x)u1+…+g p(x)u p, (1a) y1=h1(x), (1b) file:///E|/qk/zdhxb/980613.htm（第 1／7 页）2010-3-23 14:19:35
运用导数解决含参问题
运用导数解决含参问题 运用导数解决含参函数问题的策略 以函数为载体，以导数为工具，考查函数性质及导数应用为目标，是最近几年函数与导数交汇试题的显著特点和命题趋向。运用导数确定含参数函数的参数取值范围是一类常见的探索性问题，主要是求存在性问题或恒成立问题中的参数的范围。 解决这类问题，主要是运用等价转化的数学思想，通过不断地转化，把不熟悉、不规范、 复杂的问题转化为熟悉、规范甚至模式化、简单的问题。 解决的主要途径：是将含参数不等式的存在性或恒成立问题根据其不等式的结构特 征，恰当地构造函数，等价转化为：含参函数的最值讨论。 一、含参函数中的存在性问题 利用题设条件能沟通所求参数之间的联系，建立方程或不等式（组）求解。这是求存在性范围问题最显然的一个方法。 例题讲解 例1：已知函数x x x f ln 2 1)(2+= ，若存在],1[0e x ∈使不等式 m x f ≤)(0，求实数m 的取值范围 二、含参函数中的恒成立问题 可先利用题设条件建立变量的关系式，将所求变量和另一已知变量分离，得到函数关系，从而使这种具有函数背景的范围问题迎 刃而解，再由已知变量的范围求出函数的值域，即为所求变量的范围。类型有：(1)双参数
中知道其中一个参数的范围；(2)双参数中的范围均未知。 一、选择题 1 ．（2013年课标Ⅱ）已知函数32()f x x ax bx c =+++,下列结论中错误的是（ ） A ．0x ?∈R,0()0 f x = B.函数()y f x =的图像是中心对称图形 C ．若0x 是()f x 的极小值点,则()f x 在区间0(,)x -∞上单调递减 D ．若0x 是()f x 的极值点,则0'()0 f x = 2 ．（2013年大纲）已知曲线()4 2 1-128=y x ax a a =+++在点，处切线的斜率为，（） A ．9 B ．6 C ．-9 D ．-6 3 ．（2013年湖北）已知函数()(ln )f x x x ax =-有两个极值点,则实数a 的取值范围是（ ） A ．(,0)-∞ B ．1 (0,)2 C ．(0,1) D ．(0,)+∞ 4.若函数3 2 ()1f x x x mx =+++是R 上的单调函数，则实数m 的取值范围是: （ ）
无约束优化方法程序
无约束优化方法---鲍威尔方法 本实验用鲍威尔方法求函数f(x)=(x1-5)2+(x2-6)2 的最优解。 一、简述鲍威尔法的基本原理 从任选的初始点x⑴o出发，先按坐标轮换法的搜索方向依次沿e1.e2.e3进行一维搜索，得各自方向的一维极小点x⑴ x⑵ x⑶.连接初始点xo⑴和最末一个一维极小点x3⑴,产生一个新的矢量 S1=x3⑴-xo⑴ 再沿此方向作一维搜索，得该方向上的一维极小点x⑴. 从xo⑴出发知道获得x⑴点的搜索过程称为一环。S1是该环中产生的一个新方向，称为新生方向。 接着，以第一环迭代的终点x⑴作为第二环迭代的起点xo⑵,即 Xo⑵←x⑴ 弃去第一环方向组中的第一个方向e1，将第一环新生方向S1补在最后，构成第二环的基本搜索方向组e2,e3,S1，依次沿这些方向求得一维极小点x1⑵,x2⑵,x3⑵.连接 Xo⑵与x3⑵,又得第二环的新生方向 S2=x3⑵-xo⑵ 沿S2作一维搜索所得的极小点x⑵即为第二环的最终迭代点 二、鲍威尔法的程序 #include "stdafx.h" /* 文件包含*/ #include
#include
数学建模案例之多变量最优化2
数学建模案例之 多变量有约束最优化 问题2[1]（续问题1）：在问题1中，我们假设公司每年有能力生产任何数量的彩电。现在我们根据允许的生产能力引入限制条件。公司考虑投产者两种新产品是由于计划停止黑白电视记得生产。这样装配厂就有了额外的生产能力。这些额外的生产能力就可以用来提高那些现有产品的产量，但公司认为新产品会带来更高的利润。据估计，现有的生产能力允许每年可以生产10000台电视（约每周200台）。公司有充足的19英寸、21英寸彩色显像管、底盘及其他标准配件。但现在生产立体声电视所需要的电路板供给不足。此外，19英寸彩电所需要的电路板与21英寸彩电的不同，这是由于其内部的结构造成的。只有进行较大的重新设计才能改变这一点，但公司现在不准备做这项工作。电路板的供应商每年可以提供8000块21英寸彩电的电路板和5000块19英寸彩电的电路板。考虑到所有这些情况，彩电公司应该怎样确定其生产量？ 清晰问题：问每种彩电应该各生产多少台，使得利润最大化？ 1．问题分析、假设与符号说明 这里涉及的变量和问题１相同： s：19英寸彩电的售出数量（台）； t：21英寸彩电的售出数量（台）； p：19英寸彩电的售出价格（美元/台）； q：21英寸彩电的售出价格（美元/台）； C：生产彩电的成本（美元）； R：彩电销售的收入（美元）； P：彩电销售的利润（美元） 这里涉及的常量同问题１： 两种彩电的初始定价分别为：339美元和399美元； 每种彩电的生产成本分别为：195美元和225美元； 每种彩电每多销售一台，平均售价下降系数a=0.01美元（称为价格弹性系数）； 种彩电之间的销售相互影响系数分别为0.04美元和0.03美元； 固定成本400000美元。 变量之间的相互关系确定：
常用无约束最优化方法(一)
项目三 常用无约束最优化方法（一） [实验目的] 编写最速下降法、Newton 法（修正Newton 法）的程序。 [实验学时] 2学时 [实验准备] 1．掌握最速下降法的思想及迭代步骤。 2．掌握Newton 法的思想及迭代步骤； 3．掌握修正Newton 法的思想及迭代步骤。 [实验内容及步骤] 编程解决以下问题：【选作一个】 1．用最速下降法求 22120min ()25[22]0.01T f X x x X ε=+==，，，． 2．用Newton 法求 22121212min ()60104f X x x x x x x =--++-， 初始点 0[00]0.01T X ε==，，． 最速下降法 Matlab 程序： clc;clear; syms x1 x2; X=[x1,x2]; fx=X(1)^2+X(2)^2-4*X(1)-6*X(2)+17; fxd1=[diff(fx,x1) diff(fx,x2)]; x=[2 3]; g=0; e=0.0005; a=1; fan=subs(fxd1,[x1 x2],[x(1) x(2)]); g=0; for i=1:length(fan) g=g+fan(i)^2; end g=sqrt(g); step=0; while g>e step=step+1; dk=-fan; %点x(k)处的搜索步长
ak=((2*x(1)-4)*dk(1)+(2*x(2)-6)*dk(2))/(dk(1)*dk(2)-2*dk(1)^2-2*dk(2)^2); xu=x+ak*dk; x=xu; %输出结果 optim_fx=subs(fx,[x1 x2],[x(1) x(2)]); fprintf(' x=[ %d %d ] optim_fx=%d\n',x(1),x(2),optim_fx); %计算目标函数点x(k+1)处一阶导数值 fan=subs(fxd1,[x1 x2],[x(1) x(2)]); g=0; for i=1:length(fan) g=g+fan(i)^2; end g=sqrt(g); end %输出结果 optim_fx=subs(fx,[x1 x2],[x(1) x(2)]); fprintf('\n最速下降法\n结果：\n x=[ %d %d ] optim_fx=%d\n',x(1),x(2),optim_fx); c++程序 #include
求多变量有约束非线性函数的最小值
9.2.5.2 相关函数介绍 fmincon函数 功能：求多变量有约束非线性函数的最小值。 数学模型： 其中，x, b, beq, lb,和ub为向量，A和Aeq为矩阵，c(x)和ceq(x)为函数，返回 标量。f(x), c(x), 和ceq(x)可以是非线性函数。 语法： x = fmincon(fun,x0,A,b) x = fmincon(fun,x0,A,b,Aeq,beq) x = fmincon(fun,x0,A,b,Aeq,beq,lb,ub) x = fmincon(fun,x0,A,b,Aeq,beq,lb,ub,nonlcon) x = fmincon(fun,x0,A,b,Aeq,beq,lb,ub,nonlcon,options) x = fmincon(fun,x0,A,b,Aeq,beq,lb,ub,nonlcon,options,P1,P2, ...) [x,fval] = fmincon(...) [x,fval,exitflag] = fmincon(...) [x,fval,exitflag,output] = fmincon(...) [x,fval,exitflag,output,lambda] = fmincon(...) [x,fval,exitflag,output,lambda,grad] = fmincon(...) [x,fval,exitflag,output,lambda,grad,hessian] = fmincon(...)描述： fmincon 求多变量有约束非线性函数的最小值。该函数常用于有约束非线性优化 问题。 x = fmincon(fun,x0,A,b) 给定初值x0，求解fun函数的最小值x。fun函数的约束 条件为A*x <= b，x0可以是标量、向量或矩阵。 x = fmincon(fun,x0,A,b,Aeq,beq) 最小化fun函数，约束条件为Aeq*x = beq 和 A*x <= b。若没有不等式存在，则设置A=[]、b=[]。 x = fmincon(fun,x0,A,b,Aeq,beq,lb,ub) 定义设计变量x的下界lb和上界ub，使得 总是有lb <= x <= ub。若无等式存在，则令Aeq=[]、beq=[]。 x = fmincon(fun,x0,A,b,Aeq,beq,lb,ub,nonlcon) 在上面的基础上，在nonlcon参数 中提供非线性不等式c(x)或等式ceq(x)。fmincon函数要求c(x) <= 0且ceq(x) = 0。当无边界存在时，令lb=[]和（或）ub=[]。 x = fmincon(fun,x0,A,b,Aeq,beq,lb,ub,nonlcon,options) 用optiions参数指定的参数 进行最小化。 x = fmincon(fun,x0,A,b,Aeq,beq,lb,ub,nonlcon,options,P1,P2,...) 将问题参数P1, P2
专题5导数的应用含参函数的单调性讨论(答案)
〖专题5〗 导数的应用—含参函数的单调性讨论 “含参数函数的单调性讨论问题”是近年来高考考查的一个常考内容，也是我们高考复习的重点．从这几年来的高考试题来看，含参数函数的单调性讨论常常出现在研究函数的单调性、极值以及最值中，因此在高考复习中更应引起我们的重视． 一、思想方法： 上为常函数 在区间时上为减函数在区间时上为增函数在区间时和增区间为和增区间为D x f x f D x D x f x f D x D x f x f D x D C x f D C x x f B A x f B A x x f )(0)(')(0)(')(0)('...,)(...0)('...,)(...0)('?=∈?<∈?>∈?∈? 讨论函数的单调区间可化归为求解导函数正或负的相应不等式问题的讨论． 二、典例讲解 [典例1] 讨论x a x x f + =)(的单调性，求其单调区间． 解：x a x x f + =)(的定义域为),0()0,(+∞-∞ )0(1)('2 22≠-=-=x x a x x a x f (它与a x x g -=2 )(同号) I ）当0≤a 时，)0(0)('≠>x x f 恒成立， 此时)(x f 在)0,(-∞和),0(+∞都是单调增函数， 即)(x f 的增区间是)0,(-∞和),0(+∞; II) 当0>a 时 a x a x x x f > -或)0(0)(' a x x a x x f < <<<-?≠<00)0(0)('或 此时)(x f 在),(a --∞和),(+∞a 都是单调增函数， )(x f 在)0,(a -和),0(a 都是单调减函数， 即)(x f 的增区间为),(a --∞和),(+∞a ; )(x f 的减区间为)0,(a -和),0(a . 步骤小结：1、先求函数的定义域， 2、求导函数（化为乘除分解式，便于讨论正负）， 3、先讨论只有一种单调区间的（导函数同号的）情况， 4、再讨论有增有减的情况（导函数有正有负，以其零点分界）， 5、注意函数的断点，不连续的同类单调区间不要合并． [变式练习1] 讨论x a x x f ln )(+=的单调性，求其单调区间．
导数中的参数问题
导数中的参数问题 【方法综述】 导数中的参数问题主要指的是形如“已知不等式成立/存在性/方程的根/零点等条件,求解参数的取值或取值范围”.这类型题目在近几年的高考全国卷还是地方卷中，每一年或多或少都有在压轴选填题或解答题中出现，属于压轴常见题型.学生要想解决这类型的题目，关键的突破口在于如何处理参数，本专题主要介绍分类讨论法和分离参数法. 【解答策略】 一．分离参数法 分离参数法是处理参数问题中最常见的一种手段，是把参数和自变量进行分离，分离到等式或不等式的两边（当然部分题目半分离也是可以的，如下面的第2种情形），从而消除参数的影响，把含参问题转化为不含参数的最值、单调性、零点等问题，当然使用这种方法的前提是可以进行自变量和参数的分离. 1．形如()()af x g x =或()()af x g x <(其中()f x 符号确定) 该类题型，我们可以把参数和自变量进行完全分离，从而把含参数问题转化为不含参数的最值、单调性或图像问题. 例1．直线 与曲线 有两个公共点，则实数的取值范围是_____． 【举一反三】若存在，使得成立，则实数的取值范围是（ ） A ． B ． C ． D ． 2．形如()(),f x a g x =或()()af x g x <（其中(),f x a 是关于x 一次函数） 该类题型中，参数与自变量可以半分离，等式或不等式一边是含有参数的一次函数，参数对一次函数图像的影响是比较容易分析的，故而再利用数形结合思想就很容易解决该类题目了. 例2．定义在 上的函数 满足 ，且 ，不等式 有解，则正实数的取值范围是（ ）
A．B．C．D． 【举一反三】已知当时，关于的方程有唯一实数解，则所在的区间是( ) A．(3，4) B．(4，5) C．(5，6) D．(6．7) 二．分类讨论法 分类讨论法是指通过分析参数对函数相应性质的影响，然后划分情况进行相应分析，解决问题的方法，该类方法的关键是找到讨论的依据或分类的情况，该方法一般在分离参数法无法解决问题的情况下，才考虑采用，常见的有二次型和指对数型讨论. 1.二次型根的分布或不等式解集讨论 该类题型在进行求解过程，关键步骤出现求解含参数二次不等式或二次方程，可以依次考虑依次根据对应定性（若二次项系数含参），开口，判别式，两根的大小（或跟固定区间的端点比较）为讨论的依据，进行分类讨论，然后做出简图即可解决. 例3．已知函数有两个不同的极值点，，若不等式恒成立，则实数的取值范围是_______． 【指点迷津】 1.本题考查导数在研究函数中的应用，体现了导数的工具性，解题的关键是得到 的表达式．解答恒成立问题的常用方法是转化为求函数的最值的问题解决，当函数的最值不存在时可利用函数值域的端点值来代替. 2. 由是函数的两个不同的极值点可得，进而得到 ，然后构造函数，求出函数的值域后可得所求范围． 【举一反三】若函数有个零点，则实数取值的集合是________．
基于MAAB的多变量优化问题
基于MATLAB 的多变量 优化问题 小组成员：刘浩李莲喜骆开荣刘晓康学号：S1402W011、7 S1402W014、3 S1402M0005、S1402W0246
MATLAB 在多变量优化问题的应用 【摘要】实际生活中我们有许多地方需要用到数学中的一些最值运算，而有些问题我们无法进行计算，因此就有了优化设计理论这门学科，优化理论是一门实践 性很强的学科，广泛应用于生产管理、军事指挥和科学试验等各种领域，为了更好的学习这门课程，为我们所用，MATLAB 优化工具箱提供了对各种优化问题的一个完整的解决方案，可用于解决工程中的最优化问题，包括非线性方程求解、极小值问题、最小二乘问题等。 一、问题的提出 MATLAB 具有强大的科学计算与视化功能、简单易用、开放式的可扩展环境，编写简单，编程效率高，易学易懂，将MATLAB 应用到解决最优化问题的模块中学习，利用客观、视图、计算等功能对最优化问题模块做出最简洁有效的解答。 二、在多变量优化问题的应用 1.问题一：运用MATLAB 软件编写多变量优化问题求解 采用的算法：牛顿法 程序框图： 目标函数图形： MATLAB 程序： clear x=-10:0.5:10; y=x; [X,Y]=meshgrid(x,y); Z=(X-4)A2+(Y+2)A2+1; surf(X,Y,Z) syms t s; f=(t-4)A2+(s+2)A2+1; [x,mf]=minNT(f,[-1 5],[t s]) function [x,minf]=minNT(f,x0,var,eps) format long; if nargin==3 eps=1.0e-6; end tol=1; x0=transpose(x0); while tol>eps
导数中参数的取值范围问题
导数中参数的取值范围问题
————————————————————————————————作者：————————————————————————————————日期:
题型一：最常见的关于函数的单调区间;极值；最值;不等式恒成立; 经验１:此类问题提倡按以下三个步骤进行解决: 第一步:令0 ) ('= x f得到几个根;第二步:列表如下；第三步:由表可知; 经验2：不等式恒成立问题的实质是函数的最值问题,常见处理方法有四种: 第一种：变更主元（即关于某字母的一次函数）;题型特征（已知谁的范围就把谁作为主元）; 第二种:分离变量求最值；第三种：关于二次函数的不等式恒成立; 第四种:构造函数求最值；题型特征（) ( ) (x g x f>恒成立 ) ( ) ( ) (> - = ?x g x f x h恒成立）; 单参数放到不等式上 设函数 1 () (1)ln(1) f x x x = ++ (1 x≠，且0 x≠) （1）求函数的单调区间；（2）求() f x的取值范围; （3）已知 1 1(1) 2m x x +>+对任意(1,0) x∈-恒成立，求实数m的取值范围。
2.已知函数ln ()1a x b f x x x = ++在点(1,(1))f 处的切线方程为230x y +-= （1）求,a b 的值; （2）如果当0x >,且1x ≠时,ln ()1x k f x x x =+-，求k 的取值范围. 3.已知函数4 4 ()ln (0)f x a x b c x x x =+->在 0x >出取得极值3c -- ,其中 ,,a b c 为常数． （1）试确定,a b 的值； （2）讨论函数()f x 的单调区间； （3）若对任意0x >，不等式2 ()2f x c ≥-恒成立,求c 的取值范围。
参数变量函数的导数
§3 参数变量函数的导数 (一) 教学目的：掌握参变量函数的导数的求导法则． (二) 教学内容：参变量函数的导数的求导法则． (三) 基本要求：熟练掌握参变量函数的导数的求导法则． (四) 教学建议：通过足量习题使学生掌握参变量函数的导数的求导法则 ———————————————————————————— 平面曲线C 一般的可表示为参变量方程形式： ),(, )( ),(βαψ?∈==t t y t x 设 0t t = 对应曲线上的P 点，如果P 点由切线，那么切线斜率也可由割线斜率去极限得到 割线 PQ 的斜率为 ) ()()()(0000t t t t t t x y ??ψψ-?+-?+= ?? 取极限得切线斜率 ) ()() ()(lim ) ()(lim lim 00000 000 t t t t t t t t x y tg t t x ?ψ??ψψα''= -?+-?+= ??=→?→?→? 于是得到下面结论 结论：设函数 )( ),(t y t x ψ?==可导且 0)(≠'t ?，则 .) ()(t t dx dy ?ψ''= 证 （ 法一 ） 用定义证明.
（法二 ） 由 ,0)(?≠'t ?恒有0)(>'t ?或 .0)(<'t ?)( t ?? 严格单调. (这些事实的证明将在下一章给出.) 因此, )(t ?有反函数, 设反函数为 x t (1 -=? ), 有 ( ) ,)()(1 x t y -==? ψψ 用复合函数求导法, 并注意利用反函数求导公式. 就有 .(t)(t)ψdt dx dt dy dx dt dt dy dx dy ?''== ?= 例1 .sin ,cos t b y t a x == 求 .dx dy 解 t a b aost t b dt dx dt dy dx dy cot )()}sin (-=' '== 若曲线C 由极坐标 )(θρρ= 表示，则可转化为一极角θ 为参数的参量方程 ?? ?====θ θρθρθ θρθρsin )(sin cos )(cos y x θ θρθρθρθθρθ θρθθρθθρθθρθθρθθρtan )()()(tan )(sin )(cos )(cos )(sin )()cos )(()sin )((-'+'= -'+'= ' '= dx dy （3） （3）式表示在曲线 )(θρρ=上的点),(θρM 处切线MT 与极轴OX 轴的夹角的正切，如图所示。 过点M 的射线OH 与切线MT 的交角? θ αθα θα?tan tan 1tan tan )tan(tan +-= -= （4） 将（3）代入（4）得向径与切线夹角的正切 ) ()(tan θρθρ?'= (5) 例2 证明：对数螺线 2 /θρe = 上所有点的切线与向径的夹角?为一常量 证明 由（5），对每一个θ 都有 22 1) ()(tan 2 /2 /== '= θθθρθρ?e e 即在对数螺线上任意一点的切线 与向径的夹角等于 2arctg
第四章无约束优化方法
第一节，概述 无约束优化问题：求n维设计变量x=（x1，x2，…，x n）T，使目标函数f（x）→min，而对 x没有任何限制。用数学方法求解方程▽f=0的问题/，。 该方程为非线性方程，不宜直接求解，选择搜索法。 给定初始点x0，沿着某一方向d0进行搜索，确定最佳步长α0，使得沿着d0方向下降最大；x k+1=x k+αk d k。 根据d的构成分类：一类为利用目标函数一阶和二阶导数的无约束优化方法【最速下降法】，【共轭梯度法】，【牛顿法】，【变尺度法】，另一类只利用目标函数值【坐标轮换法】，【单形替换法】，【鲍威尔法】。 第二节，最速下降法 又称梯度法，以负梯度方向作为搜索方向。 d=-▽f（x）；x k+1=x k-αk▽f（x k） α为步长因子，取一维搜索的最佳步长：f（x k+1）=f（x k-αk▽f（x k））=minαf（x k-αk▽f（x k））=minαφ（α）→φ'（α）=-（▽f（x k-αk▽f（x k）））▽f（x k）=0→▽f（x k+1）▽f（x k）=0 相邻两次迭代方向垂直。 【重点】第三节，牛顿法 牛顿迭代公式：x k+1=x k- 多元函数f（x），设x k为f（x）极小点x*的一个近似点，在x k处将f（x）进行泰勒展开，保留二次项，得到：f（x）≈f（x k）+▽f（x k）T（x-x k）+; 整理出牛顿迭代公式：x k+1=x k-（▽2f（x k））-1▽f（x k） 阻尼牛顿法：引入阻尼因子αk，故有x k+1=x k-αk（▽2f（x k））-1▽f（x k），其中αk可由极小化求解：f（x k+1）=f（x k+αk d k）=minαf（x k+αd k），其理论意义为沿着d k方向一维搜索的最佳步长。 第四节，共轭方向法 共轭方向：d k和d k+1满足（d k）T G（d k+1）=0 原则和步骤：选定初始点x0，下降方向d0和收敛精度ε；沿着d0方向一维搜索，x1=x0+αd0；判断（），不满足则反复迭代演算，其中新方向dk+1满足（d k）T Gd k+1=0 【第五节】共轭梯度法 每一个共轭矢量都是依赖于迭代点处的负梯度构造的。 共轭方向与梯度之间的关系: x k+1-x k=αk d k 在x k和x k+1处的梯度为g k，g k+1，设二次函数f（x）=1/2x T Gx+b T x+c, g k=Gx k+b; g k+1=Gx k+1+b; g k+1-g k=G(x k+1-x k)=αk Gd k 若d j和d k共轭，则有（d j）T（g k+1-g k）=0 意义：沿着d j方向一维搜索其终点x k+1与始点x k的梯度之差g k+1-g k与d k的共轭方向d j正交。计算过程：设初值点x0，第一个搜索方向取x0的负梯度方向-g0，一维搜索后得x1，g1，要求x1为以d0为切线和某等值曲线的切点，g1和d0正交，g1T g0=0；求d0的共个方向d1，改 写d1=- g1+β0 d0其中：β0=，d1=，计算x2、g2；计算d2…直到迭代点梯度 的模小于允许值。
几种多变量函数无约束求极值的算法实现和性能比较(2015年12月17修正)
几种多变量函数无约束求极值的算法实现和性能比较 一、几种算法的matlab实现 1.最速下降法（梯度法） (1)算法框图 (2)程序代码： 参见gradientzxl.m 2.牛顿法 (1)算法框图
(2)程序代码 参见newtonmul.m 3.共轭梯度法（用于二次凸函数）(1)算法框图
(2)程序代码 参见FR2.m 4．共轭梯度法（用于一般函数）(1)算法框图：
(2)程序代码 参见FRusual.m 二、仿真实验及结果 对于牛顿法和用于二次凸函数的共轭梯度法没有精度，对应表中无精度，精度是为最速下降法和用于一般函数的共轭梯度法而进行对比实验的。 1. 2112121242^22^),(x x x x x x x f --+= f=x1^2+2*x2^2-4*x1-2*x1*x2 精确解为]2;4[];[21=x x
2．2^4)^1(),(2121x x x x f +-= f=(x1-1)^4+x2^2 精确解为]0;1[];[21=x x 3．2)^1(2)^(*100),(11221x x x x x f -+-= （Rosenbrock 函数） f=100*(x2-x1^2)^2+(1-x1)^2
精确解为]1;1[];[21 x x 三、分析及总结 1、从实验1和2的最速下降法的数据足以说明精度要求越高，迭代次数会越多的客观规律， 并且初始点选取离精确解越远，迭代次数也越多，寻找最优解的耗时也越长。 2、从实验1和2的牛顿法的数据可以验证该法的二次终止性。对于常见的二次凸函数，无论初始点如何选取，只需一次迭代即可到达极小点，迭代一次的耗时与计算量有关，不一定相等。当原函数为含有高次的凸函数，牛顿法搜索极小值显然比原函数为二次时迭代次数较多，求取速度较慢，但仍可求出精确解。初始点离精确解越远，迭代次数越多，所需时间也越长。 3、本次实验有用于二次凸函数和一般函数的两种共轭梯度法，从实验1的数据就可验证共轭梯度法的二次终止性。初始点离精确解越远，并不代表迭代次数越多和耗时越长。 4、对于一般的二次凸函数，采用上述的三种方法都能有很好的计算结果，其中当属牛顿法迭代次数最少，耗时也短，结果准确，为诸法中效果最好的方法。当原函数次数增加后，最速下降法和牛顿法虽计算量增加但仍可计算出最优解。用于一般函数的共轭梯度法足以验证其二次终止性，并且对高次的函数，其计算也能保证良好的特性，不会像牛顿法一样显著增多其计算量。 5、总体来看，一般情况下牛顿法迭代速率较快的同时还能保证求出准确解，是一种准确性和快速性都比较好的算法，但其缺点在于需要计算Hesse 矩阵的逆，原函数次数高后计算量会显著增大，并且存在矩阵奇异而导致算法失效的风险。从这方面对比来看，共轭梯度法无需计算二阶梯度，是一个非常好的算法，精度足以保证，迭代次数也少，但对Rosenbrock 函数这种特殊函数运算量就会明显变大，耗时会显著增加。
单纯形法解决无约束优化问题
分数: ___________任课教师签字：___________ 课程作业 学年学期：2017——2018学年第二学期 课程名称：优化理论 作业名称：作业三 学生姓名： 学号： 提交时间：
一、问题重述 形如的min (x),x R n f ∈问题称为无约束优化问题，常用下降算法来解决这类问题。下降算法的关键在于步长和搜索方向的选取。步长的求取可以借助前面作业中提到的一维搜索等方法求取，而搜索方向算法可以分为两大类，解析法和直接法。 解析法借助了目标函数的导数进行搜索，这类算法搜索速度快、效率高，但是对目标函数的要求更为严格。常用的方法有最速下降法、Newton 法、共轭梯度法、拟Newton 法等。 直接法不使用导数，也不需要得到目标函数的明确解析式，只需要能够得到某些函数上的点即可。因此直接法的适用范围更广，但相应的收敛速度会较慢，计算量也会随着问题维数的增加而迅速增大。常用的方法有单纯形法、Powell 方向加速法以及Powell 改进算法。 本作业以直接法的Powell 法为例，解决具体的无约束优化问题，并对将Powell 方向加速法和Powell 改进算法解决结果进行对比。 二、算法原理 对于n 维正定二次函数(x)0.5T T f x Gx b x c =++，设011,,...(k n)k p p p -<关于G 共轭，0x 与1x 为任意不同点。分别从0x 与1x 出发，依次沿011,,...k p p p -作一维搜索。如果最后找到两个互不相同的极小点x a 与x b ，则x b a x -与011,,...k p p p -关于G 共轭。 Powell 方向加速法正是基于这一原理，每次迭代过程作n+1次一维搜索。第一次沿给定的n 个线性无关的方向011,,...n p p p -依次作一维搜索，之后沿由这一阶段的起点到第n 次搜索所得到的点的方向P 再做一次一维搜索，并把这次所得点作为下一阶段的起点，下一阶段的n 个搜索方向为011,,...,n p p p p -。以此直到找到最优解。 此算法是在迭代中逐次生成共轭方向，而共轭方向又是较好的搜索方向，所以称之为方向加速法。但是，此算法产生的n 个向量可能线性或近似线性相关，这时张不成n 维空间，可能得不到真正的极小点。因此，Powell 原始算法存在一定的缺陷。 Powell 改进算法虽然不再具有二次终止性，但克服了搜索方向的线性相关的不利情形，是解决无约束优化问题较有效的直接法之一。 本次作业一维搜索的过程是利用函数求导，求得最小值。经过试验发现，α是允许为负数的。否则最终寻优得到的极值点与实际结果存在很大的偏差，
多变量约束优化方法
第7章 多维约束优化方法 Chapter 7 Constrained Several Variables Technique 7-1 概述 Summarize 工程中的优化设计问题绝大多数是约束优化问题，即 n R X X f ∈) (m in n p v X h m u X g t s v u <===≥,,2,10 )(,,2,10 )(.. 约束最优点不仅与目标函数的性质有关，也与约束函数的性质有关。因此，约束优化问题比无约束优化问题情况更复杂，求解困难也更大。 根据对约束条件处理方法的不同，解决约束优化问题的方法分成二类: 1) 直接法 Direct Method 寻优过程直接在设计空间的可行域D 内进行，但对每一个迭代点)(k X 必须进行可行性 ()(()01,2,,)k u g X u m ≤= 和下降性))()(()1()(+>k k X f X f 检查。直接算法简单，直观性 强，对目标函数和约束函数的函数性态没有特殊的要求。但是它的计算量大、收敛速度慢，因此效率低，比较适用于解决低维数的、具有不等式约束的优化问题。这类算法包括随机方向法、复合形法等。 2) 间接法 Indirect Method 间接法的主要思路是，首先将约束优化问题转化为无约束优化问题，然后再用无约束 优化方法来进行求解。间接解法分很多类，其中比较有代表性的、用的比较广泛的是惩罚函数法。 7-2 惩罚函数法 Penalty Method 在将约束优化问题转换成无约束优化问题时,惩罚函数法的处理思路与拉格朗日法很相似, 都是把目标函数与约束条件合并形成新的函数,而后求其最优解。但惩罚函数法得到的新函数不是一个而是一个系列。因此，用无约束优化算法求解得的最优解也是一个系列，即 * *2*1,,k X X X ，当k →∞时，* * k X X →。因此，惩罚函数法又称序列无约束最小化技术 Sequential Unconstrained Minimization Technique ， 即SUMT 法。 7-2-1惩罚函数法的基本原理 Principle 根据约束优化问题 n R X X f ∈) (m in ..()0 1,2,,()0 1,2,,u v s t g X u m h X v p n ≤===< 构造新的函数 --- 惩罚函数 ∑ ∑==++=m u p v v k u k k k X h H r X g G r X f r r X 1 1 ) (2) (1)(2)(1)]([)]([)() ,,(? 其中，)]([X g G u ，)]([X h H v 是)(X g u 和)(X h v 的复合函数；)(2)(1,k k r r 是在迭代过程中随迭代次数k 的增大而不断调整的参数，称为惩罚因子Penalty Factor ，它们是单调增monotone increasing (decreasing) 或者单调减的正实数数列positive real number ； )]([)(1X g G r u k 和
多维无约束优化算法
多维无约束优化算法 多维无约束优化问题的一般数学表达式为： 求n 维设计变量 使目标函数 多维无约束优化算法就是求解这类问题的方法，它是优化技术中最重要最基础的内容之一。因为它不仅可以直接用来求解无约束优化问题，而且实际工程设计问题中的大量约束优化问题，有时也是通过对约束条件的适当处理，转化为无约束优化问题来求解的。所以，无约束优化方法在工程优化设计中有着十分重要的作用。 目前已研究出很多种无约束优化方法，它们的主要不同点在于构造搜索方向上的差别。 （1）间接法——要使用导数，如梯度法、（阻尼）牛顿法、变尺度法、共轭梯度法等。 （2）直接法——不使用导数信息，如坐标轮换法、鲍威尔法单纯形法等。用直接法寻找极小点时，不必求函数的导数，只要计算目标函数值。这类方法较适用于解决变量个数较少的（n ≤20）问题，一般情况下比间接法效率低。间接法除要计算目标函数值外，还要计算目标函数的梯度，有的还要计算其海赛矩阵。 各种优化方法之间的主要差异是在于构造的搜索方向，因此，搜索方向的构成问题乃是无约束优化方法的关键。 下面介绍几种经典的无约束优化方法。 1、梯度法 基本思想：函数的负梯度方向是函数值在该点下降最快的方向。将n 维问题转化为一系列沿负梯度方向用一维搜索方法寻优的问题，利用负梯度作为搜索方向，故称最速下降法或梯度法。 搜索方向s 取该点的负梯度方向 (最速下降方向) ，使函数值在该点附近的范围内下降最快 。 为了使目标函数值沿搜索方向能够获得最大的下降值，其步长因子应取一维搜索的最佳步长。即有 12[]T n x x x = x ()min f →x ()k f -?x k αmin ()n f R ∈x x 1(0,1,2,)k k k k s k α+=+= x x 1(0,1,2,) k k k k s k α+=+= x x 1()(0,1,2,) k k k k a f k +=-?= x x x 1()[()]min [()]min ()k k k k k k k a a f f a f f a f ?α+=-?=-?=x x x x x
第三章 无约束最优化方法
第三章无约束最优化方法 本章内容及教学安排 第一节概述 第二节迭代终止原则 第三节常用的一维搜索方法 第四节梯度法 第五节牛顿法 第六节共轭方向法 第七节变尺度法 第八节坐标轮换法 第九节鲍威尔方法 第一节概述 优化问题可分为 无约束优化问题 有约束优化问题 无约束最优化问题求解基于古典极值理论的一种数值迭代方法，主要用来求解非线性规划问题 迭代法的基本思想：
所以迭代法要解决三个问题 1、如何选择搜索方向 2、如何确定步长
3、如何确定最优点（终止迭代） 第二节 迭代终止准则 1）1K K X X ε+-≤ 111/2 21K K K K n i i i X X X X ε++=??-=-≤???? ∑（） 2） 11()()()() () K K K K K f X f X f X f X or f X ε ε ++-≤-≤ 3）(1)()K f X ε+?≤ 第三节 常用的一维搜索方法 本节主要解决的是如何确定最优步长的问题。 从初始点(0)X 出发，以一定的步长沿某一个方向，可以找到一个新的迭代点，其公式如下： (1)(0)00(2)(1)11(1)() K K k k X X S X X S X X S ααα+=+=+= + 现在假设K S 已经确定，需要确定的是步长k α，就把求多维目标函数的极小值这个多维算过程中，当起步点和方向问题，变成求一个变量即步长的最优值的一维问题了。即 (1)()min ()min ()min ()K K K k k f X f X S f αα+=+= 由此可见，最佳步长*K α由一维搜索方法来确定 求*k α，使得()()()()()()min K K K K f f X S αα=+→ 一、一维搜索区间的确定 区间[,]a b 应满足 ()(*)()f a f f b α><