最优化理论与方法——牛顿法
牛顿法简介
摘要：牛顿法作为求解非线性方程的一种经典的迭代方法，它的收敛速度快，有内在函数可以直接使用。结合着matlab 可以对其进行应用，求解方程。
关键词：牛顿法，Goldfeld 等人修正牛顿法, matlab 实现
1 介绍：
迭代法也称辗转法，是一种不断用变量的旧值递推新值的过程，跟迭代法相
对应的是直接法，即一次性解决问题。但多数方程不存在求根公式，因此求解根非常困难，甚至不可能，从而寻找方程的近似根就显得特别重要。
迭代算法是用计算机解决问题的一种基本方法。它利用计算机运算速度快、适合做重复性操作的特点，让计算机对一组指令（或一定步骤）进行重复执行，在每次执行这组指令（或这些步骤）时，都从变量的原值推出它的一个新值。
利用迭代算法解决问题，需要做好以下3个方面的工作：
1，确定迭代变量。在可以用迭代算法解决的问题中，至少存在一个直接或间接地不断由旧值递推出新值的变量，这个变量就是迭代变量。
2，建立迭代关系式。所谓迭代关系式，是指如何从变量的前一个值推出下一个值的公式（或关系）。迭代关系式的建立是解决迭代问题的关键，通常可以使用递推或倒推的方法来完成。 3，对迭代过程进行控制。在什么时候结束迭代过程？这是编写迭代程序必须 考虑的问题。不能让迭代过程无休止地重复下去。迭代过程的控制通常可分为两种情况：一种是所需的迭代次数是个确定的值，可以计算出来；另一种是所需的迭代次数无法确定。对于前一种情况，可以构建一个固定次数的循环来实现对迭代过程的控制；对于后一种情况，需要进一步分析出用来结束迭代过程的条件。 牛顿迭代法（Newton ’s method ）又称为牛顿-拉夫逊方法（Newton-Raphson method ）,它是牛顿在17世纪提出的一种在实数域和复数域上近似求解方程的方法,其基本思想是利用目标函数的二次Taylor 展开，并将其极小化。牛顿法使用函数
()f x 的泰勒级数的前面几项来寻找方程()0f x =的根。牛顿法是求方程根的重要方法之一，其最大优点是在方程()0f x =的单根附近具有平方收敛，而且该法还可以用来求方程的重根、复根，此时非线性收敛，但是可通过一些方法变成线性收敛。
牛顿法的几何解释：
方程()0f x =的根*x 可解释为曲线()y f x =与x 轴的焦点的横坐标。如下图：
设k x 是根*x 的某个近似值，过曲线()y f x =上横坐标为k x 的点k P 引切线，并将该切线与x 轴的交点 的横坐标1k x +作为*x 的新的近似值。鉴于这种几何背景，牛顿法亦称为切线法。
2 牛顿迭代公式：
（1）最速下降法：
以负梯度方向作为极小化算法的下降方向，也称为梯度法。
设函数()f x 在k x 附近连续可微，且()0k k g f x =?≠。由泰勒展开式： ()()(
)()()T
k k k k f
x f x x x f x x x ο
=+-?+- （*）
可知，若记为k k x x d α-=，则满足0T
k k d g <的方向k d 是下降方向。当α取定后，T k k d g 的值越小，即T k k d g -的值越大，函数下降的越快。由Cauchy-Schwartz 不等
式：
T k k k
k d g d g ≤
，故当且仅当k k d g =-时，T
k k d g 最小，从而称k g -是最速下降
方向。
最速下降法的迭代格式为： 1k k k k x x g α+=-。
（2）牛顿法：
设()f x 是二次可微实函数，n k x R ∈，Hesse 矩阵()2k f x ?正定。在k x 附近用二次Taylor 展开近似f ，
()()()()()()212
T T
k T k k k k f x s q s f x s f x s s f x s +≈=+?+?
k s x x =-，()()k q s 为()f x 的二次近似。将上式右边极小化，便得：
()()1
2
1k k k k x x f x f x -+??=-????， 这就是牛顿法的迭代公式。
在这个公式里，步长因子1k α=。令()()2,k k k k G f x g f x =?=?，则上式也可写成：
11k k k k x x G g -+=-
显然，牛顿法也可以看成在椭球范数k
G ?下的最速下降法。
事实上，对于()()T k k k f x s f x g s +≈+，
k s 是极小化问题 min
n T
k s R g s
s
∈的解。该极小化问题依赖于所取的范数，当采取2l 范数时，k k s g =-，所得方法为最速下降法。当采用椭球范数k
G ?时，
1k k k s G g -=-，所得方法即为牛顿法。
对于正定二次函数，牛顿法一步即可达到最优解。而对于非二次函数，牛顿法并不能保证有限次迭代求得最优解，但由于目标函数在极小点附近近似于二次函数，故当初始点靠近极小点时，牛顿法的收敛速度一般是快的。
牛顿法收敛定理：
设()2f C ∈，k x 充分靠近*x ，
()*0f x ?=，如果()2*f x ?正定，且Hesse 矩阵()G x 满足Lipschitz 条件，即存在0β>，使得对所有i,j ，有：
()()ij ij G x G y x y β-≤-，
其中()ij G x 是Hesse 矩阵()G x 的(),i j 元素，则对一切k ，牛顿迭代公式有意义，且所得序列{}k x 收敛到*x ，并且具有二阶收敛速度。
在实际求解中，当初始点远离最优解时，Hesse 矩阵k G 不一定正定。牛顿方向不一定是下降方向，其收敛性不能保证。这说明恒取步长因子为1的牛顿法是
不合适的，应该在牛顿法中采用某种一维搜索来确定步长因子。但是应该强调，仅当步长因子{}k α收敛到1时，牛顿法才是二阶收敛的。这时牛顿法的迭代公式
为：
1k k k d G g -=-，1k k k k x x d α+=+
其中k α是一维搜索产生的步长因子。
带步长因子的牛顿法
步1 选取初始数据，取初始点0x ，终止误差0ε>，令:0k =。 步2 计算k g 。若k g ε<，停止迭代，输出k x ，否则进行步3. 步3 解方程组构造牛顿方向，即解k k G d g =-，求出k d 。 步4 进行一维搜索，求k α使得 ()(
)0
mi n k k k k k f
x d f x d ααα
≥+=+，
令1,:1k k k k x x d k k α+=+=+ 转步2
3 事例
牛顿法是非先线性方程求根中一种很实用的方法，它具有简单的迭代格式和较
快的收敛速度，它二次收敛到单根，线性收敛到重根。数值计算中的经典迭代算法（SN ）：
()()
1',0,1,2n n n n f x x x n f x +=-=
10x xe -= 使用牛顿法求解。
这里牛顿公式为，11k
x k k k k x e x x x -+-=-+
取迭代初值00.5x =，迭代结果列于下表：
00.510.5710220.56716k k x
本例所给方程实际上等价于x x e -=。若使用不动点迭代到同一精度要迭代17次，可见牛顿法的收敛速度很快。 牛顿法的计算步骤：
步骤1 准备 选定初始近似值0x ，计算()00f f x =，()''00f f x =。 步骤2 迭代 按公式：
10'
0f x x f =-
迭代一次，得新的近似值1x ， ()11f f x =，()''11f f x =。
步骤3 控制 如果1x 满足1δε<，或12f ε<，则终止迭代，以1x 作为所求的根；否则转步骤4. 此处，12,εε是允许误差，而：
1011011,,x x x C x x x C x δ-
=-?≥??
当时；当时，
其中C 是取绝对误差或相对误差的控制常数，一般可取=1C 。
步骤4 修改 如果迭代次数达到预先制定的次数N ，或者'1=0f ，则方法失败；否则以()'111,,x f f 代替()'000,,x f f ，转步骤2继续迭代。
4 牛顿法的改进
在优化问题的计算中，牛顿迭代法是非线性方程求根中一种很实用的方法，它
具有简单的迭代格式和较快的收敛速度，它二次收敛到单根，线性收敛到重根。数值计算中的经典
牛顿法面临的主要问题是Hesse 矩阵k G 不正定，这时候二次模型不一定有极小点，甚至没有平稳点。当k G 不定时，二次模型函数是无界的。
Goldstein 和Price （1967）提出当k G 非正定时，采用最速下降方向k g -。Goldfeld 等人（1966年）提出了一种修正方法，即使牛顿方向偏向最速下降方向k g -。更明确的说，就是将模型的Hesse 矩阵k G 改变成k k G v I +，其中0k v >，使得k k G v I +正定。
该算法的框架如下：
给出初始点0n x R ∈。第k 步迭代为： （1）令k k G v I k G -
=+，其中：
0k v =，如果k G 正定；0,k v >否则。
（2）计算_k G 的Cholesky 分解，_
T k k k k G L D L =。 （3）解_
k k G d g =-得k d 。 （4）令1k k k x x d +=+
牛顿法的优点是收敛快，缺点一是每步迭代要计算()()'k k f x f x 及，计算量较大且有时()'k f x 计算较困难，二是初始近似值0x 只在根*x 附近才能保证收敛，如0x 给的不合适可能不收敛。
为克服这两个缺点，通常可以下述两个方法： （1）简化牛顿法，也称平行弦法。其迭代公式为， ()1,0,1,k k k x x Cf x C +=-≠ 迭代函数()()x x Cf x ?=-。
（2）牛顿下山法：牛顿法的收敛性依赖于初始值0x 的选取。如果0x 偏离所求根
*x 较远，则牛顿法可能发散。为防止迭代发散，对迭代过程再附加一项要求，即
具有单调性：
()()1k k f x f x +< 满足这项要求的算法称下山法。将牛顿法与下山法结合起来使用，即在下山法保证函数值稳定下降的前提下，用牛顿法加快收敛速度。 公式如下：
()
()'1k k k
f x x k f x x -
=-+与前一步的近似值，适当加权平均作为新的改进值
()111k k k x x x λλ-
++=+-，其中()0λλ<≤称为下山因子，上式即为：
()
()()1',0,1,k k k k f x x x k f x λ+=-= ，称为牛顿下山法
5.MTALAB牛顿法实现：
MTALAB程序：
R=[2 1; 1 3];
P=[6;4];
W=[3;2];
u=0.1;
ww=zeros(2,201);
ww(:,1)=W;
for i=1:200
deta=R*W-P;
W=W-u*eye(2,2)/R*deta;
ww(:,i+1)=W;
end
[W0,W1] = meshgrid(0:0.05:4,-1:0.05:2);
Z=2*W0.^2+2*W0.*W1+3*W1.^2-12*W0-8*W1+36; [X,Y] = contour(W0,W1,Z,20,'LineWidth',2);
xlabel('W0');ylabel('W1');zlabel('Z');
clabel(X,Y,'manual');
hold on;
plot(ww(1,:),ww(2,:),'LineWidth',2);
参考文献：
1，袁亚湘，孙文瑜. 最优化理论与方法[M].北京：科学出版社
2，张光澄. 非线性最优化计算方法[M].北京：高等教育出版社，2005.
3，邓乃扬，无约束最优化计算方法，科学出版社，北京，1982.
4，胡毓达，非线性规划，高等教育出版社，北京，1990.
5，席少霖，赵风治，最优化计算方法，上海科学技术出版社，上海，1983. 6，E．W．Cheney and A.A.Goldstein, “Newton’s method for convex program-ming and Chebyshev approximation”, Numerische Mathematik, 11 (1959),253-268.
7, R. Bryd and J. Nocedal, “An analysis of reduced Hessian methods for constrained optimization”, Math. Prog.,49(1991),285-323.
8, C. A. Bostaris and D. H. Jacobson, “A Newton-type curvilinear search method for optimization”, J. Math. Anal. Appl.,54(1976),217-229.
最优化课程设计
《最优化》课程设计 题目：牛顿法与阻尼牛顿法算法分析 学院: 数学与计算科学学院 专业：数学与应用数学 姓名学号：廖丽红 1000730105 欧艳 1000730107 骆宗元 1000730122 沈琼赞 1000730127 指导教师：李向利 日期：2012年11月08日
摘要 本文基于阻尼牛顿法在解决无约束最优化问题中的重要性，对其原理与算法予以讨论。论文主要是参阅大量数学分析和最优化理论方法，还有最优化方法课程以及一些学术资料，结合自己在平时学习中掌握的知识，并在指导老师的建议下，拓展叙述牛顿法和其改进方法——阻尼牛顿法的优缺点，同时针对阻尼牛顿法的基本思路和原理进行研究，其搜索方向为负梯度方向，改善了牛顿法的缺点，保证了下降方向。 关键词：无约束牛顿法下降方向阻尼牛顿法最优解
Abstract This thesis is based on the importance of the damping Newton's method to solve unconstrained optimization problems, we give the discussion about its principles and algorithms. We search a large number of mathematical analysis and optimization theory methods, optimization methods courses, as well as some academic information ,and at the same time combined with knowledge we have learning in peacetime and thanks to the instructor's advice, we also give an expanding narrative for the Newton's method and the improved method -- damping Newton method's advantages and disadvantages, and make a study of the basic ideas and principles for damping Newton method at the same time , we find that a negative gradient direction is for the search direction of the damping Newton method, this method improves the shortcomings of the Newton method which can ensure the descent direction. Keywords: unconstrained , Newton's method , descent direction , damping Newton's method ,optimal solution
《最优化方法》复习题(含答案)
《最优化方法》复习题(含答案)
附录5 《最优化方法》复习题 1、设n n A R ?∈是对称矩阵，,n b R c R ∈∈，求1()2 T T f x x Ax b x c =++在任意点x 处的梯度和Hesse 矩阵． 解 2(),()f x Ax b f x A ?=+?=． 2、设()()t f x td ?=+，其中:n f R R →二阶可导，,,n n x R d R t R ∈∈∈，试求()t ?''． 解 2()(),()()T T t f x td d t d f x td d ??'''=?+=?+． 3、设方向n d R ∈是函数()f x 在点x 处的下降方向，令 ()()()()() T T T T dd f x f x H I d f x f x f x ??=--???， 其中I 为单位矩阵，证明方向()p H f x =-?也是函数()f x 在点x 处的下降方向． 证明 由于方向d 是函数()f x 在点x 处的下降方向，因此()0T f x d ?<，从而 ()()()T T f x p f x H f x ?=-?? ()()()()()()()() T T T T T dd f x f x f x I f x d f x f x f x ??=-?--???? ()()()0T T f x f x f x d =-??+?<， 所以，方向p 是函数()f x 在点x 处的下降方向． 4、n S R ?是凸集的充分必要条件是12122,,,,,,,,m m m x x x S x x x ?≥?∈L L 的一切凸组合都属于S ． 证明 充分性显然．下证必要性．设S 是凸集，对m 用归纳法证明．当2m =时，由凸集的定义知结论成立，下面考虑1m k =+时的情形．令1 1k i i i x x λ+==∑， 其中,0,1,2,,1i i x S i k λ∈≥=+L ，且1 1 1k i i λ+==∑．不妨设11k λ+≠（不然1k x x S +=∈， 结论成立），记11 1k i i i k y x λλ=+=-∑ ，有111(1)k k k x y x λλ+++=-+，
最优化方法试题
《最优化方法》试题 一、 填空题 1.设()f x 是凸集n S R ?上的一阶可微函数，则()f x 是S 上的凸函数的一阶充要条件是（ ），当n=2时，该充要条件的几何意义是（ ）； 2.设()f x 是凸集n R 上的二阶可微函数，则()f x 是n R 上的严格凸函数（ ）（填‘当’或‘当且仅当’）对任意n x R ∈，2()f x ?是 （ ）矩阵； 3.已知规划问题22211212121212min 23..255,0z x x x x x x s t x x x x x x ?=+---?--≥-??--≥-≥?，则在点55(,)66T x =处的可行方向集为（ ），下降方向集为（ ）。 二、选择题 1.给定问题222121212min (2)..00f x x s t x x x x ?=-+??-+≤??-≤?? ，则下列各点属于K-T 点的是（ ） A) (0,0)T B) (1,1)T C) 1(,22 T D) 11(,)22T 2.下列函数中属于严格凸函数的是（ ） A) 211212()2105f x x x x x x =+-+ B) 23122()(0)f x x x x =-< C) 2 222112313()226f x x x x x x x x =+++- D) 123()346f x x x x =+- 三、求下列问题
()22121212121211min 51022 ..2330420 ,0 f x x x x x s t x x x x x x =+---≤+≤≥ 取初始点()0,5T 。 四、考虑约束优化问题 ()221212min 4..3413f x x x s t x x =++≥ 用两种惩罚函数法求解。 五．用牛顿法求解二次函数 222123123123()()()()f x x x x x x x x x x =-++-++++- 的极小值。初始点011,1,22T x ??= ???。 六、证明题 1.对无约束凸规划问题1min ()2 T T f x x Qx c x =+，设从点n x R ∈出发，沿方向n d R ∈ 作最优一维搜索，得到步长t 和新的点y x td =+ ，试证当1T d Q d = 时， 22[() ()]t f x f y =-。 2.设12*** *3(,,)0T x x x x =>是非线性规划问题()112344423min 23..10f x x x x s t x x x =++++=的最优解，试证*x 也 是非线性规划问题 144423* 123min ..23x x x s t x x x f ++++=的最优解，其中****12323f x x x =++。
最优化方法,汇总
最优化方法结课作业 年级数学121班 学号201200144209 姓名李强
1、几种方法比较 无约束优化：不对定义域或值域做任何限制的情况下，求解目标函数的最小值。这是因为实际应用中，许多情形被抽象为函数形式后均为凸函数，对于凸函数来说局部最小值点即为全局最小值点，因此只要能求得这类函数的一个最小值点，该点一定为全局最小值。（直接法：又称数值方法，它只需计算目标函数驻点的函数数值，而不是求其倒数，如坐标轮换法，单纯型法等。间接法：又称解析法，是应用数学极值理论的解析方法。首先计算出目标函数的一阶或一阶、二阶导数，然后根据梯度及海赛矩阵提供的信息，构造何种算法，从而间接地求出目标函数的最优解，如牛顿法、最速下降法共轭梯度法及变尺度法。）在优化算法中保证整体收敛的重要方法就是线搜索法与信赖域法,这两种算法既相似又有所不同。根据不同的线搜索准则就延伸出不同的线搜索算法,譬如比较常见和经典的最速下降法,牛顿法,拟牛顿法以及共辄梯度法等。 一维搜索又称线性搜索(Line Search),就是指单变量函数的最优化,它是多变量函数最优化的基础,是求解无约束非线性规划问题的基本方法之一。 一维搜索技术既可独立的用于求解单变量最优化问题,同时又是求解多变量最优化问题常用的手段,虽然求解单变量最优化问题相对比较简单,但其中也贯穿了求解最优化问题的基本思想。由于一维搜索的使用频率较高,因此努力提高求解单变量问题算法的计算效率具有重要的实际意义。 在多变量函数的最优化中,迭代格式Xk+1=Xk+akdk其关键就是构造搜索方向dk和步长因子ak 设Φ(a)=f(xk+adk) 这样从凡出发,沿搜索方向dk,确定步长因子ak,使Φ(a)<Φ(0)的问题就是关于步长因子a 的一维搜索问题。其主要结构可作如下概括:首先确定包含问题最优解的搜索区间，然后采用某种分割技术或插值方法缩小这个区间，进行搜索求解。 一维搜索通常分为精确的和不精确的两类。如果求得ak使目标函数沿方向dk达到极小,即使得f (xk+akdk)=min f (xk+ adk) ( a>0)则称这样的一维搜索为最优一维搜索,或精确一维搜索,ak叫最优步长因子;如果选取ak使目标函数f得到可接受的下降量,即使得下降量f (xk)一f (xk+akdk)>0是用户可接受的,则称这样的一维搜索为近似一维搜索,或不精确一维搜索,或可接受一维搜索。由于在实际计算中,一般做不到精确的一维搜索,实际上也没有必要做到这一点,因为精确的一维搜索需要付出较高的代价,而对加速收敛作用不大,因此花费计算量
天津大学《最优化方法》复习题(含答案)
天津大学《最优化方法》复习题（含答案） 第一章 概述(包括凸规划) 一、 判断与填空题 1 )].([arg )(arg min max x f x f n n R x R x -=∈∈ √ 2 {}{} .:)(m in :)(m ax n n R D x x f R D x x f ?∈-=?∈ ? 3 设.:R R D f n →? 若n R x ∈*，对于一切n R x ∈恒有)()(x f x f ≤*，则称*x 为最优化问题)(min x f D x ∈的全局最优解. ? 4 设.:R R D f n →? 若D x ∈*，存在*x 的某邻域)(*x N ε，使得对一切)(*∈x N x ε恒有)()(x f x f <*，则称*x 为最优化问题)(min x f D x ∈的 严格局部最优解. ? 5 给定一个最优化问题，那么它的最优值是一个定值. √ 6 非空集合n R D ?为凸集当且仅当D 中任意两点连线段上任一点属于D . √ 7 非空集合n R D ?为凸集当且仅当D 中任意有限个点的凸组合仍
属于D . √ 8 任意两个凸集的并集为凸集. ? 9 函数R R D f n →?:为凸集D 上的凸函数当且仅当f -为D 上的凹函数. √ 10 设R R D f n →?:为凸集D 上的可微凸函数，D x ∈*. 则对D x ∈?，有).()()()(***-?≤-x x x f x f x f T ? 11 若)(x c 是凹函数，则}0)( {≥∈=x c R x D n 是凸集。 √ 12 设{}k x 为由求解)(min x f D x ∈的算法A 产生的迭代序列，假设算法 A 为下降算法，则对{} ,2,1,0∈?k ，恒有 )()(1k k x f x f ≤+ . 13 算法迭代时的终止准则（写出三种）：_____________________________________。 14 凸规划的全体极小点组成的集合是凸集。 √ 15 函数R R D f n →?:在点k x 沿着迭代方向}0{\n k R d ∈进行精确一维线搜索的步长k α，则其搜索公式
(完整版)机械优化设计试卷期末考试及答案
第一、填空题 1.组成优化设计的数学模型的三要素是 设计变量 、目标函数 和 约束条件 。 2.可靠性定量要求的制定，即对定量描述产品可靠性的 参数的选择 及其 指标的确定 。 3.多数产品的故障率随时间的变化规律，都要经过浴盆曲线的 早期故障阶段 、 偶然故障阶段 和 耗损故障阶段 。 4.各种产品的可靠度函数曲线随时间的增加都呈 下降趋势 。 5.建立优化设计数学模型的基本原则是在准确反映 工程实际问题 的基础上力求简洁 。 6.系统的可靠性模型主要包括 串联模型 、 并联模型 、 混联模型 、 储备模型 、 复杂系统模型 等可靠性模型。 7. 函数f(x 1,x 2)=2x 12 +3x 22-4x 1x 2+7在X 0=[2 3]T 点处的梯度为 ，Hession 矩阵为 。 （2.）函数()22121212,45f x x x x x x =+-+在024X ??=????点处的梯度为120-?? ????，海赛矩阵为2442-???? -?? 8.传统机械设计是 确定设计 ；机械可靠性设计则为 概率设计 。 9.串联系统的可靠度将因其组成单元数的增加而 降低 ，且其值要比可靠 度 最低 的那个单元的可靠度还低。 10.与电子产品相比，机械产品的失效主要是 耗损型失效 。 11. 机械可靠性设计 揭示了概率设计的本质。 12. 二元函数在某点处取得极值的充分条件是()00f X ?=必要条件是该点处的海赛矩阵正定。 13.对数正态分布常用于零件的 寿命疲劳强度 等情况。 14.加工尺寸、各种误差、材料的强度、磨损寿命都近似服从 正态分布 。 15.数学规划法的迭代公式是 1k k k k X X d α+=+ ，其核心是 建立搜索方向， 模型求解 两方面的内容。 17.无约束优化问题的关键是 确定搜索方向 。 18.多目标优化问题只有当求得的解是 非劣解 时才有意义，而绝对最优解存在的可能性很小。 19.可靠性设计中的设计变量应具有统计特征，因而认为设计手册中给出的数据
最优化计算方法课后习题答案----高等教育出版社。施光燕
习题二包括题目：P36页5（1）（4） 5（4）
习题三 包括题目：P61页1(1)(2); 3; 5; 6; 14；15(1) 1(1)(2)的解如下 3题的解如下
5,6题 14题解如下 14. 设22121212()(6)(233)f x x x x x x x =+++---, 求点在(4,6)T -处的牛顿方向。 解：已知 (1) (4,6)T x =-，由题意得 121212212121212(6)2(233)(3)()2(6)2(233)(3)x x x x x x x f x x x x x x x x +++-----?? ?= ?+++-----?? ∴ (1)1344()56g f x -?? =?= ??? 21212122211212122(3)22(3)(3)2(233)()22(3)(3)2(233)22(3)x x x x x x x f x x x x x x x x +--+--------? ??= ? +--------+--?? ∴ (1)2(1)1656()()564G x f x --?? =?= ?-?? (1)1 1/8007/400()7/4001/200G x --?? = ?--?? ∴ (1)(1)11141/100()574/100d G x g -?? =-= ?-?? 15（1）解如下 15. 用DFP 方法求下列问题的极小点 （1）22 121212min 353x x x x x x ++++ 解：取 (0) (1,1)T x =，0H I =时，DFP 法的第一步与最速下降法相同 2112352()156x x f x x x ++???= ?++??， (0)(1,1)T x =，(0) 10()12f x ???= ??? (1)0.07800.2936x -??= ?-??， (1) 1.3760() 1.1516f x ???= ?-?? 以下作第二次迭代 (1)(0) 1 1.07801.2936x x δ-??=-= ?-??， (1)(0) 18.6240()()13.1516f x f x γ-??=?-?= ?-?? 0110 111011101 T T T T H H H H H γγδδδγγγ=+-
《最优化方法》复习题(含答案)
x zD 天津大学《最优化方法》复习题(含答案) 第一章 概述(包括凸规划) 判断与填空题 arg max f(x)二 arg min 以儿 “ max(x): x D 二 R n 』=-min(x): x D 二 R n ； 设f : D 5 R n > R.若x ： R n ，对于一切R n 恒有f(x”)^f(x)，则称x”为 设f : D 5 R n >R.若x ” ? D ,存在x ”的某邻域N ；(x”)，使得对一切 x ?N .(x)恒有f(x”)：：： f (x)，则称x”为最优化问题 min f (x)的严格局部最 优解? 给定一个最优化问题，那么它的最优值是一个定值 ? V 非空集合D R n 为凸集当且仅当 D 中任意两点连线段上任一点属于 D . V 非空集合D R n 为凸集当且仅当D 中任意有限个点的凸组合仍属于 D . V 任意两个凸集的并集为凸集? 函数f:D R n >R 为凸集D 上的凸函数当且仅当 -f 为D 上的凹函数? V 设f : D R n >R 为凸集D 上的可微凸函数，X ：D ?则对-D ,有 f (x) - f(x )乞 f (x )T (X —X )? 若c(x)是凹函数，则 D={x^R n C(x)启0}是凸集。 V f(x)的算法A 产生的迭代序列，假设算法 A 为下降算法, 则对-k ? 5,1, 2,…匚恒有 ________________ f(x k1)乞 f(x k ) ______________ ? 算法迭代时的终止准则(写出三种) ： ___________________________________________________ 凸规划的全体极小点组成的集合是凸集。 V 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
最优化方法之修正牛顿法matlab源码(含黄金分割法寻找步长)
revisenewton.m syms x1 x2 x3 xx; % f = x1*x1 +x2*x2 -x1*x2 -10*x1 -4*x2 + 60 ; % f = x1^2 + 2*x2^2 - 2*x1 *x2 -4*x1 ; f = 100 * (x1^2 - x2^2) + (x1 -1 )^2 ; hessen = jacobian(jacobian(f , [x1,x2]),[x1,x2]) ; gradd = jacobian(f , [x1,x2]) ; X0 = [0,0]' ; B = gradd' ; x1 = X0(1); x2 = X0(2); A = eval(gradd) ; % while sqrt( A(1)^2 + A(2)^2) >0.1 i=0; while norm(A) >0.1 i = i+1 ; fprintf('the number of iterations is: %d\n', i) if i>10 break; end B1 = inv(hessen)* B ; B2= eval(B1); % X1 = X0 - B2 % X0 = X1 ; f1= x1 + xx * B2(1); f2= x2 + xx* B2(2); % ff = norm(BB) ? syms x1 x2 ; fT=[subs(gradd(1),x1,f1),subs(gradd(2),x2,f2)]; ff = sqrt((fT(1))^2+(fT(2))^2); MinData = GoldData(ff,0,1,0.01); x1 = X0(1); x2 = X0(2); x1 = x1 + MinData * B2(1) x2 = x2 + MinData * B2(2) A = eval(gradd) End GoldData.m function MiniData = GoldData( f,x0,h0,eps) syms xx;
修订过的最优化方法复习题
《最优化方法》复习题 第一章 引论 一、 判断与填空题 1 )].([arg )(arg m in m ax x f x f n n R x R x -=∈∈ √ 2 {}{}.:)(min :)(max n n R D x x f R D x x f ?∈-=?∈ ? 3 设.:R R D f n →? 若n R x ∈*，对于一切n R x ∈恒有)()(x f x f ≤*，则称*x 为最优化问题 )(min x f D x ∈的全局最优解. ? 4 设.:R R D f n →? 若D x ∈*，存在*x 的某邻域)(*x N ε，使得对一切)(*∈x N x ε恒有)()(x f x f <*，则称*x 为最优化问题)(min x f D x ∈的严格局部最 优解. ? 5 给定一个最优化问题，那么它的最优值是一个定值. √ 6 非空集合n R D ?为凸集当且仅当D 中任意两点连线段上任一点属于D . √ 7 非空集合n R D ?为凸集当且仅当D 中任意有限个点的凸组合仍属于D . √ 8 任意两个凸集的并集为凸集. ? 9 函数R R D f n →?:为凸集D 上的凸函数当且仅当f -为D 上的凹函数. √ 10 设R R D f n →?:为凸集D 上的可微凸函数，D x ∈*. 则对D x ∈?，有).()()()(***-?≤-x x x f x f x f T ? 11 若)(x c 是凹函数，则}0)( {≥∈=x c R x D n 是凸集。 √ 12 设{}k x 为由求解)(min x f D x ∈的算法A 产生的迭代序列，假设算法A 为单调下降算 法，则对{} ,2,1,0∈?k ，恒有 )()(1k k x f x f ≤+ .
最优化方法(试题+答案)
一、 填空题 1 ． 若 ()()??? ? ??+???? ?????? ??=212121 312112)(x x x x x x x f ，则 =?)(x f ，=?)(2x f . ２．设f 连续可微且0)(≠?x f ，若向量d 满足 ，则它是f 在x 处的一个下降方向。 3.向量T ) 3,2,1(关于3阶单位方阵的所有线性无关的共轭向量 有 ． 4. 设R R f n →:二次可微，则f 在x 处的牛顿方向为 . 5.举出一个具有二次终止性的无约束二次规划算 法: . 6.以下约束优化问题： )(01)(..)(min 212121 ≥-==+-==x x x g x x x h t s x x f 的K-K-T 条件为： . 7．以下约束优化问题： 1 ..)(min 212 2 21=++=x x t s x x x f 的外点罚函数为(取罚参数为μ) . 二、证明题（７分+8分) 1.设1,2,1,:m i R R g n i =→和m m i R R h n i ,1,:1+=→都是线性函数,证明下 面的约束问题: } ,,1{, 0)(},1{, 0)(..)(min 1112 m m E j x h m I i x g t s x x f j i n k k +=∈==∈≥=∑= 是凸规划问题。
2.设R R f →2 :连续可微，n i R a ∈,R h i ∈,m i ,2,1=,考察如下的约束条件问题: } ,1{,0} 2,1{,0..) (min 11m m E i b x a m I i b x a t s x f i T i i T i +=∈=-=∈≥- 设d 是问题 1 ||||,0,0..)(min ≤∈=∈≥?d E i d a I i d a t s d x f T i T i T 的解，求证：d 是f 在x 处的一个可行方向。 三、计算题（每小题１2分) １.取初始点T x )1,1() 0(=.采用精确线性搜索的最速下降法求解下面的无约束优化问题 (迭代２步）: 2 2212)(m in x x x f += 2.采用精确搜索的BFGS 算法求解下面的无约束问题： 212 2212 1)(min x x x x x f -+= 3.用有效集法求解下面的二次规划问题: . 0,001..42)(min 21212 12 221≥≥≥+----+=x x x x t s x x x x x f 4．用可行方向算法(Zoutend ｉj ｋ算法或Ｆrank Wol ｆｅ算法）求解下面的问题（初值设为)0,0() 0(=x ,计算到)2(x 即可）： . 0,033..22 1)(min 212112 22121≥≥≤+-+-= x x x x t s x x x x x x f
matlab最优化-牛顿法
实验报告日期：2013年6月2日 一、实验概述 【实验名称】：牛顿法 【实验性质】：验证性 【实验目的及要求】：配合课堂教学，培养学生动手能力，根据牛顿法求极小值的思想设计程序。 【基本原理】：牛顿法的迭代公式：)()(12)()1(k k k k x f x f x x ??-=-+，其中)(2k x f k ?是f(x)在k x 处的Hesse 矩阵。【实施环境】： MATLAB 7.0 二、实验内容 【项目内容及要求】 用牛顿法求解以下问题： min z=(x1-1)4+x22 三、实验过程 【实验操作步骤】 function [x1k]=newton(x1,j) %x1为初始点x1=[8,8]';j=1e-10; hs=inline('(x-1)^4+y^2');
ezcontour(hs,[-1010-1010]);hold on; syms x y f=(x-1)^4+y^2; grad1=jacobian(f,[x,y]);%求梯度 grad2=jacobian(grad1,[x,y]);%求Hesse矩阵 k=0; while1 grad1z=subs(subs(grad1,x,x1(1)),y,x1(2));%求梯度值 grad2z=subs(subs(grad2,x,x1(1)),y,x1(2));%求Hesse矩阵x2=x1-inv(grad2z)*(grad1z');%牛顿迭代公式 if norm(x1-x2) 作用： ①仿真的过程也是实验的过程，而且还是系统地收集和积累信息的过程。尤其是对一些复杂的随机问题，应用仿真技术是提供所需信息的唯一令人满意的方法。 ②仿真技术有可能对一些难以建立物理模型或数学模型的对象系统，通过仿真模型来顺利地解决预测、分析和评价等系统问题。 ③通过系统仿真，可以把一个复杂的系统化降阶成若干子系统以便于分析，并能指出各子系统之间的各种逻辑关系。 ④通过系统仿真，还能启发新的策略或新思想的产生，或能暴露出在系统中隐藏着的实质性问题。同时，当有新的要素增加到系统中时，仿真可以预先指出系统状态中可能会出现的瓶颈现象或其它的问题。 2.简述两个Wardrop 均衡原理及其适用范围。 答： Wardrop提出的第一原理定义是：在道路的利用者都确切知道网络的交通状态并试图选择最短径路时，网络将会达到平衡状态。在考虑拥挤对行驶时间影响的网络中，当网络达到平衡状态时，每个 OD 对的各条被使用的径路具有相等而且最小的行驶时间；没有被使用的径路的行驶时间大于或等于最小行 驶时间。 Wardrop提出的第二原理是：系统平衡条件下，拥挤的路网上交通流应该按照平均或总的出行成本 最小为依据来分配。 第一原理对应的行为原则是网络出行者各自寻求最小的个人出行成本，而第二原理对应的行为原则是网络的总出行成本最小。 3.系统协调的特点。 答： （1）各子系统之间既涉及合作行为，又涉及到竞争行为。 （2）各子系统之间相互作用构成一个反馈控制系统，通过信息作为“中介”而构成整体 （3）整体系统往往具有多个决策人，构成竞争决策模式。 （4）系统可能存在第三方介入进行协调的可能。 6．对已经建立了概念模型的系统处理方式及其特点、适用范围。答：对系统概念模型有三种解决方式。 1.建立解析模型方式 对简单系统问题，如物流系统库存、城市公交离线调度方案的确定、交通量不大的城市交叉口交通控制等问题，可以运用专业知识建立系统的量化模型（如解析数学模型），然后采用优化方法确定系统解决方案，以满足决策者决策的需要，有关该方面的内容见第四、五章。 在三种方式中，解析模型是最科学的，但仅限于简单交通运输系统问题，或仅是在实际工程中一定的情况下（仅以一定的概率）符合。所以在教科书上很多漂亮的解析模型，无法应用于工程实际中。 2.建立模拟仿真模型方式 对一般复杂系统，如城市轨道交通调度系统、机场调度系统、城市整个交通控制系统等问题，可以对系统概念模型中各个部件等采用变量予以量化表示，并通过系统辨识的方式建立这些变量之间关系的动力学方程组，采用一定的编程语言、仿真技术使其转化为系统仿真模型，通过模拟仿真寻找较满意的优化方案，包括离线和在线均可以，有关该方面的内容见第七章。 模拟仿真模型比解析模型更能反映系统的实际，所以在交通运输系统中被更高层次的所使用，包括 牛顿法 迭代公式：(1)2()1()[()]()k k k k x x f x f x +-=-?? Matlab 代码： function [x1,k] =newton(x1,eps) hs=inline('(x-1)^4+y^2'); 写入函数 ezcontour(hs,[-10 10 -10 10]); 建立坐标系 hold on; 显示图像 syms x y 定义变量 f=(x-1)^4+y^2; 定义函数 grad1=jacobian(f,[x,y]); 求f 的一阶梯度 grad2=jacobian(grad1,[x,y]); 求f 的二阶梯度 k=0; 迭代初始值 while 1 循环 grad1z=subs(subs(grad1,x,x1(1)),y,x1(2)); 给f 一阶梯度赋初值 grad2z=subs(subs(grad2,x,x1(1)),y,x1(2)); 给f 二阶梯度赋初值 x2=x1-inv(grad2z)*(grad1z)'; 核心迭代公式 if norm(x1-x2) end end end 优点：在极小点附近收敛快 缺点：但是要计算目标函数的hesse 矩阵 最速下降法 1. ：选取初始点xo ，给定误差 2. 计算一阶梯度。若一阶梯度小于误差，停止迭代，输出 3. 取()()()k k p f x =? 4. 10 t ()(), 1.min k k k k k k k k k k t f x t p f x tp x x t p k k +≥+=+=+=+进行一维搜索，求，使得令转第二步 例题： 求min (x-2)^4+(x-2*y)^2.初始值（0,3）误差为0.1 (1)编写一个目标函数，存为f.m function z = f( x,y ) z=(x-2.0)^4+(x-2.0*y)^2; end (2)分别关于x 和y 求出一阶梯度，分别存为fx.m 和fy.m function z = fx( x,y ) z=2.0*x-4.0*y+4.0*(x-2.0)^3; end 和 function z = fy( x,y ) 经济预测与决策 考试形式：闭卷考试时量：150分钟总分：100分 一．单选题1*15=15分 1.经济预测的第一步是（）A A.确定预测目的，制定计划 B.搜集审核资料 C.建立预测模型 D.评价预测成果 2.对一年以上五年以下的经济发展前景的预测称为（）B A.长期经济预测 B.中期经济预测 C.短期经济预测 D.近期经济预测 3.（）回归模型中，因变量与自变量的关系是呈直线型的。C A.多元 B.非线性 C.线性 D.虚拟变量 4.以下哪种检验方法的零假设为：B1=B2=…=Bm=0？B A.r检验 B.F检验 C.t检验 D.DW检验 5.以数年为周期，涨落相间的波浪式起伏变动称为（）D A.长期趋势 B.季节变动 C.不规则变动 D.循环变动 6. 一组数据中出现次数最多的变量值，称为（）A A.众数 B.中位数 C.算术平均数 D.调和平均数 7. 通过一组专家共同开会讨论，进行信息交流和相互启发，从而诱发专家们发挥其创造性思维，促进他们产生“思维共振”，达到相互补充并产生“组合效应”的预测方法为（）A A.头脑风暴法 B.德尔菲法 C.PERT预测法 D.趋势判断预测法 8.（）起源于英国生物学家高尔登对人类身高的研究。B A.定性预测法 B.回归分析法 C.马尔科夫预测法 D.判别分析预测法 9.抽样调查的特点不包括（）D A.经济性 B.时效性 C.适应性 D.全面性 10.下图是哪种多项式增长曲线（）B A.常数多项式 B.一次多项式 C.二次多项式 D.三次多项式 11.根据历年各月的历史资料，逐期计算环比加以平均，求出季节指数进行预测的方法称为（）C A.平均数趋势整理法 B.趋势比率法 C.环比法 D.温特斯法 12.经济决策按照目标的性质和行动时间的不同，分为（）D A.宏观经济决策和微观经济决策 B.高层、中层和基层决策 C.定性决策和定量决策 D.战术决策和战略决策 13.（）是从最好情况出发，带有一定冒险性质，反映了决策者冒进乐观的态度。B A.最大最小决策准则 B.最大最大决策准则 C.最小最小后悔值决策准则 D.等概率决策准则 14.如果某企业规模小，技术装备不良，担负不起较大的经济风险，则该企业应采用（）A 最优化理论、方法及应用试题 一、 （30分） 1、针对二次函数1()2 T T f x x Q x b x c =++，其中 Q 是正定矩阵，试写出最速下降 算法的详细步骤，并简要说明其优缺点？ 答：求解目标函数的梯度为()g x Qx b =+，()k k k g g x Q x b ==+，搜索方向：从k x 出发，沿k g -作直线搜索以确定1k x +。 Step1: 选定0x ,计算00,f g Step2: 做一维搜索, ()1min k k k t f f x t g +=-,1k k k x x tg +=-. Step3：判别，若满足精度要求，则停止；否则，置k=k+1,转步2。 优缺点：最速下降法在初始点收敛快，算法简单，在最优点附近有锯齿现象，收敛速度慢。 2、有约束优化问题 m in ()()0,1,2,,.. ()0,1,2,,i j f x g x i m s t h x j l ≥=???==?? 最优解的必要条件是什么？ 答：假设*x 是极小值点。必要条件是f ，g ，h 函数连续可微，而且极小值点的所有起作用约束的梯度(*)(1,2,,)i h x i l ?= 和(*)(1,2,,)j g x j m ?= 线性无关，则 存在****** 12 12,,,,,,,,l m αααβββ 使得 ()1 1* * * * * * 1 212* * (*)*(*)*(*)0 *(*)0,1,2,,,,,,,,,0 0,0 l m i i j j i i j j l m i j f x h x g x g x j m α β βα ααβββαβ==?- ?- ?===≠>≥∑∑ 3、什么是起作用约束？什么是可行方向？什么是下降方向？什么是可行下降方向？针对上述有约束优化问题，如果应用可行方向法，其可行的下降方向怎样确定？ 答：起作用约束：若0()0j g x =，这时点0x 处于该约束条件形成的可行域边界上，它对0x 的摄动起到某种限制作用。 可行方向：0x 是可行点，某方向p ，若存在实数00λ>，使得它对任意 一、 填空题 1.若()()??? ? ??+???? ?????? ??=212121 312112)(x x x x x x x f ， 则=?)(x f ，=?)(2x f . 2.设f 连续可微且0)(≠?x f ，若向量d 满足 ，则它是f 在x 处的一个下降方向。 3.向量T )3,2,1(关于3阶单位方阵的所有线性无关的共轭向量有 . 4. 设R R f n →:二次可微，则f 在x 处的牛顿方向为 . 5.举出一个具有二次终止性的无约束二次规划算法： . 6.以下约束优化问题： )(01)(..)(min 212121 ≥-==+-==x x x g x x x h t s x x f 的K-K-T 条件为： . 7.以下约束优化问题： 1 ..)(min 212 2 21=++=x x t s x x x f 的外点罚函数为（取罚参数为μ） . 二、证明题（7分+8分） 1.设1,2,1,:m i R R g n i =→和m m i R R h n i ,1,:1+=→都是线性函数，证明下 面的约束问题： } ,,1{, 0)(},1{, 0)(..)(min 1112 m m E j x h m I i x g t s x x f j i n k k +=∈==∈≥=∑= 是凸规划问题。 2.设R R f →2 :连续可微，n i R a ∈，R h i ∈，m i ,2,1=，考察如下的约束条件问题： } ,1{,0} 2,1{,0..) (min 11m m E i b x a m I i b x a t s x f i T i i T i +=∈=-=∈≥- 设d 是问题 1 ||||,0,0..)(min ≤∈=∈≥?d E i d a I i d a t s d x f T i T i T 的解，求证：d 是f 在x 处的一个可行方向。 三、计算题（每小题12分） 1.取初始点T x )1,1() 0(=.采用精确线性搜索的最速下降法求解下面的无约束优化问题 （迭代2步）： 2 2212)(m in x x x f += 2.采用精确搜索的BFGS 算法求解下面的无约束问题： 212 2212 1)(min x x x x x f -+= 3.用有效集法求解下面的二次规划问题： . 0,001..42)(min 21212 12 221≥≥≥+----+=x x x x t s x x x x x f 4.用可行方向算法（Zoutendijk 算法或Frank Wolfe 算法）求解下面的问题（初值设为)0,0() 0(=x ,计算到)2(x 即可)： . 0,033..22 1)(min 21211222121≥≥≤+-+-= x x x x t s x x x x x x f 附录5 《最优化方法》复习题 1、设n n A R ?∈是对称矩阵，,n b R c R ∈∈，求1()2 T T f x x Ax b x c =++在任意点x 处的梯度和Hesse 矩阵． 解 2(),()f x Ax b f x A ?=+?=． 2、设()()t f x td ?=+，其中:n f R R →二阶可导，,,n n x R d R t R ∈∈∈，试求()t ?''． 解 2()(),()()T T t f x td d t d f x td d ??'''=?+=?+． 3、设方向n d R ∈是函数()f x 在点x 处的下降方向，令 ()()()()() T T T T dd f x f x H I d f x f x f x ??=--???， 其中I 为单位矩阵，证明方向()p H f x =-?也是函数()f x 在点x 处的下降方向． 证明 由于方向d 是函数()f x 在点x 处的下降方向，因此()0T f x d ?<，从而 ()()()T T f x p f x H f x ?=-?? ()()()()()()()() T T T T T dd f x f x f x I f x d f x f x f x ??=-?--???? ()()()0T T f x f x f x d =-??+?<， 所以，方向p 是函数()f x 在点x 处的下降方向． 4、n S R ?是凸集的充分必要条件是12122,,,,,,,,m m m x x x S x x x ?≥?∈L L 的一切凸组合都属于S ． 证明 充分性显然．下证必要性．设S 是凸集，对m 用归纳法证明．当2m =时，由凸集的定义知结论成立，下面考虑1m k =+时的情形．令1 1k i i i x x λ+==∑， 其中,0,1,2,,1i i x S i k λ∈≥=+L ，且1 1 1k i i λ+==∑．不妨设11k λ+≠（不然1k x x S +=∈， 结论成立），记11 1k i i i k y x λλ=+=-∑ ，有111(1)k k k x y x λλ+++=-+， 2008-12-08 12:30 利用梯度法和牛顿法编程求最优解(matlab) f(x)=x1^2+4*x2^2 x0=[2;2] e=0.002 利用梯度法和牛顿法编程求最优解 方法一.梯度法 function y=fun(x1,x2) y=x1^2+4*x2^2; %定义fun.m函数 clc syms x1 x2 d; f=x1^2+4*x2^2; fx1=diff(f,'x1'); fx2=diff(f,'x2'); x1=2; x2=2; for n=1:100 f0=subs(f); f1=subs(fx1); f2=subs(fx2); if (double(sqrt(f1^2+f2^2)) <= 0.002) n vpa(x1) vpa(x2) vpa(f0) break; else D=fun(x1-d*f1,x2-d*f2); Dd=diff(D,'d'); dd=solve(Dd); x1=x1-dd*f1; x2=x2-dd*f2; end end %结果n=10,x1=0.2223e-3,x2=-0.1390e-4,f0=0.5021e-7. 方法二.牛顿法 clc syms x1 x2 ; f=x1^2+4*x2^2; fx1=diff(f,'x1'); fx2=diff(f,'x2'); fx1x1=diff(fx1,'x1');fx1x2=diff(fx1,'x2');fx2x1=diff(fx2,'x1');fx2x2= diff(fx2,'x2'); x1=2; x2=2; for n=1:100 f0=subs(f); f1=subs(fx1); f2=subs(fx2); if (double(sqrt(f1^2+f2^2)) <= 0.002) n x1=vpa(x1,4) x2=vpa(x2,4) f0=vpa(f0,4) break; else X=[x1 x2]'-inv([fx1x1 fx1x2;fx2x1 fx2x2]) *[f1 f2]'; x1=X[1,1]; x2=X[2,1]; end end %结果 n=2,x1=0,x2=0,f0=0. 惩罚函数法（内点法、外点法）求解约束优化问题最优值编程 matlab 1 用外点法求下列问题的最优解 方法一：外点牛顿法： clc m=zeros(1,50);a=zeros(1,50);b=zeros(1,50);f0=zeros(1,50);%a b为最优点坐标，f0为最优点函数值，f1 f2最优点梯度。 syms x1 x2 e; %e为罚因子。m(1)=1;c=10;a(1)=0;b(1)=0; %c为递增系数。赋初值。 f=x1^2+x2^2+e*(1-x1)^2;f0(1)=1; fx1=diff(f,'x1');fx2=diff(f,'x2');fx1x1=diff(fx1,'x1');fx1x2=diff(fx1 ,'x2');fx2x1=diff(fx2,'x1');fx2x2=diff(fx2,'x2');%求偏导、海森元素。for k=1:100 %外点法e迭代循环. x1=a(k);x2=b(k);e=m(k); for《最优化方法》期末试题
最优化牛顿法最速下降法共轭梯度法matlab代码
预测与决策试卷及答案解析
最优化试题及答案
最优化方法(试题+答案)
《最优化方法》复习题(含答案)
最优化 多目标优化 惩罚函数法 梯度法 牛顿法