华南农业大学最优化第2章(07-1)

合集下载

【课件】运筹学与最优化方法(华南理工)第3章(07-4)

的最优解S(k)和最优值
(k +1) (k ) (k )
q(S(k) )
(k + 1) (k )
) f (X = X + S 若 f (X (3)令 X 取 X * = X (k+1) ,停止,否则转(4) (4)计算 f = f (X (k) ) f (X (k+1) ), q = f (X (k) ) q(S(k) ) 1/ 2k ..若 f < 0.1q 令
第三章
无约束非线性规划
3.4 信赖域法, Matlab解无约束非线性规划
一.信赖域法: 1.思想: 1) 前两节方法的结构原理为用二次模型产生下降方向,在下降方向上确定可接受的步长,得到新迭代点. 若二次模型不近似原目标函数,则在搜索方向上无法找到满意的下降迭代点. 能否先指定步长的界,再用二次模型确定方向和步长? *注:保证在下近似,可使f(x)与二次模
y(1) = x +α(x xmax )
2 扩展:给定扩展系数 >1,计算.(加速) 扩展:给定扩展系数γ 计算.(加速) 计算.(加速
y(2) = x +γ ( y(1) x)
3.5 直接算法
一, 2,改进单纯形法: (续) ,改进单纯形法: (1)若f(y(1))<f(x min), 则若那么y 取代x 否则, 取代x 若f(y(1))> f(y(2)), 那么 (2)取代 max; 否则, y(1)取代 max (2)若max{f(x(i))| x(i) ≠x max } ≥ f(y(1)) ≥ f(x min), y(1)取代 max . 取代x 若 3° 收缩:若f(x max )> f(y(1)) > f(x(i)), x(i) ≠x max ,计算 ° 收缩: 计算

最优化原理与方法课后习题1

第一章、预备知识一、考虑二次函数()2211221223f X x x x x x x =++-+1) 写出它的矩阵—向量形式: ()f X =12TTQx x xb +2) 矩阵Q 是不是奇异的? 3) 证明: f(x)是正定的 4) f(x)是凸的吗? 5) 写出f(x)在点x =()2,1T处的支撑超平面(即切平面)方程解: 1) f(x)=xx x x x x2122212132+-++=⎪⎪⎭⎫ ⎝⎛x x 2121⎪⎪⎭⎫⎝⎛6222⎪⎪⎭⎫ ⎝⎛x x 21+11T-⎛⎫ ⎪⎝⎭⎪⎪⎭⎫ ⎝⎛x x 21 其中 x=⎪⎪⎭⎫ ⎝⎛x x 21 ,Q=⎪⎪⎭⎫ ⎝⎛6222, b=⎪⎪⎭⎫⎝⎛-11 2) 因为Q=⎪⎪⎭⎫ ⎝⎛6222,所以 |Q|=6222=8>0 即可知Q 是非奇异的3) 因为|2|>0, 6222=8>0 ,所以Q 是正定的,故f(x)是正定的4) 因为2()f x ∇=⎪⎪⎭⎫ ⎝⎛6222,所以|)(2x f ∇|=8>0,故推出)(2x f ∇是正定的, 即)(2x f ∇是凸的5) 因为)(x f ∇=2121(2x 2-1,261)x x x T+++,所以)(x f ∇=(5,11)所以 ()f x 在点x 处的切线方程为5(21-x )+11(12-x )=0 二、求下列函数的梯度问题和Hesse 矩阵 1) ()f x =2x 12+xx x x x 23923121+++x x x 2322+2) ()f x =2212()21n l x x x x ++解: 1) )(x f ∇= (,94321x xx ++ 26321+++xx x, xx 219+))(2x f ∇=⎪⎪⎪⎭⎫ ⎝⎛019161914 2) )(x f ∇=(x x x x xx 112221221+++,x x x x x x112221221+++))(2x f ∇=⎪⎪⎪⎪⎪⎪⎪⎭⎫⎝⎛----------++++++++)()()()(2221212222212142221214222121222222121222212122221212212122x x x x x x x x x x x x x x x x x x x x xx x xx x x x x x x x 三、设f(x)=xx x x x x x323223322122--+++,取点)1,1,1()1(Tx=.验证d )1(=(1,0,-1)是f(x)在点x )1(处的一个下降方向,并计算min >t f(x )1(+t d)1()证明: )(x f ∇=)124,123,x 2(233221-+-+x x x x T)5,4,2()(1Tx f =∇d )(1x f ∇=(1,0,-1)⎪⎪⎪⎭⎫ ⎝⎛542= -3<0所以d)1(是f(x)在x )1(处的一个下降方向f(x )1(+t d)1()=f((1+t,1,1-t))=433)1(1)1(221(222)1()1+-=----+++-+t t t t t t∇f(x )1(+t d)1()=6t-3=0 所以t=0.5>0所以0min >t f(x )1(+t d)1()=3*0.25-3*0.5+4=3.25四、设,,i i i a b c （j=1,2,….,n ）考虑问题Min f(x)=∑=nj jj xc 1s.t. b nj jjxa =∑=10≥xj(j=1,2,….,n)1) 写出其Kuhn Tuker 条件 2) 证明问题最优值是])([12112∑=nj j j b c a解：1）因),....,1(n j x j = 为目标函数的分母故0>x j所以λ*j （j=1,…,n ）都为0所以Kuhn Tuker 条件为 0)()(=∇+∇x h x f μ即 ⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛---x c x c x c n n 2222211 +⎪⎪⎪⎪⎪⎭⎫ ⎝⎛a a a n 21μ=0 2）将ac xjjjμ=代入 h(x)=0 只有一点得221(nj b n j bμ==⇒=∑=故有ac ca x jj nj jjj b∑==1所以最优解是21211()n j j j b a c =⎡⎤⎢⎥⎢⎥⎣⎦∑.五、使用Kuhn Tuker 条件，求问题min f(x)=)2()1(2122--+x xs.t.,021212112≥≥=+=-x x x x x x 的Kuhn Tuker 点，并验证此点为问题的最优解解：x=(1/2,3/2) 0≠ 故1λ*，λ*2=0 则 0)()()(2211=+∇+∇x x x f h h μμ 即0111142222121=⎪⎪⎭⎫⎝⎛+⎪⎪⎭⎫ ⎝⎛-+⎪⎪⎭⎫ ⎝⎛--μμx x ⇒120,1μμ==-而⎪⎪⎭⎫ ⎝⎛=∇2002)(2x f ()210g x *∇= ()220g x *∇= ()210h x *∇=()220h x *∇=,()()()()()()()22222211221122H x f x g x g x h x h x f x λλμμ***********=∇+∇+∇+∇+∇=∇(){}{}12121213|00|1020,22T T T x y h y h y y y y y y *⎧⎫⎛⎫=∇=∇==-+-=+-==⎨⎬⎪⎝⎭⎩⎭故08)(2>=∇x x f x T ,即其为最优解.第二章、无约束优化问题一、设f(x)为定义在区间[a,b]上的实值函数，x *是问题min{f(x)|a b x ≤≤}的最优解。

《最优化方法》课程复习考试

《最优化方法》复习提要第一章最优化问题与数学预备知识§1. 1 模型无约束最优化问题 12min (),(,,,)T n n f x x x x x R =∈．约束最优化问题（},,2,1,0)(;,,2,1,0)(,|{l j x h m i x g R x x S j i n ===≥∈=∧）min ();...f x s t x S ⎧⎨∈⎩ 即 m i n ();..()0,1,2,,,()0,1,2,,.i j f x s t g x i m h x j l ⎧⎪≥=⎨⎪==⎩其中()f x 称为目标函数，12,,,n x x x 称为决策变量，S 称为可行域，()0(1,2,,),()0(1,2,,)i j g x i m h x j l ≥===称为约束条件．§1. 2 多元函数的梯度、Hesse 矩阵及Taylor 公式定义设:,n n f R R x R →∈．如果n ∃维向量p ，n x R ∀∆∈，有()()()T f x x f x p x o x +∆-=∆+∆．则称()f x 在点x 处可微，并称()T df x p x =∆为()f x 在点x 处的微分．如果()f x 在点x 处对于12(,,,)T n x x x x =的各分量的偏导数(),1,2,,if x i n x ∂=∂都存在，则称()f x 在点x 处一阶可导，并称向量12()()()()(,,,)Tnf x f x f x f x x x x ∂∂∂∇=∂∂∂ 为()f x 在点x 处一阶导数或梯度．定理1 设:,n n f R R x R →∈．如果()f x 在点x 处可微，则()f x 在点x 处梯度()f x ∇ 存在，并且有()()T df x f x x =∇∆．定义设:,n n f R R x R →∈．d 是给定的n 维非零向量，de d=．如果 0()()lim()f x e f x R λλλλ→+-∈存在，则称此极限为()f x 在点x 沿方向d 的方向导数，记作()f x d∂∂．定理2 设:,n n f R R x R →∈．如果()f x 在点x 处可微，则()f x 在点x 处沿任何非零方向d 的方向导数存在，且()()T f x f x e d ∂=∇∂，其中de d=．定义设()f x 是n R 上的连续函数，n x R ∈．d 是n 维非零向量．如果0δ∃>，使得(0,)λδ∀∈，有()f x d λ+<（>）()f x ．则称d 为()f x 在点x 处的下降（上升）方向．定理3 设:,n n f R R x R →∈，且()f x 在点x 处可微，如果∃非零向量n d R ∈，使得()T f x d ∇<（>）0，则d 是()f x 在点x 处的下降（上升）方向．定义设:,n n f R R x R →∈．如果()f x 在点x 处对于自变量12(,,,)T n x x x x =的各分量的二阶偏导数2()(,1,2,,)i j f x i j n x x ∂=∂∂都存在，则称函数()f x 在点x 处二阶可导，并称矩阵22221121222222122222212()()()()()()()()()()n n n n n f x f x f x x x x x x f x f x f x f x x x x x x f x f x f x x x x x x ⎛⎫∂∂∂ ⎪∂∂∂∂∂ ⎪ ⎪∂∂∂ ⎪∇=∂∂∂∂∂ ⎪ ⎪⎪ ⎪∂∂∂⎪∂∂∂∂∂⎝⎭为()f x 在点x 处的二阶导数矩阵或Hesse 矩阵．定义设:,n m n h R R x R →∈，记12()((),(),,())T m h x h x h x h x =，如果 ()(1,2,,)i h x i m =在点x 处对于自变量12(,,,)T n x x x x =的各分量的偏导数()(1,2,,;1,2,,)i jh x i m j n x ∂==∂都存在，则称向量函数()h x 在点x 处是一阶可导的，并且称矩阵111122221212()()()()()()()()()()n n m n m m m n h x h x h x xx x h x h x h x x x x h x h x h x h x xx x ⨯∂∂∂⎛⎫ ⎪∂∂∂⎪⎪∂∂∂⎪∂∂∂∇= ⎪ ⎪⎪∂∂∂ ⎪ ⎪∂∂∂⎝⎭为()h x 在点x 处的一阶导数矩阵或Jacobi 矩阵，简记为()h x ∇．例2 设,,n n a R x R b R ∈∈∈，求()T f x a x b =+在任意点x 处的梯度和Hesse 矩阵．解设1212(,,,),(,,,)TTn n a a a a x x x x ==，则1()nk k k f x a x b ==+∑，因()(1,2,,)k kf x a k n x ∂==∂，故得()f x a ∇=．又因2()0(,1,2,,)i jf x i j n x x ∂==∂∂，则2()f x O ∇=．例3 设n n Q R ⨯∈是对称矩阵，,n b R c R ∈∈，称1()2TT f x x Qx b x c =++为二次函数，求()f x 在任意点x 处的梯度和Hesse 矩阵．解设1212(),(,,,),(,,,)T T ij n n n n Q q x x x x b b b b ⨯===，则121111(,,,)2n nnn ij i j k k i j k f x x x q x x b x c ====++∑∑∑，从而111111111()()()nn j j j j j j n n n nj j n nj j j j n f x q x b q x x bf x Qx b f x b q x b q x x ====⎛⎫⎛⎫∂⎛⎫+ ⎪ ⎪ ⎪∂⎛⎫ ⎪ ⎪⎪ ⎪ ⎪ ⎪ ⎪∇===+=+ ⎪ ⎪ ⎪ ⎪ ⎪∂⎝⎭ ⎪ ⎪ ⎪+ ⎪ ⎪ ⎪∂⎝⎭⎝⎭⎝⎭∑∑∑∑．再对1()(1,2,,)nij j i j i f x q x b i n x =∂=+=∂∑求偏导得到2()(,1,2,,)ij i jf x q i j n x x ∂==∂∂，于是1112121222212()n n n n nn q q q q q q f x Q q q q ⎛⎫⎪ ⎪∇== ⎪⎪⎝⎭．例 4 设()()t f x td ϕ=+，其中:n f R R →二阶可导，,,n n x R d R t R ∈∈∈，试求(),()t t ϕϕ'''．解由多元复合函数微分法知 2()(),()()T T t f x td d t d f x td d ϕϕ'''=∇+=∇+．定理4 设:,n n f R R x R →∈，且()f x 在点x 的某邻域内具有二阶连续偏导数，则()f x 在点x 处有Taylor 展式21()()()(),(01)2T T f x x f x f x x x f x x x θθ+∆=+∇∆+∆∇+∆∆<<．证明设()(),[0,1]t f x t x t ϕ=+∆∈，则(0)(),(1)()f x f x x ϕϕ==+∆．按一元函数Taylor 公式()t ϕ在0t =处展开，有21()(0)(0)(),(0)2t t t t ϕϕϕϕθθ'''=++<<．从例4得知2(0)(),()()()T T f x x x f x x x ϕϕθθ'''=∇∆=∆∇+∆∆．令1t =，有21()()()(),(01)2T T f x x f x f x x x f x x x θθ+∆=+∇∆+∆∇+∆∆<<．根据定理1和定理4，我们有如下两个公式()()()()()T f x f x f x x x o x x =+∇-+-，221()()()()()()()()2T T f x f x f x x x x x f x x x o x x =+∇-+-∇-+-．§1. 3 最优化的基本术语定义设:n f R R →为目标函数，n S R ⊆为可行域，x S ∈．（1）若x S ∀∈，都有()()f x f x ≥，则称x 为()f x 在S 上的全局（或整体）极小点，或者说，x 是约束最优化问题min ()x Sf x ∈的全局（或整体）最优解，并称()f x为其最优值．（2）若,x S x x ∀∈≠，都有()()f x f x >，则称x 为()f x 在S 上的严格全局（或整体）极小点．（3）若x ∃的δ邻域(){}(0)n N x x R x x δδδ=∈-<>使得()x N x S δ∀∈，都有()()f x f x ≥，则称x 为()f x 在S 上的局部极小点，或者说，x 是约束最优化问题min ()x Sf x ∈的局部最优解．（4）若x ∃的δ邻域()(0)N x δδ>使得(),x N x S x x δ∀∈≠，都有()()f x f x >，则称x 为()f x 在S 上的严格局部极小点．第二章最优性条件§2.1 无约束最优化问题的最优性条件定理 1 设:n f R R →在点x 处可微，若x 是问题min ()f x 的局部极小点，则()0f x ∇=．定义设:()n f S R R ⊆→在int x S ∈处可微，若()0f x ∇=，则称x 为()f x 的平稳点．定理2 设:n f R R →在点x 处具有二阶连续偏导数，若x 是问题min ()f x 的局部极小点，则()0f x ∇=，且2()f x ∇半正定．定理3 设:n f R R →在点x 处具有二阶连续偏导数，若()0f x ∇=，且2()f x ∇正定，则x 是问题min ()f x 的严格局部极小点．注：定理2不是充分条件，定理3不是必要条件．例1 对于无约束最优化问题2312min ()f x x x =-，其中212(,)T x x x R =∈，显然 2212()(2,3),T f x x x x R ∇=-∀∈，令()0f x ∇=，得()f x 的平稳点(0,0)T x =，而且2222020(),()0600f x f x x ⎛⎫⎛⎫∇=∇= ⎪ ⎪-⎝⎭⎝⎭．易见2()f x ∇为半正定矩阵．但是，在x 的任意δ邻域x x δ-<，总可以取到(0,)2T x δ=，使()()f x f x <，即x 不是局部极小点．例2 对于无约束最优化问题42241122min ()2f x x x x x =++，其中212(,)T x x x R =∈，易知3223112122()(44,44)Tf x x x x x x x ∇=++，从而得平稳点(0,0)T x =，并且 22221212221212001248(),()008412x x x x f x f x x x x x ⎛⎫+⎛⎫∇=∇=⎪ ⎪+⎝⎭⎝⎭．显然2()f x ∇不是正定矩阵．但是，22212()()f x x x =+在x 处取最小值，即x 为严格局部极小点．例3 求解下面无约束最优化问题332122111min ()33f x x x x x =+--，其中212(,)T x x x R =∈，解因为21212222201(),()0222x x f x f x x x x ⎛⎫-⎛⎫∇=∇= ⎪ ⎪--⎝⎭⎝⎭，所以令()0f x ∇=，有2122210,20.x x x ⎧-=⎪⎨-=⎪⎩解此方程组得到()f x 的平稳点(1)(2)(3)(4)1111,,,0202x x x x --⎛⎫⎛⎫⎛⎫⎛⎫==== ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭⎝⎭．从而2(1)2(2)2020(),()0202f x f x ⎛⎫⎛⎫∇=∇= ⎪ ⎪-⎝⎭⎝⎭，2(3)2(4)2020(),()0202f x f x --⎛⎫⎛⎫∇=∇= ⎪ ⎪-⎝⎭⎝⎭．由于2(1)()f x ∇和2(4)()f x ∇是不定的，因此(1)x 和(4)x 不是极值点．2(3)()f x ∇是负定的，故(3)x 不是极值点，实际上它是极大点．2(2)()f x ∇是正定的，从而(2)x 是严格局部极小点．定理4 设:n f R R →是凸函数，且()f x 在点n x R ∈处可微，若()0f x ∇=，则x 为min ()f x 的全局极小点．推论5 设:n f R R →是凸函数，且()f x 在点n x R ∈处可微．则x 为min ()f x 的全局极小点的充分必要条件是()0f x ∇=．例 4 试证正定二次函数1()2TT f x x Qx b x c =++有唯一的严格全局极小点1x Q b -=-，其中Q 为n 阶正定矩阵．证明因为Q 为正定矩阵，且(),n f x Qx b x R ∇=+∀∈，所以得()f x 的唯一平稳点1x Q b -=-．又由于()f x 是严格凸函数，因此由定理4知，x 是()f x 的严格全局极小点．§2.2 等式约束最优化问题的最优性条件定理1 设:n f R R →在点x 处可微，:(1,2,,)n j h R R j l →=在点x 处具有一阶连续偏导数，向量组12(),(),,()l h x h x h x ∇∇∇线性无关．若x 是问题min ();..()0,1,2,,j f x s t h x j l ⎧⎨==⎩的局部极小点，则,1,2,,j v R j l ∃∈=，使得1()()0lj j j f x v h x =∇-∇=∑．称(,)()()T L x v f x v h x =-为Lagrange 函数，其中12()((),(),,())T l h x h x h x h x =．称12(,,,)T l v v v v =为Lagrange 乘子向量．易见(,)x v L L x v L ∇⎛⎫∇= ⎪∇⎝⎭，这里1(,)()(),(,)()lx j j v j L x v f x v h x L x v h x =∇=∇-∇∇=-∑．定理 2 设:n f R R →和:(1,2,,)n j h R R j l →=在点n x R ∈处具有二阶连续偏导数，若l v R ∃∈，使得(,)0x L x v ∇=，并且，,0n z R z ∀∈≠，只要()0,1,2,,T j z h x j l ∇==，便有2(,)0T xx z L x v z ∇>，则x 是问题min ();..()0,1,2,,j f x s t h x j l ⎧⎨==⎩的严格局部极小点．例1 试用最优性条件求解 221212min ();..()80.f x x x s t h x x x ⎧=+⎨=-=⎩解 Lagrange 函数为221212(,)(8)L x v x x v x x =+--，则1221122(,)2(8)x vx L x v x vx x x -⎛⎫⎪∇=- ⎪ ⎪--⎝⎭，从而得(,)L x v 的平稳点(8,8,2)T 和(8,8,2)T --，对应有(8,8),2T x v ==和(8,8),2T x v =--=．由于221222(,),()222xx x v L x v h x x v--⎛⎫⎛⎫⎛⎫∇==∇= ⎪⎪ ⎪--⎝⎭⎝⎭⎝⎭．因此1212(){(,)|(,)()0}T M x z z z z h x =∇=121221{(,)|0}T z z z x z x =+= 1212{(,)|}T z z z z ==-．并且(),0z M x z ∀∈≠，有222211221(,)24280T xx z L x v z z z z z z ∇=-+=>．利用定理2，所得的两个可行点(8,8)T x =和(8,8)T x =--都是问题的严格局部极小点．§2.3 不等式约束最优化问题的最优性条件定义设,,,0n n S R x clS d R d ⊆∈∈≠，若0δ∃>，使得，,(0,)x d S λλδ+∈∀∈，则称d 为集合S 在点x 处的可行方向．这里{|,(),0}n clS x x R SN x δδ=∈≠∅∀>．令 {|0,0,,(0,)}D d d x d S δλλδ=≠∃>+∈∀∈使，0{|()0}T F d f x d =∇<．定理 1 设n S R ⊆是非空集合，:,,()f S R x S f x →∈在点x 处可微．若x 是问题min ()x Sf x ∈的局部极小点，则 0F D =∅．对于min ();..()0,1,2,,,i f x s t g x i m ⎧⎨≥=⎩ （1）其中:,:(1,2,,)n n i f R R g R R i m →→=．令(){|()0,1,2,,}i I x i g x i m ===，其中x 是上述问题（1）的可行点．定理 2 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x 处连续，如果x 是问题（1）的局部极小点，则 00F G =∅，其中0{|()0,()}T i G d g x d i I x =∇>∈．定理 3 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x 处连续，若x 是问题（1）的局部极小点，则存在不全为0的非负数0,(())i u u i I x ∈，使0()()()0iii I x u f x u g x ∈∇-∇=∑．（x 称为Fritz John 点）如果()(())i g x i I x ∉在点x 处也可微，则存在不全为0的非负数01,,,m u u u ，使01()()0,()0,1,2,,.mi i i i iu f x u g x u g x i m =⎧∇-∇=⎪⎨⎪==⎩∑ （x 称为Fritz John 点）例1 设1311222min ();..()(1)0,()0.f x x s t g x x x g x x =-⎧⎪=--≥⎨⎪=≥⎩试判断(1,0)T x =是否为Fritz John 点．解因为12100(),(),()011f x g x g x -⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭，且(){1,2}I x =，所以为使Fritz John 条件01210000110u u u -⎛⎫⎛⎫⎛⎫⎛⎫--= ⎪ ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭⎝⎭成立，只有00u =才行．取0120,0u u u α===>即可，因此x 是Fritz John 点．定理 4 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x 处连续，并且()(())i g x i I x ∇∈线性无关．若x 是问题（1）的局部极小点，则存在0(())i u i I x ≥∈，使得()()()0iii I x f x u g x ∈∇-∇=∑．（x 称为K-T 点）如果()(())i g x i I x ∉在点x 处也可微，则存在0(1,2,,)i u i m ≥=，使得1()()0,()0,1,2,,.mi i i i if x ug x u g x i m =⎧∇-∇=⎪⎨⎪==⎩∑ （x 称为K-T 点）例2 求最优化问题21211222min ()(1);..()20,()0f x x x s t g x x x g x x ⎧=-+⎪=--+≥⎨⎪=≥⎩的K-T 点．解因为1122(1)10(),(),()111x f x g x g x --⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭，所以K-T 条件为111211222122(1)0,10,(2)0,0,0,0.x u u u u x x u x u u -+=⎧⎪+-=⎪⎪--+=⎨⎪=⎪⎪≥≥⎩ 若20u =，则11u =-，这与10u ≥矛盾．故20u >，从而20x =；若120x -+=，则12u =-，这与10u ≥矛盾．故10u =，从而211,1u x ==；由于120,0u u ≥≥，且(1,0)T x =为问题的可行点，因此x 是K-T 点．定理5 设在问题（1）中，()f x 和()(1,2,,)i g x i m -=是凸函数，x 是可行点，并且()f x 和()(())i g x i I x ∈在点x 处可微．若x 是问题（1）的K-T 点，则x 是问题（1）的全局极小点．§2.4 一般约束最优化问题的最优性条件考虑等式和不等式约束最优化问题min ();..()0,1,2,,,()0,1,2,,,i j f x s t g x i m h x j l ⎧⎪≥=⎨⎪==⎩（1）其中:,:(1,2,,),:(1,2,,)n n n i j f R R g R R i m h R R j l →→=→=．并把问题（1）的可行域记为S ．,(){|()0,1,2,,}i x S I x i g x i m ∀∈==．定理 1 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l =在点x 处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续，并且向量组12(),(),,()l h x h x h x ∇∇∇线性无关．若x 是问题（1）的局部极小点，则 00F G H =∅，这里0{|()0}T F d f x d =∇<，0{|()0,()}T i G d g x d i I x =∇>∈，0{|()0,1,2,,}T j H d h x d j l =∇==．定理 2 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l =在点x 处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续．若x 为问题（1）的局部极小点，则存在不全为0的数0,(())i u u i I x ∈和(1,2,,)j v j l =，且0,0(())i u u i I x ≥∈，使0()1()()()0liijji I x j u f x u g x v h x ∈=∇-∇-∇=∑∑．（x 称为Fritz John 点）若()(())i g x i I x ∉在点x 处也可微，则存在不全为0的数0,(1,2,,)i u u i m =和(1,2,,)j v j l =，且0,0(1,2,,)i u u i m ≥=，使011()()()0,()0,1,2,,.m li i j j i j i iu f x u g x v h x u g x i m ==⎧∇-∇-∇=⎪⎨⎪==⎩∑∑ （x 称为Fritz John 点）例1 设2212311222212min ();..()0,()0,()(1)0.f x x x s t g x x x g x x h x x x ⎧=+⎪=-≥⎪⎨=≥⎪⎪=--+=⎩试判断(1,0)T x =是否为Fritz John 点．解 (){2}I x =，且2200(),(),()011f x g x h x ⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭，且(){1,2}I x =，因此为使Fritz John 条件022*******u u v ⎛⎫⎛⎫⎛⎫⎛⎫--= ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭⎝⎭成立，只有00u =才行．所以取020,1,1u u v ===-，即知x 是Fritz John 点．定理 3 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l =在点x 处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续，且向量组()(()),()(1,2,,)i j g x i I x h x j l ∇∈∇=线性无关．若x 是问题（1）的局部极小点，则存在数0(())i u i I x ≥∈和(1,2,,)j v j l =，使()1()()()0liijji I x j f x u g x v h x ∈=∇-∇-∇=∑∑．（x 称为K-T 点）如果()(())i g x i I x ∉在点x 处也可微，则存在数0(1,2,,)i u i m ≥=和(1,2,,)j v j l =，使11()()()0,()0,1,2,,.m li i j j i j i if x ug x vh x u g xi m ==⎧∇-∇-∇=⎪⎨⎪==⎩∑∑ （x 称为K-T 点）令 1212()((),(),,()),()((),(),,())T T m l g x g x g x g x h x h x h x h x ==，1212(,,,),(,,,)T T m l u u u u v v v v ==，称u 与v 为广义Lagrange 乘子向量或K-T 乘子向量．()()()0,()0,0.T T Tf xg x uh x v u g x u ⎧∇-∇-∇=⎪=⎨⎪≥⎩令(,,)()()()T T L x u v f x u g x v h x =--为广义Lagrange 函数．称(,,)L x u v 为广义Lagrange 函数．则K-T 条件为(,,)0,()0,0.x TL x u v u g x u ∇=⎧⎪=⎨⎪≥⎩定理 4 设在问题（1）中，()f x 和()(1,2,,)i g x i m -=是凸函数，()(1,2,,)j h x j l =是线性函数，x 是可行点，并且()f x 和()(())i g x i I x ∈在点x 处可微．若x 是问题（1）的K-T 点，则x 是问题（1）的全局极小点．例2 求解最优化问题221221212min ()(3)(1);..()0,()230.f x x x s t g x x x h x x x ⎧=-+-⎪=-+≥⎨⎪=+-≥⎩ 解广义Lagrange 函数为222121212(,,)()()()(3)(1)()(23)L x u v f x ug x vh x x x u x x v x x =--=-+---+-+-．因为111(,,)2(3)22L x u v x ux v x ∂=-+-∂，22(,,)2(1)L x u v x u v x ∂=---∂．所以K-T 条件及约束条件为112212212122(3)220,2(1)0,()0,0,230,0.x ux v x u v u x x x x x x u -+-=⎧⎪---=⎪⎪-+=⎪⎨-+≥⎪⎪+-=⎪≥⎪⎩ 下面分两种情况讨论．（1）设0u =，则有12122(3)20,2(1)0,230.x v x v x x --=⎧⎪--=⎨⎪+-=⎩ 由此可解得12718,,555x x v ===-，但71(,)55T x =不是可行点，因而不是K-T 点．（2）设0u >，则有112212122(3)220,2(1)0,0,230.x ux v x u v x x x x -+-=⎧⎪---=⎪⎨-+=⎪⎪+-=⎩ 由此可得211230x x --+=，解得11x =或13x =-。

最优化课件

a11 x1 a12 x2 a1n xn (, )b1 •满足约束条件 s.t. a21x1a2 2 x 2 a2n xn (,)b2
am1 x1 am2 x2 amn xn (, )bm x1 , x2 ,, xn 0
•通常称 x1, x2 ,为,决xn策变量， c1为,c2价,值,系cn数， x11, x12 ,, xm为n 消耗系数, b1 , b2 ,为, b资m 源限制系数。
定义 x1，x2分别为每公斤产品中甲，乙两种原料的数量，
目标：使总成本最小化 min z=3x1+2x2
约束：配料平衡条件，
x1+x2=1
产品中A、B、C三种化学成分的最低含量
非负性条件
12x1+3x2≥4 2x1+3x2≥2 3x1+15x2≥5 x1≥0, x2≥0
原料化学成分
A B C 单位成本（元）
其它参考书： (5)卢名高、刘庆吉编著，《最优化应用技术》，石油工业出版社,2002 (6)唐焕文，秦学志,《实用最优化方法》，大连理工大学出版社，2004 (7)钱颂迪，《运筹学》，清华大学出版社，1990 (8)袁亚湘、孙文瑜著，《最优化理论与方法》，科学出版社，2005
9
第一讲线性规划的基本概念
➢满足一组约束条件数取得最小值。
的同时，寻求变量x1和x2的值使目标函
例３:某铁器加工厂要制作100套钢架，每套要用长为2.9米，2.1米和1.5米的圆钢各一根。已知原料长为7.4米，问应如何下料，可使材料最省？ ➢ 分析：在长度确定的原料上截取三种不同规格的圆钢，可以归纳出8种不同的下料方案：
-x1+2x2≤8 x1 ≥0, x2≥0
x2
6

最优化设计课后习题答案

最优化方法-习题解答张彦斌计算机学院2014年10月20日Contents1第一章最优化理论基础-P13习题1(1)、2(3)(4)、3、412第二章线搜索算法-P27习题2、4、643第三章最速下降法和牛顿法P41习题1，2，374第四章共轭梯度法P51习题1，3，6(1)105第五章拟牛顿法P73-2126第六章信赖域方法P86-8147第七章非线性最小二乘问题P98-1，2，6188第八章最优性条件P112-1，2,5,6239第九章罚函数法P132，1-(1)、2-(1)、3-(3),62610第十一章二次规划习题11P178-1（1），5291第一章最优化理论基础-P13习题1(1)、2(3)(4)、3、4 1.验证下列各集合是凸集:(1)S={(x1,x2)|2x1+x2≥1,x1−2x2≥1};需要验证：根据凸集的定义，对任意的x(x1,x2),y(y1,y2)∈S及任意的实数λ∈[0,1],都有λx+(1−λ)y∈S.即,(λx1+(1−λ)y1,λx2+(1−λ)y2)∈S证：由x(x1,x2),y(y1,y2)∈S得到，{2x1+x2≥1,x1−2x2≥12y1+y2≥1,y1−2y2≥1(1)1把(1)中的两个式子对应的左右两部分分别乘以λ和1−λ,然后再相加，即得λ(2x1+x2)+(1−λ)(2y1+y2)≥1,λ(x1−2x2)+(1−λ)(y1−2y2)≥1(2)合并同类项，2(λx1+(1−λ)y1)+(λx2+(1−λ)y2)≥1,(λx1+(1−λ)y1)−2(λx2+(1−λ)y2)≥1(3)证毕.2.判断下列函数为凸（凹）函数或严格凸（凹）函数：(3)f(x)=x21−2x1x2+x22+2x1+3x2首先二阶导数连续可微，根据定理1.5，f在凸集上是（I）凸函数的充分必要条件是∇2f(x)对一切x为半正定；（II）严格凸函数的充分条件是∇2f(x)对一切x为正定。

最优化方法习题答案

习题一1.1利用图解法求下列线性规划问题：（1）21x x z max +=⎪⎪⎩⎪⎪⎨⎧≥≤+≥+0x ,x 5x 2x 2x x 3.t .s 212121 解：根据条件，可行域为下面图形中的阴影部分，，有图形可知，原问题在A 点取得最优值，最优值z=5（2）21x 6x z min -=⎪⎪⎩⎪⎪⎨⎧≥≤+-≤+0x ,x 7x x 1x x 2.t .s 212121 解：图中阴影部分表示可行域，由图可知原问题在点A 处取得最优值，最优值z=-6.（3）21x 2x 3z max +=⎪⎪⎩⎪⎪⎨⎧≥-≥-≤+-0x ,x 4x 2x 1x x .t .s 212121 解：如图所示，可行域为图中阴影部分，易得原线性规划问题为无界解。

（4）21x 5x 2z min -=⎪⎪⎩⎪⎪⎨⎧≥≤+≥+0x ,x 2x x 6x 2x .t .s 212121 解：由图可知该线性规划可行域为空，则原问题无可行解。

1.2 对下列线性规划问题，找出所有的基解，基可行解，并求出最优解和最优值。

（1）4321x 6x 3x 2x 5z min -+-=⎪⎪⎩⎪⎪⎨⎧≥=+++=+++0x ,x ,x ,x 3x 2x x x 27x 4x 3x 2x .t .s 432143214321 解：易知1x 的系数列向量⎪⎪⎭⎫ ⎝⎛=21p 1，2x 的系数列向量⎪⎪⎭⎫ ⎝⎛=12p 2，3x 的系数列向量⎪⎪⎭⎫⎝⎛=13p 3，4x 的系数列向量⎪⎪⎭⎫⎝⎛=24p 4。

①因为21p ,p 线性无关，故有⎪⎩⎪⎨⎧--=+--=+43214321x 2x 3x x 2x 4x 37x 2x ，令非基变量为0x x 43==，得⎪⎪⎩⎪⎪⎨⎧=-=311x 31x 21，所以得到一个基解)0,0,311,31(x )1(-=是非基可行解； ②因为31p ,p 线性无关，可得基解)0,511,0,52(x)2(=，543z 2=；③因为41p ,p 线性无关，可得基解611,0,0,31(x )3(-=，是非基可行解；④因为32p ,p 线性无关，可得基解)0,1,2,0(x )4(=，1z 4-=；⑤因为42p ,p 线性相关，42x ,x 不能构成基变量； ⑥因为43p ,p 线性无关，可得基解)1,1,0,0(x )6(=，3z 6-=；所以)6()4()2(x ,x ,x是原问题的基可行解，)6(x 是最优解，最优值是3z -=。

最优化课后习题答案

最优化课后习题答案最优化课后习题答案最优化是一门重要的数学学科，它研究如何在给定的约束条件下，找到一个最优的解决方案。

在学习最优化课程时，我们通常会遇到一些习题，这些习题旨在帮助我们理解和应用最优化的原理和方法。

本文将为大家提供一些最优化课后习题的答案，以帮助大家更好地掌握这门学科。

1. 线性规划问题线性规划是最优化中的一个重要分支，它主要研究线性约束条件下的最优解。

下面是一个线性规划问题的示例：Maximize Z = 3x + 5ySubject to:x + y ≤ 62x + y ≤ 8x, y ≥ 0首先，我们需要将目标函数和约束条件转化为标准形式。

将不等式约束转化为等式约束，引入松弛变量，得到以下标准形式：Maximize Z = 3x + 5ySubject to:x + y + s1 = 62x + y + s2 = 8x, y, s1, s2 ≥ 0接下来，我们可以使用单纯形法求解该线性规划问题。

根据单纯形法的步骤，我们可以得到最优解为 Z = 22，x = 2，y = 4，s1 = 0，s2 = 0。

2. 非线性规划问题除了线性规划，最优化还涉及到非线性规划问题。

非线性规划是指目标函数或约束条件中存在非线性项的最优化问题。

下面是一个非线性规划问题的示例：Minimize f(x) = x^2 + 3x + 5Subject to:x ≥ 0对于这个问题，我们可以使用求导的方法来找到最优解。

首先，求目标函数的导数：f'(x) = 2x + 3将导数等于零，解得 x = -1.5。

由于约束条件x ≥ 0，所以最优解为 x = 0。

3. 整数规划问题整数规划是指在最优化问题中，决策变量必须取整数值的情况。

下面是一个整数规划问题的示例：Maximize Z = 2x + 3ySubject to:x + 2y ≤ 10x, y ≥ 0x, y 为整数对于这个问题，我们可以使用分支定界法来求解。

华南农业大学最优化第2章(07-2)

2.设R(A)=m,设B为A的任意m阶非奇异子矩阵（即 |B|不等于零），B称为线性规划问题的一个基（矩阵）。不妨设B由A的前m个列向量构成，记
为：B=(P1,P2,…,Pm)，称Pj(j=1,2,…,m)为基向量；与基向量对应的变量Xj(j=1,2,…,m)为基变量，剩余的变量为非基变量。

2.2 线性规划的单纯形法
单纯形法原理及算法过程

(续)
得到 x(k+1) = x(k) + αd 是极点其中, dT = [ dBT, dNT ], 这里 j -1p , d = (0, ... , 1, … ,0)T dB = -B j N 有, cTx(k+1) = cTx(k) + α cTd = cTx(k) + α (cj - cBTB-1pj) > cTx(k) 所以，x(k+1) 比 x(k) 好重复这个过程，直到停机。
2.2 线性规划的单纯形法

表格单纯形法
考虑： bi > 0 i = 1 , … , m
Max z = c1 x1 + c2 x2 + … + cn xn s.t. a11 x1 + a12 x2 + … + a1n xn ≤ b1 a21 x1 + a22 x2 + … + a2n xn ≤ b2 …… …… am1 x1 + am2 x2 + … + amn xn ≤ bm x1 ，x2 ，… ，xn ≥ 0
i=1
c1 x1 a11 a21 ┇ am1 σ1
… … … … ┇ … …
m
cn+1 cn xn+1 xn a1n a1n+1 a2n a2n+1 ┇ ┇ amn amn+1 σn 0

陈宝林最优化课后习题答案第二章

陈宝林最优化课后习题答案第二章2.1 简答题1.最优化问题的基本模型是什么？最优化问题的基本模型是数学规划模型。

数学规划模型主要由目标函数、约束条件和决策变量组成，通过最大化或最小化目标函数，同时满足约束条件来寻求最优解。

2.什么是线性规划问题？线性规划（Linear Programming）是一类特殊的数学规划问题，其目标函数和约束条件都是线性的情况下，被称为线性规划问题。

线性规划问题可以用线性方程组和线性不等式组来表示，并且满足一定的约束条件。

3.什么是优化问题的可行解？优化问题的可行解是指满足约束条件的解。

在一个最优化问题中，除了要找到最优解外，还需要保证这个解满足所有的约束条件。

4.什么是最优解？最优解是在所有可行解中，使目标函数达到最大或最小值的解。

最优解可以通过求解优化问题的解析解、数值解或者近似解得出。

2.2 计算题1.使用单纯形法求解下列线性规划问题：max z = 5x1 + 6x2s.t.2x1 + x2 <= 8x1 + x2 <= 5x1, x2 >= 0单纯形法是一种用于求解线性规划问题的有效算法。

下面是使用单纯形法求解该线性规划问题的步骤：Step 1:初始化单纯形表。

x1x2s1s2bz-5-6000s1-2-110-8s2-1-101-5Step 2:选取入基变量和出基变量。

选取入基变量为x1，出基变量为s1。

Step 3:基变换。

将x1从入基变量变为出基变量，将s1从出基变量变为入基变量。

x1x2s1s2bz0-115040s111/2-104s201/2111Step 4:判断是否达到最优解。

如果目标函数的系数都为非负数，则达到最优解，并停止计算。

Step 5:计算新的单纯形表。

x1x2s1s2bz0-25/23/25/235/2x11/21/4-1/203/2s2-1/21/43/21/21/2Step 6:重复步骤2-5，直到达到最优解。

第2章最优化的基本理论和基本方法最优性条件 2.2 一般约束优化库塔定理和库塔条件

作业 1. 求K-T点：min x12 + x22 -14x1 - 6x2 -7 st x1 + x2 2 x1 + 2x2 3 是否可求出最优解？ 2. 8.6, p264, 薛毅。请验证给出x*是否为K-T点。（其余部分不要求）。
练习，求K-T点：
min ( x 3) 2 st 3 x 5
看两个例子：不等式约束。
例1
min f(x) = x1 + x2
st
c1(x) = x12 + x2 2 - 2 ≤ 0
例1 min f(x) = x1 + x2 st c1(x) = x12 + x2 2 - 2 ≤ 0 1. 由图解法， x*为最优解，当然也是局部解。 2. 局部解x*在D的边界上，约束C1起作用: c1(x*) = 0。 f(x*) + λ* c1(x*) =0 λ* > 0 λ* c1(x*) = 0
对于一般约束问题(2-1)，设x=x*为问题的局部解。又设f(x)、 ci(x)在x*处有连续偏导数，n维向量组 ci(x*), iE∪I(x*) 线性无关。则存在常数向量* =(1*, 2*, …, l+m*)T，使如下条件成立：
x L( x*, *) f ( x*) i * ci ( x*) 0
L ( x, ) 2 2 2 x1 x2 ( x1 x2 9) ( x1 x2 1)
K-T点：（0，-3）T
1. λ=μ=0，矛盾方程。 2. λ=0，必须μ=-1，不满足非负条件。 3. λ≠0，μ≠0，由松弛互补条件可解得—见书p253，这时让2L =0的两个式子相减，可见总是λ<0 ，不满足非负条件。

《最优化方法》课程教学大纲

最优化方法》课程教学大纲课程编号：100004英文名称：Optimizatio n Methods一、课程说明1. 课程类别理工科学位基础课程2. 适应专业及课程性质理、工、经、管类各专业，必修文、法类各专业，选修3. 课程目的（1 ）使学生掌握最优化问题的建模、无约束最优化及约束最优化问题的理论和各种算法;（2）使学生了解二次规划与线性分式规划的一些特殊算法；（3）提高学生应用数学理论与方法分析、解决实际问题的能力以及计算机应用能力。

4. 学分与学时学分2,学时405. 建议先修课程微积分、线性代数、Matlab语言6. 推荐教材或参考书目推荐教材：（1）《非线性最优化》（第一版）.谢政、李建平、汤泽滢主编.国防科技大学出版社.2003年.孙（第一版）参考文瑜、徐成贤、朱德通主编.高等教育出版社.2004年（2）《最优化方法》书目：（第一版）.胡适耕、施保昌主编.华中理工大学出版社.2000年（1）《最优化原理》（2）《运筹学》》（修订版）.《运筹学》教材编写组主编.清华大学出版社.1990年7. 教学方法与手段（1）教学方法：启发式（2）教学手段：多媒体演示、演讲与板书相结合8. 考核及成绩评定考核方式：考试成绩评定：考试课（1）平时成绩占20%形式有：考勤、课堂测验、作业完成情况（2）考试成绩占80%形式有：笔试（开卷）。

9. 课外自学要求（1）课前预习；（2）课后复习；（3）多上机实现各种常用优化算法。

二、课程教学基本内容及要求第一章最优化问题与数学预备知识基本内容：（1 ）最优化的概念；（2）经典最优化中两种类型的问题--无约束极值问题、具有等式约束的极值问题的求解方法；（3）最优化问题的模型及分类；（4）向量函数微分学的有关知识；5）最优化的基本术语。

基本要求：（1）理解最优化的概念；（2）掌握经典最优化中两种类型的问题--无约束极值问题、具有等式约束的极值问题的求解方法；（3）了解最优化问题的模型及分类；（4）掌握向量函数微分学的有关知识；（5）了解最优化的基本术语。

第二章_信号分析与处理基础共101页PPT资料

如下周期方波的时域描述：
x(t)
A
x ( t ) x ( t nT 0 )

x
(t)

A

A
0 t T0 2
T0 t 0
T0

2
应用傅里叶级数展开：
x (t) 4 A (s0 it n 1 3 s3 in 0 t 1 5 s5 in 0 t ...)式中：
21
华南农业大学工程学院
傅立叶级数的三角函数形式还可以改写成：

xta0 (anco n0 stb nsin n0t) n 1

x(t) a0 An cos(n0t n ) n1
周期信号是由一个或几个、乃至无穷多个不同频率的谐波叠加而成的。式中第一项a0为周期信号中的常值或直流分量，从第二项依次向下分别称为信号的基波或一次谐波、二次谐波、三次谐
3）从信号的能量上 --能量信号与功率信号。
5
华南农业大学工程学院
1）确定性信号和随机信号可以用明确数学关系式描述的信号称为确定性信号。不能用数学关系式描述的信号称为随机信号。
随机信号
6
华南农业大学工程学院
a) （确定性信号）周期信号：经一定时间间隔可重复出现的
信号 b)
x ( t ) = x ( t + nT0 ) (n =1，2，3….)
0

2 T0
将上式改写为：
x(t)4A( 1sint) n1n
式中：
n0
以为独立变量，得到该周期方波的频域描述。
n1,3,5,...
13
华南农业大学工程学院

华南农业大学期末考试试卷参考答案

华南农业大学期末考试试卷参考答案（ A 卷） 2008－2009学年第1学期考试科目：概率论考试类型：（闭卷）考试时间： 120 分钟一、填空题（每空3分，共24分）1. 1/2 ， 5/27(0.185) ;2. 1 ；3. 2 ， 22(0.2707)e -；4. 3/5 ；5. X 的边缘分布律为：Y 的分布律为：二、选择题（每题3分，本题共15分）1～5：C 、D 、A 、C 、B ；三、解答题（13分）解：（1）因为随机变量X ，Y 相互独立，……………………………………………………1分所以它们的联合密度函数为：42,02,0(,)()()0,y X Y e x y f x y f x f y -⎧≤≤>==⎨⎩其他………………………………………2分（2）{}(,)y x P Y X f x y dxdy <<=⎰⎰24002x y e dydx -=⎰⎰ ……………………………………………………1分 224400011()(1)22y x x e dx e dx --=-=-⎰⎰ …………………………………1分 42801171()2488x x e e --=+=+ …………………………………………1分 ()8178e -=+ …………………………………………………………1分（3）20112EX xdx ==⎰； ()2223200114263E X x dx x ===⎰；所以()()2241133DX E X EX =-=-=；………………………………………………2分4444000011444y y y y EY y e dy ye e dy e ∞∞--∞--∞=⋅=-+=-=⎰⎰ 22424400024216y y y EY y e dy y e ye dy ∞∞--∞-=⋅=-+=⎰⎰ ()()22221116416DY E YEY ⎛⎫=-=-= ⎪⎝⎭ ………………………………………………2分所以 1119()31648D X Y +=+= …………………………………………………………………2分四、简答题（12分）解：用B 表示目标被击毁这一事件，123,,A A A 分别表示在距目标250米，200米，150米处击毁目标这些事件， ………………………………………………1分则由题意知：()()()1230.1,0.7,0.2P A P A P A ===； …………………………………………1分 ()()()1230.05,0.1,0.2P B A P B A P B A === ……………………………………2分（1）由全概率公式有：()31()()0.10.050.70.10.20.20.115i i i P B P A P B A ===⨯+⨯+⨯=∑…………3分即目标被击毁的概率为0.115；………………………………………………………1分（2）由Bayes 公式有：()()()1110.10.0510.0435()0.11523P A P B A P A B P B ⨯===≈…………………………3分即若已知目标被击毁的条件下，击毁目标的炮弹是由距离目标250米处击出的概率为0.0435。

最优化方法第二版孙文瑜部分课后答案

0 的边界点；
2. 考虑下述约束最优化问题
min x1
s.t.
x21 + (x2 − 2)2 x21 1,
3,
画出问题的可行域和目标函数的等位线，并由此确定问题的所有局部最优解和全局最优解.
解: 可行域和等位线如下
1
x2
(1,2 2)
( 3,2)
(0,2)
3 1
(1,2 2)
1 3 x1
全等局位最线优：解f (x：1)x1==k；−√局3部, x最2 =优2解. ：x1
T = {x|f (x) α}
为函数 f (x) 关于实数 α 的水平集. 证明对任意实数 α，集合 T 是凸集. 证: 对于 ∀x1, x2 ∈ T ，根据 T 的定义则有 f (x1) α, f (x2) α. 由于 D 是凸集，则对于 ∀λ ∈ [0, 1]，必有
λx1 + (1 − λ)x2 ∈ D 又由于 f (x) 是 D 上的凸函数，则有
f (λx∗ + (1 − λ)y) λf (x∗) + (1 − λ)f (y) λf (x∗) + (1 − λ)f (x∗) = f (x∗)
5
这表明在 x∗ 的任意小的邻域内都存在函数值小于 f (x∗) 的可行点，这与 x∗ 是局部最优解相矛盾，则 x∗ 是一个全局最优解. 再证 x∗ 是唯一的：由于目标函数是严格凸的，设 x∗ ̸= y∗ 都是全局最优解，则 f (x∗) = f (y∗). 由严格凸函数的定义，而 ∀λ ∈ (0, 1)，有
λx1 + (1 − λ)y1 + λx2 + (1 − λ)y2 = λ(x1 + x2) + (1 − λ)(y1 + y2) λ+1−λ=1

最优化方法第二章(最优性条件)

相对误差
f ( x k 1 ) f ( x k )
f (xk )
,
x k 1 x k
xk
,
根据目标函数梯度的模足够小
f (xk )
二、算法框架结构---下降法
迭代法收敛性
算法收敛性证明十分困难；许多算法经过长时间实际应用之后，其收敛性才得到证明；有的算法收敛性尚未得到证明，但实际应用证明十分有效
当 x 充分接近 x* x x* 时，上式左端的符号取决于右端的
一项（为正）。故 f x f x* . （x 充分接近 x*时）。
二、算法框架结构
最优性一阶必要条件为求解无约束最优化问题提供了
一种求解思路，然而对于大多数问题而言，f x * 0
是一个多变量构成的非线性方程组，同样难于求出其解析解，需要借助数值手段求近似解；
二、算法框架结构---下降法
向量（长度、方向？）
函数值下降，即
二、算法框架结构---下降法
定义（可行方向）：设 xD Rn,hR，n 若 0, 对 (0,) 以点 x为始点的向量 xh均位于D 的内部，则称 h 为点 x 的
一个可行方向。
x
h
0, k (0,)
迭代点 x k 1;
(4) 检查得到的新点 xk 1 是否为极小点或近似极小点。
若是，则停止迭代。
否则，令 k: k 1，转回(2)继续进行迭代。
二、算法框架结构---下降法
常见迭代法终止条件
根据相继两次迭代的绝对误差
f ( x k 1 ) f ( x k ) , x k 1 x k ,
（否则 f (x*) 0，取 e f (x*) f (x*) ，

华南农业大学2016年最优化试题

华南农业大学期末考试试卷（A 卷）2016--2017学年第 1 学期考试科目：运筹学与最优化方法考试类型：（闭卷）考试考试时间： 120 分钟学号姓名年级专业一、用单纯形法求解下列线性规划问题（共 15 分）122121212max 25156224..5,0z x x x x x s t x x x x =+≤⎧⎪+≤⎪⎨+≤⎪⎪≥⎩二、灵活运用单纯形法和对偶单纯形法解下列问题（共 15 分） 12121212max 62..33,0z x x x x s t x x x x =++≥⎧⎪+≤⎨⎪≥⎩三、用隐枚举法解下列0-1型整数规划问题（共 10 分）12345123451234512345123345max 567893223220..32,,,,,01z x x x x x x x x x x x x x x x s t x x x x x x x x x x x or =++++-++-≥⎧⎪+--+≥⎪⎨--+++≥⎪⎪=⎩四、利用库恩-塔克（K-T ）条件求解以下问题（共 15 分）22121122121212max ()104446..418,0f X x x x x x x x x s t x x x x =+-+-+≤⎧⎪+≤⎨⎪≥⎩五、用内点法求解下列非线性约束最优化问题（共 15 分）211212min ()6923..3f X x x x x s t x =-++≥⎧⎨≥⎩六、用外点法求解下列非线性约束最优化问题（共 16 分）122121min ()0..0f X x x x x s t x =+⎧-+≥⎨≥⎩七、某公司有3个仓库1A ，2A ，3A 和4个零售店1B ，2B ，3B ，4B ，各仓库可提供的货量及零售店的最大零售量见下表，表中打圈的格子表示公司指定该店可向相应的仓库取货，现作一调运方案，使得各店从仓库得到的总货量最多。

（共 15 分）2016--2017学年第1学期运筹学与最优化方法期末考试试卷（A 卷）参考答案一、用单纯形法求解下列线性规划问题（共 15 分）122121212max 25156224..5,0z x x x x x s t x x x x =+≤⎧⎪+≤⎪⎨+≤⎪⎪≥⎩ 解：最优解为*73(,)22T X =，最优值为*17max 2z z ==。

最优化方法练习题答案

练习题一1、建立优化模型应考虑哪些要素? 答：决策变量、目标函数和约束条件。

2、讨论优化模型最优解的存在性、迭代算法的收敛性及停止准则。

答：针对一般优化模型()()min ()..0,1,2, 0,1,,i j f x s t g x i m h x j p≥===，讨论解的可行域D ，若存在一点*X D ∈，对于X D ∀∈ 均有*()()f X f X ≤则称*X 为优化模型最优解，最优解存在；迭代算法的收敛性是指迭代所得到的序列(1)(2)(),,,K X X X ，满足(1)()()()K K f X f X +≤，则迭代法收敛；收敛的停止准则有(1)()k k x x ε+-<，(1)()()k k k x x x ε+-<，()()(1)()k k f x f x ε+-<，()()()(1)()()k k k f x f x f x ε+-<，()()k f x ε∇<等等。

练习题二1、某公司看中了例2.1中厂家所拥有的3种资源R 1、R2、和R 3，欲出价收购（可能用于生产附加值更高的产品）。

如果你是该公司的决策者，对这3种资源的收购报价是多少？（该问题称为例2.1的对偶问题）。

解：确定决策变量对3种资源报价123,,y y y 作为本问题的决策变量。

确定目标函数问题的目标很清楚——“收购价最小”。

确定约束条件资源的报价至少应该高于原生产产品的利润，这样原厂家才可能卖。

因此有如下线性规划问题：123min 170100150w y y y =++1231231235210..23518,,0y y y s t y y y y y y ++≥⎧⎪++≥⎨⎪≥⎩ *2、研究线性规划的对偶理论和方法（包括对偶规划模型形式、对偶理论和对偶单纯形法）。

答：略。

3、用单纯形法求解下列线性规划问题：（1）⎪⎪⎩⎪⎪⎨⎧≥≤+-≤++≤-++-=0,,43222..min32131321321321x x x x x x x x x x x t s x x x z ；（2）⎪⎪⎩⎪⎪⎨⎧=≥=++=+-=+-+-=)5,,2,1(052222..4min53243232132 i x x x x x x x x x x t s x x z i解：（1）引入松弛变量x 4，x 5，x 6123456min 0*0*0*z x x x x x x =-++++12341232 =22 5 =3..13 6=41,2,3,4,5,60x x x x x x x x s t x x x x x x x x x +-+⎧⎪+++⎪⎨-++⎪⎪≥⎩因检验数σ2<0，故确定x 2为换入非基变量，以x 2的系数列的正分量对应去除常数列，最小比值所在行对应的基变量x 4作为换出的基变量。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

2.1 线性规划模型
线性规划的一般形式：线性规划的一般形式： Max cTx (P) s.t. Ax ≤ b x≥0 其中, 其中, n c , x ∈R m b ∈R A m×n 矩阵
2.1 线性规划模型
矩阵形式：矩阵形式：线性规划的标准形式：线性规划的标准形式： Max cTx (LP) s.t. Ax = b x≥0 其中, 其中 n c , x ∈R m b ∈R A m×n 矩阵
2.1 线性规划模型
目标函数 Max z =1500x1+2500x2 约束条件 s.t. 3x1+2x2≤ 65 2x1+x2≤ 40 3x2≤ 75
x1 ,x2 ≥0
2.1 线性规划模型
这是一个典型的利润最大化的生产计划问题。其中，“Max”是英文单词“Maximize”的缩写，含义为“最大化”；“s.t.”是“subject to”的缩写，表示“满足于……”。因此，上述模型的含义是：在给定条件限制下，求使目标函数z达到最大的x1 ,x2 的取值。
x1 ,x2 ≥0
.
2.1 线性规划模型
当约束条件为 ai1 x1+ai2 x2+ … +ain xn ≥ bi 时，类似地令 s=(ai1 x1+ai2 x2+ … +ain xn)- bi 显然， s 也具有非负约束，即 s≥0，这时新的约束条件成为 ai1 x1+ai2 x2+ … +ain xn-s = bi
2.1 线性规划模型
解：首先，将目标函数转换成极大化：令 z = -f = 3x1–5x2–8x3+7x4 ；其次考虑约束，有3个不等式约束，引进松弛变量x5 ,x6 ,x7 ≥0 ；由于 x2 无非负限制，可令 x2=x2’-x2”,其中 x2’≥0，x2”≥0 ；由于第3个约束右端项系数为-58，于是把该式两端乘以-1 。于是，我们可以得到以下标准形式的线性规划问题：
2.1 线性规划模型
为了使约束由不等式成为等式而引进的变量s 称为“松弛变量”。如果原问题中有若干个非等式约束，则将其转化为标准形式时，必须对各个约束引进不同的松弛变量。
2.1 线性规划模型
例2.2：将以下线性规划问题转化为标准形式 Min f = s. t. 2.3 4.1 x1 + 3.6 x1 - 5.2 x2 + 1.8 x3 x1 + 5.2 x2 - 6.1 x3 ≤15.7 x1 + 3.3 x3 ≥8.9 x2 + x3 = 38
4.右端项有负值的问题：在标准形式中，要求右端项必须每一个分量非负。当某一个右端项系数为负时，如 bi<0，则把该等式约束两端同时乘以-1，得到： -ai1 x1-ai2 x2- … -ain xn = -bi 。
2.1 线性规划模型
例2.3：将以下线性规划问题转化为标准形式
Min f= -3 x1 + 5 x2 + 8 x3 - 7 x4 s.t. 2 x1 - 3 x2 + 5 x3 + 6 x4 ≤ 28 4 x1 + 2 x2 + 3 x3 - 9 x4 ≥ 39 6 x2 + 2 x3 + 3 x4 ≤ - 58 x1 , x3 , x4 ≥ 0
. .
•标准形式
2.1 线性规划模型
•目标函数： Max z = c1x1 + c2x2 + … + cnxn •约束条件：
a11x1 + a12x2 + … + a1nxn = b1 a21x1 + a22x2 + … + a2nxn = b2 . . am1x1 + am2x2 + … + amnxn = bm x1 ，x2 ，… ，xn ≥ 0
x1 , x2 , x3 ≥ 0
解：首先,将目标函数转换成极大化：令 z= -f = -3.6x1+5.2x2-1.8x3
2.1 线性规划模型
其次考虑约束，有2个不等式约束，引进松弛变量x4，x5 ≥0。于是，我们可以得到以下标准形式的线性规划问题： Max z = - 3.6 x1 + 5.2 x2 - 1.8 x3 s.t. 2.3x1+5.2x2-6.1x3+x4= 15.7 4.1x1+3.3x3-x5= 8.9 x1+x2+x3= 38 x1 ,x2 ,x3 ,x4 ,x5 ≥ 0
2.1 线性规划模型
3. 变量无符号限制的问题：在标准形式中，必须每一个变量均有非负约束。当某一个变量xj没有非负约束时，可以令 xj = xj’- xj” 其中 xj’≥0，xj”≥0 即用两个非负变量之差来表示一个无符号限制的变量，当然xj 的符号取决于xj’和xj”的大小。
2.1 线性规划模型
2.1 线性规划模型
Max z = 3x1–5x2’+5x2”–8x3 +7x4 s.t. 2x1–3x2’+3x2”+5x3+6x4+x5= 28 4x1+2x2’-2x2”+3x3-9x4-x6= 39 -6x2’+6x2”-2x3-3x4-x7 = 58 x1 ,x2’,x2”,x3 ,x4 ,x5 ,x6 ,x7 ≥ 0
第
二
章
线性规划
2.1 线性规划模型
三种类型的设备，例:某工厂拥有A、B、C 三种类型的设备，生产甲、乙两种产品。生产甲、乙两种产品。每件产品在生产中需要占用的设备机时数，每件产品可以获得的要占用的设备机时数，利润以及三种设备可利用的时数如下表所示：利润以及三种设备可利用的时数如下表所示：
2.1 线性规划模型
2、约束条件不是等式的问题：设约束条件为 ai1 x1+ai2 x2+ … +ain xn ≤ bi 可以引进一个新的变量s ，使它等于约束右边与左边之差 s=bi–(ai1 x1 + ai2 x2 + … + ain xn ) 显然，s 也具有非负约束，即s≥0，这时新的约束条件成为 ai1 x1+ai2 x2+ … +ain xn+s = bi
•一般形式
2.1 线性规划模型
•目标函数： Max(Min)z = c1x1 + c2x2 + … + cnxn •约束条件：
a11x1+a12x2+…+a1nxn≤( =, ≥ )b1 a21x1+a22x2+…+a2n. n≤( =, ≥ )b2 x am1x1+am2x2 +…+amnxn≤( =, ≥ )bm x1 ，x2 ，… ，xn ≥ 0
.Hale Waihona Puke 2.1 线性规划模型可以看出，线性规划的标准形式有如下四个特点：目标最大化、约束为等式、决策变量均非负、右端项非负。对于各种非标准形式的线性规划问题，我们总可以通过以下变换，将其转化为标准形式:
2.1 线性规划模型
1.极小化目标函数的问题：设目标函数为 Min f = c1x1 + c2x2 + … + cnxn 则可以令 z ＝ -f ，该极小化问题与下面的极大化问题有相同的最优解，即 Max z = -c1x1 - c2x2 - … - cnxn 但必须注意，尽管以上两个问题的最优解相同，但他们最优解的目标函数值却相差一个符号，即 Min f ＝ - Max z
2.1 线性规划模型
对设备 C ，两种产品生产所占用的机时数不能超过75 于是我们可以得到不等式： 75，数不能超过75，于是我们可以得到不等式：另外，产品数不可能为负， 3x2 ≤75 ；另外，产品数不可能为负，即 x1 ,x2 ≥0 。同时，我们有一个追求目标，同时，我们有一个追求目标，即获取最大利润。即获取最大利润。于是可写出目标函数 z 为相应的生产计划可以获得的总利润： z=1500x1+2500x2 。综合上述讨论，在加工综合上述讨论，时间以及利润与产品产量成线性关系的假设把目标函数和约束条件放在一起，下，把目标函数和约束条件放在一起，可以建立如下的线性规划模型：建立如下的线性规划模型：
二元函数线性规划的图形解法
目标函数约束条件 Max z =2x1+3x2 s.t. x1+2x2≤ 8 4x1≤ 16 4x2≤ 12
x1 ,x2 ≥0
画图求解. 最优解:X=(4,2),最优值max(z)=14
画图求解线性规划问题: 画图求解线性规划问题:
目标函数 Max z =1500x1+2500x2 约束条件 s.t. 3x1+2x2≤ 65 2x1+x2≤ 40 3x2≤ 75
产品甲设备A 设备B 设备C 利润（元/件） 3 2 0 1500 产品乙 2 1 3 2500 设备能力（h） 65 40 75
2.1 线性规划模型
问题：工厂应如何安排生产可获得最大的总利润？解：设变量xi为第i种（甲、乙）产品的生产件数（i＝1，2）。根据题意，我们知道两种产品的生产受到设备能力（机时数）的限制。对设备 A ，两种产品生产所占用的机时数不能超过65，于是我们可以得到不等式：3 x1 + 2 x2 ≤ 65；对设备 B ，两种产品生产所占用的机时数不能超过40，于是我们可以得到不等式：2 x1 + x2 ≤ 40；