最优化试题及答案

m

i 1 m *

m j * g j (x*) 0

最优化理论、方法及应用试题

一、(30 分)

1、针对二次函数f(x) 1x T Qx b T x c，其中Q是正定矩阵，试写出最速下降算法的详细

步骤，并简要说明其优缺点？

答：求解目标函数的梯度为g(x) Qx b，g k g(x k) Qx k b，搜索方向：从X k

出发，沿g k作直线搜索以确定x k 1。

Stepl:选定X。,计算f o,g o

Step2:做一维搜索，f k i min f X k tg k , x k 1 X k tg k.

Step3 :判别，若满足精度要求，则停止；否则，置 k=k+1,转步2

优缺点：最速下降法在初始点收敛快，

收敛速度慢。

算法简单，在最优点附近有锯齿现象,

2、有约束优化问题

min f (x)

g i(x) 0,i 1,2,L ,m

s.t

h j (x) 0,j 1,2,L ,l

最优解的必要条件是什么？

答：假设x*是极小值点。必要条件是f，g，h函数连续可微，而且极小值点的

所有起作用约束的梯度h(x*)(i 1,2丄，1)和g j(x*)( j 1,2,L ,m)线性无关，则* * * *

存在1 , 2丄，I, 1, 2丄，m,使得

l

f(x*) i* h i(x*)

i 1

j*g j(x*) 0,j 1,2,L

* * * * *

1 ,

2 ,L , l , 1 , 2 ,L ,

*

0, j 0

3、什么是起作用约束？什么是可行方向？什么是下降方向？什么是可行下降方向？

针对上述有约束优化问题，如果应用可行方向法，其可行的下降方向怎样确定？答：起作用约束：若g j(x0) 0，这时点x0处于该约束条件形成的可行域边界上,

它对x0的摄动起到某种限制作用

可行方向：x0是可行点，某方向 p，若存在实数0 0,使得它对任意

2、应用共轭梯度方法求解无约束优化问题 min X 28X |，初始点为X 0 1 1 丁 。 答：假设误差范围是

0.001。 0 16

f(X )

2为 16X

2

，初始搜索方向

F

2

f(X0)

16

步长:

t

T

f °(x) f °(x)

F 0T QP °

260

4104 0.0634，

X 1 X 0

1 0.0634

1

2 16

0.8732 0.0144 第二步迭代:

1.7464 f(X1)

0.2304

f(N )

1.7615,

T

f(X 1)QF 0

P )T QP 。

5!昱68 0.0127, P 1 4104

f (X i )

0P

1.7718 0.0272 ，

步长： t 1

皿 0.4933

P T QP

6.2904

0, 0，均有x 0p 可行点集合，则称方向p 是点X 0

的可行方向。

下降方向：某一可行点X 0

，对该点的任一方向p 来说，若存在实数o '0 , 使对任意 0, 01均有f X 0p f X 0，就称方向p 为X 0

点的一个下降方 向。

可行下降方向：既是可行方向，又是下降方向。

可行方向的确定：可行方向法就是沿下降容许方向搜索并保持迭代点为可行 点的一种迭代方法。

(25 分)

1、回答出n 维空间中非零向量系口，卩2丄P n 相互共轭的定义。 答：设C 是n x n 对称正定矩阵。若n 维空间中非零向量系 山心丄p n

满足

pQP j ,i,j 1,2,L ,n, i j,则称丄p .是Q 共轭的,或称山心丄p .的方向是Q

共轭方向。

x 2

x 1

t | P

0.8732 0.0144

0.4933

1.7718 0.0008 0.0272

0.001

3、对于无约束优化问题 min x 2 8x 2，写出其下降的牛顿方向, 并应用牛顿算 法迭代两步，初始点仍取为 T

X o 1 1 。

答: g 1

16

0,G

Q

0 16

，求解方程G 1R

g 1， G 1 1

1/2

1/16 '

1/2 1/16 2

16

于是x 2

X

1

1、针对有约束优化问题 min f(x),st

g i (x) h j (x)

0,i 0,j

1,2,L ,m 1,2,L ,l

答：F(x,)

f(x) (x)

(x) h j (x)

2

g(x) u(g i (x))，

(x)

0,x 0,x

其它选择(x)

h j (x)

mi n(0,g i (x))

i 1

将问题转化为如下的

(20 分)

试构造出两种外部惩罚函数F(x,)

2、最小二乘问题

mi nJ (x) f T (x) f (x) f (x)

用台劳公式进行一阶线性化得f(x) f(x k

) A(x k

)(x x k

)，

问题

2

min | f k AP|| ，