作业四参考答案

视听信息系统原理2017年秋季学期
第四次作业(占总成绩5分)
内容
1.x为二维非负向量，证明双曲集合{x∈R+2|x1x2≥1}是凸集合
2.已知R m+n上的两个凸集合S1和S2，证明它们的部分和集合S也是凸集合：
S={(x,y1+y2)|x∈R m,y1,y2∈R n,(x,y1)∈S1,(x,y2)∈S2}
3.连续函数f:R n→R，证明f为凸函数当且仅当对任意x,y∈R n，下式成立：
∫f(x+λ(y−x))dλ≤f(x)+f(y)
2
1 0
提交要求
4.用牛顿法求解无约束优化问题，目标函数f(x)=log⁡(e x+e−x)，分别以初值
x(0)=1和x(0)=1.1，写出前五步迭代过程，令迭代步长t=1.
x(0)=1
x(0)=1.1
5.证明牛顿递减量λ(x)满足下面的等式：
f(x)−inf{f̂(x+v)|A(x+v)=b}=λ(x)2/2
6.总变分(total variation)是信号处理领域一种经典的去除噪声的方法。

假设输
入的被噪声污染的信号用列向量表示为x̂∈R n，用x̂i表示x̂的第i个元素。

则去噪之后的信号x∈R n通过下面的无约束优化问题求得，其中ϵ>0,μ>0是两个常数。

minimize⁡f(x)=‖x−x̂‖22+μ∑(√ϵ2+(x i+1−x i)2−ϵ)
n−1
i=1
(1)若采用梯度下降法求解该问题，写出下降方向∆x的数学表达式（明确给
出∆x每个元素的表达形式）；
(2)若采用牛顿法求解该问题，写出计算下降方向∆x的线性方程组的数学表
达式（明确给出系数矩阵每个元素的表达形式）；
(3)分析求解问题(1)中的线性方程组的时间复杂度。

(1)梯度下降法中∆x=−∇f(x)
ðf ðx i =2(x i−x̂i)+μ
x−x
2(i+1i)2
+μ
x−x
2(i i−1)2
⁡⁡⁡⁡⁡⁡1<i <n
ðf ðx1=2(x1−x̂1)+μ
x−x
2(21)2
ðf ðx n =2(x n−x̂n)+μ
x−x
√ϵ2+(x n−x n−1)2
(2)牛顿法求解下降方向的线性方程组为∇2f(x)∆x=−∇f(x)
海森矩阵∇2f(x)首行：
第一个元素：2+μϵ2(ϵ2+(x2−x1)2)−3/2
第二个元素：−μϵ2(ϵ2+(x2−x1)2)−3/2
其他元素均为0
海森矩阵∇2f(x)中间第i(1<i<n)行：
第i−1个元素：−μϵ2(ϵ2+(x i−x i−1)2)−3/2
第i个元素：2+μϵ2(ϵ2+(x i+1−x i)2)−3/2+μϵ2(ϵ2+(x i−x i−1)2)−3/2
第i+1个元素：−μϵ2(ϵ2+(x i+1−x i)2)−3/2
其他元素均为０
海森矩阵∇2f(x)末行：
第n−1个元素：−μϵ2(ϵ2+(x n−x n−1)2)−3/2
第n个元素：2+μϵ2(ϵ2+(x n−x n−1)2)−3/2
其他元素均为０
(3)该问题中的海森矩阵是带状矩阵，具有下面的结构
[a1,1a1,20
a2,1a2,2a2,3 0a3,2a3,3
000
000
a3,400
(00)
(00)
(00)
00a4,3a4,4a4,50 (00)
]
即便采用直接的高斯消去，其复杂度也仅有O(3n)。