凸集与凸函数.ppt
合集下载
凸集与凸函数ppt课件
Rn中的n-1维仿射集称为超平面.
设H为一超平面,子空间L平行于H,则L的正交补
空间L是一维的.不妨设p 0是L的一个基,则
L={x n|xTp=0},a M,有
M L a {x a n | xTp 0} {y n | pTy pTa}
ppt课件
3
(2),对每一非空的仿射集M,存在唯一的子空 间L和向量a∈Rn,使得
M L a {x a | x L}
ppt课件
2
2. 凸集与凸函数
•若非空仿射集M=L+a,则a∈M,于是唯一子空间
L可表为 L M M {x y | x, y M}
Df2.2. 非空仿射集M的维数是指平行于仿射 集M的子空间的维数.
若riS S,则S称为一个相对开集.集合clS \ riS称为S 的相对边界,记为rbS.
ppt课件
8
2. 凸集与凸函数
•2.2 凸集与锥
Df 2.7 设S为n维欧氏空间 n中的一个集合。若对 任意两点x(1),x(2) S及每个实数 [0,1],有
x(1)+(1-)x(2) S 则称S为凸集。x(1)+(1-)x(2)称为x(1)和x(2)的凸组合。
2. 凸集与凸函数
Th2.2 给定向量p(≠0)∈Rn,∈R,则
H {x n | pT x } (2.1)
是Rn中的一个超平面.反之,Rn任一超平面都可表 成上式的形式,且在相差一个非零常数的意义下, (p,)是唯一的. Th2.3 给定矩阵A mn ,向量b n ,则
设仿射集M aff {x0, x1,...xm},L是平行于M的子空间,则
x M , x 1(x1 x0 ) ... m (xm x0 ) x0
设H为一超平面,子空间L平行于H,则L的正交补
空间L是一维的.不妨设p 0是L的一个基,则
L={x n|xTp=0},a M,有
M L a {x a n | xTp 0} {y n | pTy pTa}
ppt课件
3
(2),对每一非空的仿射集M,存在唯一的子空 间L和向量a∈Rn,使得
M L a {x a | x L}
ppt课件
2
2. 凸集与凸函数
•若非空仿射集M=L+a,则a∈M,于是唯一子空间
L可表为 L M M {x y | x, y M}
Df2.2. 非空仿射集M的维数是指平行于仿射 集M的子空间的维数.
若riS S,则S称为一个相对开集.集合clS \ riS称为S 的相对边界,记为rbS.
ppt课件
8
2. 凸集与凸函数
•2.2 凸集与锥
Df 2.7 设S为n维欧氏空间 n中的一个集合。若对 任意两点x(1),x(2) S及每个实数 [0,1],有
x(1)+(1-)x(2) S 则称S为凸集。x(1)+(1-)x(2)称为x(1)和x(2)的凸组合。
2. 凸集与凸函数
Th2.2 给定向量p(≠0)∈Rn,∈R,则
H {x n | pT x } (2.1)
是Rn中的一个超平面.反之,Rn任一超平面都可表 成上式的形式,且在相差一个非零常数的意义下, (p,)是唯一的. Th2.3 给定矩阵A mn ,向量b n ,则
设仿射集M aff {x0, x1,...xm},L是平行于M的子空间,则
x M , x 1(x1 x0 ) ... m (xm x0 ) x0
12凸集及凸函数
(1) f x 是凸集 D 上的凸函数的充要条件是对x, y D ,一
元函数 t 在0,1 上为凸函数. (2) 设 x, y D, x y , 若 t 在 0,1 上 为 严 格 凸 函 数 , 则 f x 在 D 上为严格凸函数.
2020/8/4
16
该定理的几何意义是：凸函数上任意两点 之间的部分是一段向下凸的弧.
0,1表示连接 x1, f x1 , x2, f x2 的线段.
f x1 1 x2 表示在点 x1 1 x2 处的函数
值.
所以一元凸函数表示连接函数图形上任意两点的线段
总是位于曲线弧的上方．
2020/8/4
12
2020/8/4
13
凸函数的性质
(1)设 f x 是凸集 D Rn 上的凸函数,实数 k 0 ,则 kf x 也
f x 1 y f x 1 f y,
则称 f x 为凸集 D 上的凸函数。
定义1.5 严格凸函数
注:将上述定义中的不等式反向,可以得到凹函数的定义。
例: 设 f x x 12 ,试证明 f x 在 , 上是严格凸
函数.
2020/8/4
9
证明: 设 x, y R ,且 x y, 0,1 ,都有
§1.2 凸集与凸函数
2020/8/4
1
一、凸集
定义1.1 设集合 D Rn , 若对于任意两点
x , y D , 及实数 0 1, 都有：
x 1 y D
则称集合 D 为凸集．
注：常见的凸集：空集，整个欧氏空间 Rn
超平面：H x Rn a1x1 a2x2 an xn b
m
ai xi ,
称为 xi ,i 1, 2,
,m,
元函数 t 在0,1 上为凸函数. (2) 设 x, y D, x y , 若 t 在 0,1 上 为 严 格 凸 函 数 , 则 f x 在 D 上为严格凸函数.
2020/8/4
16
该定理的几何意义是：凸函数上任意两点 之间的部分是一段向下凸的弧.
0,1表示连接 x1, f x1 , x2, f x2 的线段.
f x1 1 x2 表示在点 x1 1 x2 处的函数
值.
所以一元凸函数表示连接函数图形上任意两点的线段
总是位于曲线弧的上方．
2020/8/4
12
2020/8/4
13
凸函数的性质
(1)设 f x 是凸集 D Rn 上的凸函数,实数 k 0 ,则 kf x 也
f x 1 y f x 1 f y,
则称 f x 为凸集 D 上的凸函数。
定义1.5 严格凸函数
注:将上述定义中的不等式反向,可以得到凹函数的定义。
例: 设 f x x 12 ,试证明 f x 在 , 上是严格凸
函数.
2020/8/4
9
证明: 设 x, y R ,且 x y, 0,1 ,都有
§1.2 凸集与凸函数
2020/8/4
1
一、凸集
定义1.1 设集合 D Rn , 若对于任意两点
x , y D , 及实数 0 1, 都有：
x 1 y D
则称集合 D 为凸集．
注：常见的凸集：空集，整个欧氏空间 Rn
超平面：H x Rn a1x1 a2x2 an xn b
m
ai xi ,
称为 xi ,i 1, 2,
,m,
八凸集与凸函数
hj ( x ) 是线性函数。 其中 f ( x ) , gi ( x ) 是凸函数，
D { x | f ( x ) , x X , f 是凸函数}。 水平集：
性质：水平集一定是凸集。 3. 凸函数的性质 定理. 凸函数的局部极小点就是全局极小点。 4. 凸函数的判断条件 定理1. f ( x ) 是凸集X上的凸函数的充要条件是 x1 , x 2 X ，有 f ( x 2 ) f ( x1 ) f ( x1 )T ( x 2 x1 ) .
k
k : k 1 ； （4）令 x k 1 x k k d k ，
k （5）判断 x 是否满足停止条件。是则停止，否则转第2步。
搜索步长确定方法：
f ( x k k d k ) min f ( x k d k )
称 k 为最优步长，且有 f ( x k k d k )T d k 0 。
2 f ( x ) x 例子：
5. 凸规划 （1） min
s .t . f ( x) x D
其中 f ( x ) 是凸函数， D 是凸集。
（2） min
f ( x)
s .t .
g1 ( x ) 0 gl ( x ) 0 h1 ( x ) 0 hk ( x ) 0
八. 凸集与凸函数
1.凸集 （1）凸组合：已知 X R n ，任取k个点 x i X ， 如果存在常数 k k ai 0 (i 1 , 2 ,, k ) ， ai 1 ，使得 ai x i x ，则称 x 为 x i i 1 i 1
(i 1 , 2 ,, k ) 的凸组合。
定理2.设 f ( x ) 在凸集X上有二阶连续偏导数，则 f ( x ) 是凸
凸优化课件
针对非线性约束条件，需要采用约束优化方法，如拉格朗日乘子法 、罚函数法等。
局部最优解和全局最优解
非线性凸优化问题可能存在多个局部最优解，需要研究如何找到全 局最优解或近似全局最优解。
大规模凸优化问题
计算复杂度
大规模凸优化问题的计算复杂度通常很高，需要采用高效的优化 算法。
并行计算和分布式计算
为了加速大规模凸优化问题的求解，可以采用并行计算和分布式计 算技术。
凸函数性质
凸函数具有单调性、有下界性、最小化性质等性质。在优化问题中，凸函数的最小值可 以通过优化方法求解。
凸集与凸函数的几何解释
凸集的几何解释
凸集可以用图形表示，例如二维平面上的一个凸集可以表示 为一个凸多边形。
凸函数的几何解释
对于凸函数，其图像是一个向上的曲线，且在该曲线上任意 两点之间画一条线，该线总是在函数图像之下。这意味着对 于凸函数，其最小值存在于其定义域的端点或边界上。
凸函数的性质
凸函数具有连续性、可微性、单调性 、凸性等性质，这些性质使得凸优化 问题在求解过程中具有一些特殊的优 势。
凸优化在数学与工程领域的应用
在数学领域的应用
凸优化在数学领域中广泛应用于最优化理论、统计推断、机器学习等领域。例 如，在机器学习中，凸优化方法可以用于求解支持向量机、神经网络等模型的 参数。
现状与挑战
目前，凸优化算法在理论和实际应用中都取得了很大的进展。然而，随着问题的复杂性和规模的增加，凸优化算 法也面临着一些挑战，如计算复杂度高、局部最优解等问题。未来，需要进一步研究和发展更高效的算法和技术 ，以解决更复杂的问题。
02
凸集与凸函数
凸集的定义与性质
凸集定义
一个集合称为凸集，如果该集合中的 任意两点之间的线段仍在集合中。
局部最优解和全局最优解
非线性凸优化问题可能存在多个局部最优解，需要研究如何找到全 局最优解或近似全局最优解。
大规模凸优化问题
计算复杂度
大规模凸优化问题的计算复杂度通常很高，需要采用高效的优化 算法。
并行计算和分布式计算
为了加速大规模凸优化问题的求解，可以采用并行计算和分布式计 算技术。
凸函数性质
凸函数具有单调性、有下界性、最小化性质等性质。在优化问题中，凸函数的最小值可 以通过优化方法求解。
凸集与凸函数的几何解释
凸集的几何解释
凸集可以用图形表示，例如二维平面上的一个凸集可以表示 为一个凸多边形。
凸函数的几何解释
对于凸函数，其图像是一个向上的曲线，且在该曲线上任意 两点之间画一条线，该线总是在函数图像之下。这意味着对 于凸函数，其最小值存在于其定义域的端点或边界上。
凸函数的性质
凸函数具有连续性、可微性、单调性 、凸性等性质，这些性质使得凸优化 问题在求解过程中具有一些特殊的优 势。
凸优化在数学与工程领域的应用
在数学领域的应用
凸优化在数学领域中广泛应用于最优化理论、统计推断、机器学习等领域。例 如，在机器学习中，凸优化方法可以用于求解支持向量机、神经网络等模型的 参数。
现状与挑战
目前，凸优化算法在理论和实际应用中都取得了很大的进展。然而，随着问题的复杂性和规模的增加，凸优化算 法也面临着一些挑战，如计算复杂度高、局部最优解等问题。未来，需要进一步研究和发展更高效的算法和技术 ，以解决更复杂的问题。
02
凸集与凸函数
凸集的定义与性质
凸集定义
一个集合称为凸集，如果该集合中的 任意两点之间的线段仍在集合中。
1-2凸集与凸函数
值.
所以一元凸函数表示连接函数图形上任意两点的线段
总是位于曲线弧的上方．
2020/3/1
12
2020/3/1
13
凸函数的性质
(1)设 f x 是凸集 D Rn 上的凸函数,实数 k 0 ,则 kf x 也
是 D 上的凸函数.
(2)设 f1 x , f2 x 是凸集 D Rn 上的凸函数,实数 , 0 , 则 f1 x f2 x 也是 D 上的凸函数.
则称 f x 为凸集 D 上的凸函数。
定义1.5 严格凸函数
注:将上述定义中的不等式反向,可以得到凹函数的定义。
例: 设 f x x 12 ,试证明 f x 在 , 上是严格凸
函数.
2020/3/1
9
证明: 设 x, y R ,且 x y, 0,1 ,都有
a2
不等式要取等号，必须 y z a ,
且 y, z y z , 容易证明 y z x ,
根据定义可知 x 为极点．
2020/3/1
8
三、凸函数
定义 1.4: 设函数 f x 定义在凸集 D Rn 上,若对任意的
x, y D, 0,1,都有:
f x 1 y f x 1 f y,
元函数 t 在0,1 上为凸函数. (2) 设 x, y D, x y , 若 t 在 0,1 上 为 严 格 凸 函 数 , 则 f x 在 D 上为严格凸函数.
2020/3/1
16
该定理的几何意义是：凸函数上任意两点 之间的部分是一段向下凸的弧.
2020/3/1
L
x2 xn
所以一元凸函数表示连接函数图形上任意两点的线段
总是位于曲线弧的上方．
2020/3/1
12
2020/3/1
13
凸函数的性质
(1)设 f x 是凸集 D Rn 上的凸函数,实数 k 0 ,则 kf x 也
是 D 上的凸函数.
(2)设 f1 x , f2 x 是凸集 D Rn 上的凸函数,实数 , 0 , 则 f1 x f2 x 也是 D 上的凸函数.
则称 f x 为凸集 D 上的凸函数。
定义1.5 严格凸函数
注:将上述定义中的不等式反向,可以得到凹函数的定义。
例: 设 f x x 12 ,试证明 f x 在 , 上是严格凸
函数.
2020/3/1
9
证明: 设 x, y R ,且 x y, 0,1 ,都有
a2
不等式要取等号，必须 y z a ,
且 y, z y z , 容易证明 y z x ,
根据定义可知 x 为极点．
2020/3/1
8
三、凸函数
定义 1.4: 设函数 f x 定义在凸集 D Rn 上,若对任意的
x, y D, 0,1,都有:
f x 1 y f x 1 f y,
元函数 t 在0,1 上为凸函数. (2) 设 x, y D, x y , 若 t 在 0,1 上 为 严 格 凸 函 数 , 则 f x 在 D 上为严格凸函数.
2020/3/1
16
该定理的几何意义是：凸函数上任意两点 之间的部分是一段向下凸的弧.
2020/3/1
L
x2 xn
第3讲凸集凸函数凸规划
证法：在Young不等式中令
(b)凹函数
P41 2.37
凸函数
例：设
试证明
上是严格凸函数．
证明: 设
且
在 都有：
因此,
在
上是严格凸函数．
凸函数
例：试证线性函数是 上的凸函数．
证明: 设
则
故,
是凸函数．
类似可以证明
也是凹函数.
性质
定理1 设
凸函数
是凸集
上的凸函数充要条件
不等式应用: 设
詹生(Jensen)不等式 ，证明:
P41 2.36
性质
定理2
凸函数
正线性组合
凸函关于数 的水平集.
定理3
设 是凸集
上的凸函数，则对任意
，水平集
是凸集．
注：定理3 的逆命题不成立.
凸函数
下面的图形给出了凸函数
的等值线的图形，可以看出水平集是凸集.
凸函数
凸函数
凸函数的判别定理
定理1: 设 是定义在凸集
f(αx1+(1-α)x2 ) f(X1)
X
X1
αx1+(1-α)x2 X2
f(X) f(X2)
f(αx1+(1-α)x2 ) f(X1)
X
X1
αx1+(1-α)x2 X2
f(X) f(X2) αf( x1 ) +(1- α) f( x2) f(αx1+(1-α)x2 )
f(X1)
X1
αx1+(1-α)x2
(2) 若 是凸集
上的严格凸函数，
且凸规划问题
局部极小点x*存在，
则x*是唯一的全局极小点．
定理 凸规划的任一局部最优解都是它的整体最优解。 证明：设x*是凸规划的一个局部解，则存在δ>0,使 如果x*不是整体最优解，则 又因为f是凸函数，所以
(b)凹函数
P41 2.37
凸函数
例：设
试证明
上是严格凸函数．
证明: 设
且
在 都有：
因此,
在
上是严格凸函数．
凸函数
例：试证线性函数是 上的凸函数．
证明: 设
则
故,
是凸函数．
类似可以证明
也是凹函数.
性质
定理1 设
凸函数
是凸集
上的凸函数充要条件
不等式应用: 设
詹生(Jensen)不等式 ，证明:
P41 2.36
性质
定理2
凸函数
正线性组合
凸函关于数 的水平集.
定理3
设 是凸集
上的凸函数，则对任意
，水平集
是凸集．
注：定理3 的逆命题不成立.
凸函数
下面的图形给出了凸函数
的等值线的图形，可以看出水平集是凸集.
凸函数
凸函数
凸函数的判别定理
定理1: 设 是定义在凸集
f(αx1+(1-α)x2 ) f(X1)
X
X1
αx1+(1-α)x2 X2
f(X) f(X2)
f(αx1+(1-α)x2 ) f(X1)
X
X1
αx1+(1-α)x2 X2
f(X) f(X2) αf( x1 ) +(1- α) f( x2) f(αx1+(1-α)x2 )
f(X1)
X1
αx1+(1-α)x2
(2) 若 是凸集
上的严格凸函数，
且凸规划问题
局部极小点x*存在，
则x*是唯一的全局极小点．
定理 凸规划的任一局部最优解都是它的整体最优解。 证明：设x*是凸规划的一个局部解，则存在δ>0,使 如果x*不是整体最优解，则 又因为f是凸函数，所以
1-2凸集与凸函数
6
二、极点
定义1.3 定义1.3 设 D为凸集， D, 若 D 中不存在 x∈ 为凸集，
两个相异的点 y, z 及某一实数 λ ∈( 0,1) 使得 x = λ y + (1 λ) z , 则称 x 为 D 的极点． 极点．
一个极点 极点,且有 注： x 是 S 中的一个极点 且有 x = λ x1 + ( 1 λ ) x2 , λ ∈ ( 0,1) , 若
2010-8-21
17
一阶判别条件
可微,则 定理 1.2: 设在凸集 D R n 上 f ( x ) 可微 则 : f ( x ) 在 D 上为 都有: 凸函数的充要条件是对 x , y ∈ D ,都有 都有
f ( y ) ≥ f ( x ) + f ( x )
T
( y x)
严格凸函数 充要条件) 凸函数(充要条件 定理 1.3: 严格凸函数 充要条件
则称 f ( x ) 为凸集 D 上的凸函数 。 上的凸函数 凸函数。
定义1.5 严格凸函数 定义
定义中 不等式反向 可以得到 函数的定义。 反向,可以得到凹 注:将上述定义中的不等式反向 可以得到凹函数的定义。 将上述定义
严格凸 例 : 设 f ( x ) = ( x 1) ,试 证明 f ( x ) 在 ( ∞ , +∞ ) 上 是 严格 凸 试
2 f x12 2 f 2 G ( x ) = f ( x ) = x2 x1 M 2 f x x n 1
2 f x1 x2 2 f 2 x 2 M 2 f x n x 2
2 f L x1 xn
2 f L x 2 x n M M 2 f L 2 x n
2010-8-21
11
凸函数的几何性质 对一元函数 f ( x ) ,在几何上 λ f ( x1 ) + ( 1 λ ) f ( x2 ) , 在几何上
1-2凸集与凸函数解析
2018/12/15
10
例:试证线性函数是 Rn 上的凸函数
f x cT x c1 x1 c2 x2
证明 :设 x , y R, 0,1 ,则
T f x 1 y c x 1 y
cn x n
x 1 y 1 x 1 1 y 1
2 2
f x 1 y f x 1 f y
2
2
1 x y 0
因此 f x 在 , 上是严格凸函数.
若 x 是 S 中的一个极点,且有 x x1 1 x2 , 0,1 , 注：
x1 , x2 S ,则必有 x x1 x2 .
例3：D x R n x aa 0 , 则 x a
上的点均为极点．
2018/12/15
7
证：设 x a , 若存在 y , z D 及 0,1 , 使得 x y 1 z , 则：
T
y R 表示 y 轴上的点．
则 D1 D2 表示两个轴的所有点， 它不是凸集； 而 D1 D2 R 2 凸集．
2018/12/15
5
推论： 设 Di , i 1, 2,
, m 是凸集， 则
D
i 1 i
m
i
也是凸集， 其中 i 是实数．
定义1.2:设 xi D , i 1, 2,
2018/12/15
8
三、凸函数
定义 1.4: 设函数 f x 定义在凸集 D Rn 上 , 若对任意的
x , y D, 0,1 ,都有 :
凸集与凸函数
凸集与凸函数凸集与凸函数是数学中具有较高应用价值的两个概念，它们在优化、经济学、工程学、数学物理等领域都有着广泛的应用。
一、凸集的定义凸集是指在欧几里得空间中，对于任意两个点$x_1$和$x_2$ ，如果这两个点都处于凸集内，那么它们之间的所有点也都应该在该凸集内，即：$$x_1,x_2\in C\Rightarrow\lambda{x_1}+(1-\lambda)x_2\in C\0\leq\lambda\leq1$$其中的$\lambda$是权重系数，使得对于$x_1$和$x_2$的线性组合能够在凸集内。
凸集不仅包括均匀分布的整个区域，而且还包括所有边界上的点。
凸函数是指在定义域内的任意两个点$x_1$和$x_2$之间，其函数值的线性组合仍然处于函数的值域内，即：凸函数是凸集上的实值函数，其定义域是一个凸集。
凸函数的定义与凸集的定义类似，可以形式化证明凸函数在其定义域上是凸集。
具体来说，对于凸函数$f(x)$，当且仅当它的定义域是凸集时，它才是凸函数。
同时，凸函数也存在一些性质，例如其导数是递增的、局部最小值是全局最小值等。
除此之外，凸集与凸函数还有许多更深入的联系。
例如，可分离凸函数、第一性原理的凸优化算法、鞍点理论等，都是凸集与凸函数相关的研究领域。
四、应用举例凸集与凸函数的应用非常广泛，例如：1. 在优化中，凸集与凸函数是常用的工具。
例如，线性规划、半定规划、凸优化等问题都涉及到凸集和凸函数。
2. 在经济学中，凸集与凸函数可以用来描述市场需求、供给等重要问题，例如企业的利润最大化、消费者选择最大化等问题。
3. 在计算机科学中，凸集与凸函数被广泛应用于机器学习、人工智能等领域。
例如，梯度下降法、反向传播算法等都是基于凸函数的优化算法。
总之，凸集与凸函数是数学中非常重要的概念，不仅应用广泛，而且具有一些深刻的理论性质。
在未来的科学研究中，凸集与凸函数的研究将会得到更加广泛的关注和应用。
1-1凸集与凸函数
M {x 是
n
n
| Ax b}(简记为Ax b)
n
(2.2)
中的一仿射集.反之,
中的每一仿射集
都可表成(2.2)式的形式,即一组超平面的交集.
2. 凸集与凸函数
•可验证,仿射集的交集仍是仿射集
若记 AT (a1 , a2 ,..., am ), b (b1 , b2 ,..., bm )T H i {x | aiT x bi }.i 1,2,..., m,
2. 凸集与凸函数
•2.1 仿射集
对n维欧氏空间中任意两点x≠y,则通过x和y的直线可表为 l(x,y)={(1-λ)x+λy|λ∈R }
Df 2.1 若集合M (1-)x +y M
n
包含所有的通过其内任意
两点的直线,即x, y M, ,有 则称M为一个仿射集(仿射流形,仿射子空间)。
m i 1
则
M Hi Df2.3 给定Rn中集合S,包含S的所有仿射集的交集, 即包含S的最小仿射集称为S的仿射包,记为affS 可证, S的仿射包
affS { i x i | i 1, i R, x i S , i 1,.., k , k ¥ }
i 1 i 1 k k
n
是非空集合, x S , N ( x)表示x的 - 邻域。
若N ( x) affS S , 则x称为S的一个相对内点.S的相对 内点的全体称为它的相对内部, 记为riS 若riS S , 则S 称为一个相对开集.集合clS \ riS 称为S 的相对边界, 记为rbS .
2. 凸集与凸函数
空集 ,
n
, 单点集{x}, 直线l ( x, y )都是仿射集.
第1讲线性规划基本概念.ppt
凸集：设集合 X Rn ，如果 X 中任意两点的凸组合 仍然属于X ，则称 X 为凸集.
定义 1 集合 D Rn称为凸的，如果对于任意 x, y D ,有
x (1 ) y D 0 1
则称 D 是Rn中的凸集（convex set）.
结论： （1） 空集和全空间Rn是凸集. （2） 设a Rn,a 0, R，则超平面（hyper plane）
X
x
Rn
g（i x） h（j x）
0 0
i 1,, p j 1,,q
若X是凸集, f 是D上的凸函数,称(MP)为非线性 凸规划,简称凸规划.
凸规划性质：
定理
线性函数
对于非线性规划(MP),
min f（x）
s.t. g（i x） 0
h（j x） 0
第1讲 基本概念 Basic conceptions
一．最优化问题简介
二．凸集和凸函数
三．非线性规划方法概述
一．最优化问题简介.
定义：在一切可能的方案中选择一个最好的方案，以 达到最优目标.
（凡是准求最优目标的数学问题都属于最优化问题， Optimization Problems,OP）.
三要素： （1）目标； （2）方案； （3）限制条件.
指标集.
解：
c1(x)
2 2
2 ( 2 )2 0, 2
c2 (x) 1 (
2 )2 ( 2
2 )2 0, 2
c3(x)
2 0. 2
A {1,2}. x
x2
c2 (x) 0
c3(x) 0
x
O
c1(x) 0
演示文稿凸集与凸函数
可证, S的仿射包
k
kLeabharlann affS { i xi | i 1,i R, xi S,i 1,.., k, k }
i1
i1
2. 凸集与凸函数
Df2.1 Rn中任一集合S的维数定义为它的仿射包 affS的维数,即包含S的仿射集的最小维数. Df 2.5 由m 1个向量组成的向量组x0 , x1 ,...xm 称为是仿射无关的,是指集合{x0 , x1 ,...xm}的维 数为m,即仿射包aff {x 0 , x1 ,...xm}维数是m. 一般,有限点集的仿射包aff {x0 , x1 ,...xm} L x0, L aff {0, x1 x 0 ,...xm x 0 } 是包含{x1 x0 ,...xm x 0 }的最小子空间. L的维数是m x1 x 0 ,...xm x 0线性无关.
m
有1x1 ... mxm S,其中 i 1, i1
i 0 R,i 1,.., m.
2. 凸集与凸函数
运用定义不难验证如下命题：
命题2.2 设S1和S2为En中两个凸集,是实数,则 1,S1 {x x S1}为凸集。 2，S1 S2为凸集 3，S1 S2 ={x(1)+x(2) x(1)S1 ,x(2)S2 }为凸集 4，S1 S2 ={x(1)-x(2) x(1) S1 ,x(2) S2 }为凸集
2. 凸集与凸函数
•可验证,仿射集的交集仍是仿射集
若记 AT (a1, a2 ,..., am ),b (b1,b2,...,bm )T
Hi {x | aiT x bi}.i 1, 2,..., m, 则
M
H m
i1 i
Df2.3 给定Rn中集合S,包含S的所有仿射集的交集,
凸集与凸函数.ppt
0,1表示连接 x1, f x1 , x2, f x2 的线段.
f x1 1 x2 表示在点 x1 1 x2 处的函数
值.
所以一元凸函数表示连接函数图形上任意两点的线段
总是位于曲线弧的上方．
2020/10/6
12
2020/10/6
13
凸函数的性质
(1)设 f x 是凸集 D Rn 上的凸函数,实数 k 0 ,则 kf x 也
2020/10/6
3
凸集的性质
（１） 有限个（可以改成无限）凸集的交集
为凸集． （２） 设 D 是凸集， 是一实数， 则下面的
集合是凸集：D y y x , x D
（３）设 D1 , D2 是凸集，则 D1 , D2 的和集
D1 D2 y y x z, x D1, z D2 是凸集;
§1.2 凸集与凸函数
2020/10/6
1
一、凸集
定义1.1 设集合 D Rn , 若对于任意两点
x , y D , 及实数 0 1, 都有：
x 1 y D
则称集合 D 为凸集．
注：常见的凸集：空集，整个欧氏空间 Rn
超平面：H x Rn a1x1 a2x2 an xn b
是 D 上的凸函数.
(2)设 f1 x , f2 x 是凸集 D Rn 上的凸函数,实数 , 0 , 则 f1 x f2 x 也是 D 上的凸函数.
(3)设 f x 是凸集 D Rn 上的凸函数, 是实数,则水平集
S f , x x D, f x 是凸集.
(1) f x 是凸集 D 上的凸函数的充要条件是对x, y D ,一
元函数 t 在0,1 上为凸函数. (2) 设 x, y D, x y , 若 t 在 0,1 上 为 严 格 凸 函 数 , 则 f x 在 D 上为严格凸函数.
f x1 1 x2 表示在点 x1 1 x2 处的函数
值.
所以一元凸函数表示连接函数图形上任意两点的线段
总是位于曲线弧的上方．
2020/10/6
12
2020/10/6
13
凸函数的性质
(1)设 f x 是凸集 D Rn 上的凸函数,实数 k 0 ,则 kf x 也
2020/10/6
3
凸集的性质
（１） 有限个（可以改成无限）凸集的交集
为凸集． （２） 设 D 是凸集， 是一实数， 则下面的
集合是凸集：D y y x , x D
（３）设 D1 , D2 是凸集，则 D1 , D2 的和集
D1 D2 y y x z, x D1, z D2 是凸集;
§1.2 凸集与凸函数
2020/10/6
1
一、凸集
定义1.1 设集合 D Rn , 若对于任意两点
x , y D , 及实数 0 1, 都有：
x 1 y D
则称集合 D 为凸集．
注：常见的凸集：空集，整个欧氏空间 Rn
超平面：H x Rn a1x1 a2x2 an xn b
是 D 上的凸函数.
(2)设 f1 x , f2 x 是凸集 D Rn 上的凸函数,实数 , 0 , 则 f1 x f2 x 也是 D 上的凸函数.
(3)设 f x 是凸集 D Rn 上的凸函数, 是实数,则水平集
S f , x x D, f x 是凸集.
(1) f x 是凸集 D 上的凸函数的充要条件是对x, y D ,一
元函数 t 在0,1 上为凸函数. (2) 设 x, y D, x y , 若 t 在 0,1 上 为 严 格 凸 函 数 , 则 f x 在 D 上为严格凸函数.
第2讲凸集与凸函数
第二讲凸集与凸函数22•定义1(凸集)设集合, 若对于任意两点及实数, 都有, 则称集合为凸集.nR D ⊂D y x ∈,]1,0[∈αD y x ∈-+)1(ααD 凸集x y xyx y凸集•例1. 证明超平面为凸集.证明:设, 对有因此，故为凸集.}{b x a R x H T n =∈=H y x ∈,]1,0[∈∀αbb b ya x a y x a T T T=-+=-+=-+)1()1())1((ααααααH y x ∈-+)1(ααH •例2. 欧式空间, 半空间为凸集.规定空集Ø为凸集.n R }{b x a R x H T n ≥∈=+凸集的性质•(3). 设为凸集，则为凸集.•(2). 设为凸集, , 则为凸集.D R ∈β},|{D x x y y D ∈==ββ21,D D },|{2121D y D x y x z D D ∈∈+==+比如,对于性质(3),是单点集，是三角形为四边形1D 2D 21D D +•(1). 设,,...,为凸集，则...为凸集.1D 2D n D 21D D D =n D•(4).S 是凸集当且仅当S 中任意有限个点的凸组合仍然在S 中.•(5). 设是凸集，则也是凸集，其中是实数。
k i D i ,,2,1, =i ki i D ∑=1βi β例3. 表示x 轴上的点.表示y 轴上的点.则表示两个轴上得所有点，它不是凸集；而是凸集.(){}R x x D T ∈=|0,1(){}R y y D T ∈=|,0221D D ⋃221R D D =+注：凸集的和集和并集有很大的区别，凸集的并集未必是凸集，而凸集的和集是凸集.凸集的性质定义2（-水平集）设是定义在集合R 上的实函数，是实数，则称如下的集合是函数的-水平集。
α)(x f α})(,|{αα≤∈=x f R x x S )(x f α凸函数•定义3 (凸函数)设函数定义在凸集上，若对于及,都有,则称为上的凸函数.f nR D ⊂D y x ∈∀,]1,0[∈∀α)()1()())1((y f x f y x f αααα-+≤-+f D •定义4 (严格凸函数)设函数定义在凸集上若对于及,都有,则称为上的严格凸函数.f n R D ⊂D y x ∈∀,)1,0(∈∀α)()1()())1((y f x f y x f αααα-+<-+f D凸函数•定理1(一阶条件) 设在凸集上可微, 则在上为凸函数的充分必要条件是对, 都有.f n R D ⊂f D D y x ∈∀,)()()()(x y x f x f y f T -∇+≥•定理2(二阶条件) 设在开凸集上二阶可微,则(1).在为上凸函数的充要条件为时,半正定.(2). 时, 正定, 则为上的严格凸函数.f n R D ⊂f D D x ∈∀)(2x f ∇D x ∈∀)(2x f ∇f D 1x 0x 1f 0f ()f x 000()f f T x x +∇-典型凸函数6) f (x) = x log x, x >0.既凸又凹！凸函数与不等式凸函数的性质性质1设()f x 是凸集n D R ⊂上的凸函数,实数0k ≥,则()kf x 也是D 上的凸函数.性质2设()()12,f x f x 是凸集nD R ⊂上的凸函数,实数,0λμ≥,则()()12f x f x λμ+也是D 上的凸函数.性质3设()f x 是凸集nD R ⊂上的凸函数,β是实数,则水平集()(){},,S f x x D f x ββ=∈≤是凸集. 12例5.试判断下列函数的凸凹性。
线性规划凸集凸函数课件
是 Rn 上的凸函数。
同理可证线性函数 f ( x) = cT x 也是 Rn上的凹函数。
凸函数的性质
性质1 设f 1, f 2为定义在凸集D上的凸函数，l 为非负实数， l 则f1, f1+ f2也是D上凸函数。
性质2 设D是R n中一个凸集，f 是定义在D上的一个凸函数， 则f 在D 的内部连续。
= a (1-a )(x12 + x22 - 2x1 x2 )
= a (1-a ) (x1-x2)2 ≥0
∴ a f (x1) +(1- a ) f (x2)≥ f [ax1 + (1 - a )x2 ]
所以，f (x) = x 2 是R上凸函数。
例：证明线性函数
f ( x) = cT x = c1 x1 + c2 x2 + L + cn xn
仅〝<〞成立,则称为 f (xD)上严格凸函数。
凹函数，严格凹函数
对凸的一元函数 f (x)的几
何意义为：在曲线上任取
两点P1(x1, f (x1)), P2(x2, f (x2))弦 P1P2 位于
弧 P1P2 之上（见图）。
p2 p1 (x, y)
f (x)
x1 x
x2
例如，对 f (x)= x 2，因 "x1,x2∈R ，"a ∈(0,1)
多边形的顶点是 凸集的极点（顶点）。
圆周上的点都是 凸集的极点（顶点）。
定义4 设D为R n中非空凸集，若对" x(1)，x(2) ∈D ，
"a ∈(0,1)恒有
f [ax(1) +(1-a )x(2) ]≤ a f (x(1) )+ (1- a)f (x(2) ) (*)
同理可证线性函数 f ( x) = cT x 也是 Rn上的凹函数。
凸函数的性质
性质1 设f 1, f 2为定义在凸集D上的凸函数，l 为非负实数， l 则f1, f1+ f2也是D上凸函数。
性质2 设D是R n中一个凸集，f 是定义在D上的一个凸函数， 则f 在D 的内部连续。
= a (1-a )(x12 + x22 - 2x1 x2 )
= a (1-a ) (x1-x2)2 ≥0
∴ a f (x1) +(1- a ) f (x2)≥ f [ax1 + (1 - a )x2 ]
所以，f (x) = x 2 是R上凸函数。
例：证明线性函数
f ( x) = cT x = c1 x1 + c2 x2 + L + cn xn
仅〝<〞成立,则称为 f (xD)上严格凸函数。
凹函数，严格凹函数
对凸的一元函数 f (x)的几
何意义为：在曲线上任取
两点P1(x1, f (x1)), P2(x2, f (x2))弦 P1P2 位于
弧 P1P2 之上（见图）。
p2 p1 (x, y)
f (x)
x1 x
x2
例如，对 f (x)= x 2，因 "x1,x2∈R ，"a ∈(0,1)
多边形的顶点是 凸集的极点（顶点）。
圆周上的点都是 凸集的极点（顶点）。
定义4 设D为R n中非空凸集，若对" x(1)，x(2) ∈D ，
"a ∈(0,1)恒有
f [ax(1) +(1-a )x(2) ]≤ a f (x(1) )+ (1- a)f (x(2) ) (*)
(大学数学)凸集和凸函数讲义
定理2.2: 严格凸函数(充要条件)
二阶条件
定理3: 设在开凸集 D Rn 内 f x 二阶可微，则
(1) f x 是 D内的凸函数的充要条件为，在 D 内任一点 x 处，f x 的海色矩阵Gx半正定,
其中：
2 f x12
2 f
Gx
2
f
x
x2 x1
2 f
xn
x1
2 f
x1 x2 2 f x22
若对任意的 x, y D , 及任意的 0,1
都有：f x 1 y f x 1 f y 则称函数 f x 为凸集 D上的凸函数．
定义5 严格凸函数
注：将上述定义中的不等式反向，可以得到 凹函数的定义．
例1：设 f x x 12 , 试证明 f x 在 ,
上是严格凸函数．
证明: 设 x, y R, 且 x y , 0,1 都有： f x 1 y f x 1 f y
极点
定义1 设 D为凸集，x D, 若 D 中不存在
两个相异的点y , z 及某一实数 0,1 使得 x y 1 z , 则称 x 为 D 的极点．
例：D x Rn x a a 0, 则 x a
上的点均为极点．
• 图中0，Q1,2,3,4都是顶点。
凸函数
定义4 设函数 f x 定义在凸集 D Rn 上，
§ 1.2 凸集和凸函数
一 、凸集
定义1 设S为n维欧氏空间Rn 中一个集合.若对S
中任意两点,联结它们的线段仍属于S.即 对S中任意两点 x（1），x（2）及每个实数 [0，1]，都有
x（1）（1 ）x（2） S
则称S为凸集.
x（1）（1 ）x（2）称为x（1）和x（2）的凸组合 .
• 实心圆，实心球体，实心立方体等都是凸集， 圆环不是凸集。从直观上讲，凸集没有凹入 部分，其内部没有空洞。图1-7中的(a)(b)是凸 集，(c)不是凸集。
二阶条件
定理3: 设在开凸集 D Rn 内 f x 二阶可微，则
(1) f x 是 D内的凸函数的充要条件为，在 D 内任一点 x 处，f x 的海色矩阵Gx半正定,
其中：
2 f x12
2 f
Gx
2
f
x
x2 x1
2 f
xn
x1
2 f
x1 x2 2 f x22
若对任意的 x, y D , 及任意的 0,1
都有：f x 1 y f x 1 f y 则称函数 f x 为凸集 D上的凸函数．
定义5 严格凸函数
注：将上述定义中的不等式反向，可以得到 凹函数的定义．
例1：设 f x x 12 , 试证明 f x 在 ,
上是严格凸函数．
证明: 设 x, y R, 且 x y , 0,1 都有： f x 1 y f x 1 f y
极点
定义1 设 D为凸集，x D, 若 D 中不存在
两个相异的点y , z 及某一实数 0,1 使得 x y 1 z , 则称 x 为 D 的极点．
例：D x Rn x a a 0, 则 x a
上的点均为极点．
• 图中0，Q1,2,3,4都是顶点。
凸函数
定义4 设函数 f x 定义在凸集 D Rn 上，
§ 1.2 凸集和凸函数
一 、凸集
定义1 设S为n维欧氏空间Rn 中一个集合.若对S
中任意两点,联结它们的线段仍属于S.即 对S中任意两点 x（1），x（2）及每个实数 [0，1]，都有
x（1）（1 ）x（2） S
则称S为凸集.
x（1）（1 ）x（2）称为x（1）和x（2）的凸组合 .
• 实心圆，实心球体，实心立方体等都是凸集， 圆环不是凸集。从直观上讲，凸集没有凹入 部分，其内部没有空洞。图1-7中的(a)(b)是凸 集，(c)不是凸集。
01凸优化理论与应用_凸集ppt课件
范数球(norm ball)：
B(xc,r) {x | x xc r}
范数锥(norm cone)：
{(x,t) | x t}
20
多面体(Polyhedra)
多面体： P {x | aTj x bj ,ciT x di}
单纯形(simplex)：
k
k
{ ivi | i 0, i 1, v1 v0,...,vk v0线性无关}
5
凸集
6
仿射集与凸集的联系
x1, x2 C, [0,1],则 x1 (1 )x2 C
所以仿射集一定是凸集
7
凸集
8
9
凸集
凸包的定义：包含集合C的最小的凸集。
k
k
conv C { i xi | xi C,i 0, i 1}
i 1
i 1
i0
i0
21
22
半正定锥(Positive semidefinite cone)
n阶对称矩阵集：
S n {X R nnn | X X T }
n阶半正定矩阵集：
S
n
{X
Sn
|
X
0}
n阶正定矩阵集：
Sn {X nS阶n |半X正凸定锥0矩}！阵集为
12
锥
13
锥包
14
超平面和半空间
超平面(hyperplane) ： {x | aT x b}
半空间(Halfspace)： {x | aT x b} {x | aT x b}
15
超平面
16
半空间
17
欧氏球和椭球
欧氏球(euclidean ball):
B(xc,r) {x | x xc r}
范数锥(norm cone)：
{(x,t) | x t}
20
多面体(Polyhedra)
多面体： P {x | aTj x bj ,ciT x di}
单纯形(simplex)：
k
k
{ ivi | i 0, i 1, v1 v0,...,vk v0线性无关}
5
凸集
6
仿射集与凸集的联系
x1, x2 C, [0,1],则 x1 (1 )x2 C
所以仿射集一定是凸集
7
凸集
8
9
凸集
凸包的定义：包含集合C的最小的凸集。
k
k
conv C { i xi | xi C,i 0, i 1}
i 1
i 1
i0
i0
21
22
半正定锥(Positive semidefinite cone)
n阶对称矩阵集：
S n {X R nnn | X X T }
n阶半正定矩阵集：
S
n
{X
Sn
|
X
0}
n阶正定矩阵集：
Sn {X nS阶n |半X正凸定锥0矩}！阵集为
12
锥
13
锥包
14
超平面和半空间
超平面(hyperplane) ： {x | aT x b}
半空间(Halfspace)： {x | aT x b} {x | aT x b}
15
超平面
16
半空间
17
欧氏球和椭球
欧氏球(euclidean ball):
CAN-File-10-03-11-11-1凸集与凸函数
优化理论
第1讲 凸集与凸函数
凸集
第1讲 凸集与凸函数
优化理论
数学与系统科学学院
第1讲 凸集与凸函数
优化理论
数学与系统科学学院
定义
称 中的集合 C 是凸的(convex)，如果对每个 x, y 及每
个
，点
.
几何解释：连接集合中任两点的线段仍含在该集合中
性质
称集合C是锥(cone)，如果
蕴含着对所有
有
. 若锥 C 还是凸的，称为凸锥(convex cone).
分离闭凸集 C 和非零向量
.
是空集当且仅当存在
使得
第1讲 凸集与凸函数
优化理论
数学与系统科学学院
推论.
给定 中的向量
.
集合
是空集当且仅当存在 使得
第1讲 凸集与凸函数
优化理论
数学与系统科学学院
凸函数
第1讲 凸集与凸函数
优化理论
数学与系统科学学院
定义
定义
相关定义：严格凸函数、凹函数/严格凹函数 命题. 若fi(x), i=1,…,m，是凸集 K 上的凸函数，则它们的非 负线性组合仍然是K上的凸函数. Jensen不等式：见作业1.10
第1讲 凸集与凸函数
优化理论
数学与系统科学学院
一些重要的凸集
超平面(hyperplane): 正/负闭半空间： 多面集(polyhedral convex set): 有限个闭半空间的交集
推 广
平面上：多边形
注：线性规划问题的可行集是多面集！
第1讲 凸集与凸函数
优化理论
数学与系统科学学院
极点
几何上：极点即不能位于连接该集合中其它两点的开线段 上的点
第1讲 凸集与凸函数
凸集
第1讲 凸集与凸函数
优化理论
数学与系统科学学院
第1讲 凸集与凸函数
优化理论
数学与系统科学学院
定义
称 中的集合 C 是凸的(convex)，如果对每个 x, y 及每
个
，点
.
几何解释：连接集合中任两点的线段仍含在该集合中
性质
称集合C是锥(cone)，如果
蕴含着对所有
有
. 若锥 C 还是凸的，称为凸锥(convex cone).
分离闭凸集 C 和非零向量
.
是空集当且仅当存在
使得
第1讲 凸集与凸函数
优化理论
数学与系统科学学院
推论.
给定 中的向量
.
集合
是空集当且仅当存在 使得
第1讲 凸集与凸函数
优化理论
数学与系统科学学院
凸函数
第1讲 凸集与凸函数
优化理论
数学与系统科学学院
定义
定义
相关定义：严格凸函数、凹函数/严格凹函数 命题. 若fi(x), i=1,…,m，是凸集 K 上的凸函数，则它们的非 负线性组合仍然是K上的凸函数. Jensen不等式：见作业1.10
第1讲 凸集与凸函数
优化理论
数学与系统科学学院
一些重要的凸集
超平面(hyperplane): 正/负闭半空间： 多面集(polyhedral convex set): 有限个闭半空间的交集
推 广
平面上：多边形
注：线性规划问题的可行集是多面集！
第1讲 凸集与凸函数
优化理论
数学与系统科学学院
极点
几何上：极点即不能位于连接该集合中其它两点的开线段 上的点
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
空集,¡ n,单点集{x},直线l(x, y)都是仿射集.
2. 凸集与凸函数
设M n,a n,M相对于a的平移为
M+a @{x+a|x M} 则一个仿射集的平移也是仿射集
约定 M-a=M+(-a) 若a∈M,则M-a是子空间.
Th2.1 (1)Rn的子空间是包含原点的仿射集;
(2),对每一非空的仿射集M,存在唯一的子空 间L和向量a∈Rn,使得
2. 凸集与凸函数
Df 2.12，设S( ) n, p n，p 0, x S 若S H {x pT (x x ) 0}或者S H － {x pT (x x ) 0}
则称H {x pT (x x )＝0}是S在x处的支撑超平面，若S H ,
则称H为S在x处的正常支撑超平面。
2. 凸集与凸函数
Th2.2 给定向 | pT x } (2.1)
是Rn中的一个超平面.反之,Rn任一超平面都可表成 上式的形式,且在相差一个非零常数的意义下, (p, )是唯一的. Th2.3 给定矩阵A mn ,向量b n ,则
M {x ¡ n | Ax b}(简记为Ax b) (2.2) 是 n中的一仿射集.反之, n中的每一仿射集 都可表成(2.2)式的形式,即一组超平面的交集.
2. 凸集与凸函数
•可验证,仿射集的交集仍是仿射集
若记 AT (a1, a2 ,..., am ),b (b1,b2,...,bm )T
Hi {x | aiT x bi}.i 1, 2,..., m, 则
M
I
H m
i1 i
Df2.3 给定Rn中集合S,包含S的所有仿射集的交集,
即包含S的最小仿射集称为S的仿射包,记为affS
ァ +
{1,
2,...},
任意的x1,...,
xm
n,
m
有1x1 ... mxm S,其中 i 1, i1
i 0 R,i 1,.., m.
2. 凸集与凸函数
运用定义不难验证如下命题：
命题2.2 设S1和S2为En中两个凸集,是实数,则 1,S1 {x x S1}为凸集。 2，S1 I S2为凸集 3，S1 S2 ={x(1)+x(2) x(1)S1 ,x(2)S2 }为凸集 4，S1 S2 ={x(1)-x(2) x(1)S1 ,x(2)S2 }为凸集
2. 凸集与凸函数
设有xˆ S, x y xˆ y r.
由S为凸集，有 1（x+xˆ） S, 由 Schwartz 不等式 2
y-1（x+xˆ） 1 x y 1 xˆ y r,
2
2
2
再由r的定义 y-1（x+xˆ） 1 x y 1 xˆ y r
2
2
2
y x (y xˆ ) || y x ||| ||| y xˆ ||
Df 2.9 集合T ¡ n的凸包是指所有包含T的凸集的 交集,记为 conv T @ I C,C为凸集.
C T
2. 凸集与凸函数
有限点集{x0, x1,..., xm} ¡ n的凸包称为多胞形。 若{x0,x1,..., xm}仿射无关时，对应的凸包称为m维单纯形。 向量xi称为该单纯形的顶点。
2. 凸集与凸函数
命题2.1 下述断言相互等价. (1) ¡ n中的向量组{x0 , x1 ,..., xm}仿射无关;
(2)¡ n中的向量组{x1 x 0 ,..., xm x 0 }线性无关;
(3)¡ n1中的向量组{(x0 ,1),(x1 ,1),...(xm,1)}线性无关.
设仿射集M aff {x0, x1,...xm},L是平行于M的子空间,则
pTy pTx,x S.
Th2.7 设S( )为¡ n中的闭凸集，y S,则存在p 0 及实数 0，使得对点x S,有 pT y pT x。
2. 凸集与凸函数
证明提纲
x S, ||y-x||=infxS||y-x||
X
(i) (x- x )(y- x)0 对任意 xX.
x
(ii) 令 p=y- x ，
2. 凸集与凸函数
m
Df 2.8 给定m个向量, x1,..., xm ¡ n,以及满足 i 1的 i1
非负实数i R,i 1,..,m,称向量
1x1 ... mxm为{x1,..., xm}的凸组合.
Th2.4 集合S ¡ n是凸集,当且仅当S包含其中任意有限个
元素的凸组合,即对m
M L a @{x a | x L}
2. 凸集与凸函数
•若非空仿射集M=L+a,则a∈M,于是唯一子空间
L可表为 L M M @{x y | x, y M}
Df2.2. 非空仿射集M的维数是指平行于仿射 集M的子空间的维数.
Rn中的n-1维仿射集称为超平面. 设H为一超平面,子空间L平行于H,则L的正交补 空间L是一维的.不妨设p 0是L的一个基,则 L={x ¡ n|xTp=0},a M,有 M L a {x a n | xTp 0} {y n | pTy pTa}
可证, S的仿射包
k
k
affS { i xi | i 1,i R, xi S,i 1,.., k, k ¥ }
i1
i1
2. 凸集与凸函数
Df2.1 Rn中任一集合S的维数定义为它的仿射包 affS的维数,即包含S的仿射集的最小维数. Df 2.5 由m 1个向量组成的向量组x0 , x1 ,...xm 称为是仿射无关的,是指集合{x0 , x1 ,...xm}的维 数为m,即仿射包aff {x 0 , x1 ,...xm}维数是m. 一般,有限点集的仿射包aff {x0 , x1 ,...xm} L x0, L aff {0, x1 x 0 ,...xm x 0 } 是包含{x1 x0 ,...xm x 0 }的最小子空间. L的维数是m x1 x 0 ,...xm x 0线性无关.
于是,由下确界定义知,存在序列{x(k)}, x(k) S, 使得 y x(k) r.
先证{x(k)}存在极限x S.只须证{x(k)}为柯西数列。
x(k) x(m)
2
(x(k) y) (x(m) y) 2
2
x(k) y
2
2
x(m) y
2
(x(k) y) (x(m) y)
2
2. 凸集与凸函数
锥C称为尖锥,若0 S.尖锥称为突出的,若它不包含 一维子空间
• 多面集 {x|Ax0}也是凸锥，称为多面锥。
约定: 非空集合S生成的凸锥,是指可以表示成S中有限个 元素的非负线性组合(称为凸锥组合)的所有点所构成的 集合,记为coneS. 若S凸,则
coneS=K(S) ∪{0}
2. 凸集与凸函数
x M , x 1(x1 x0 ) ... m (xm x0 ) x0
m
=0x0 1x1 ... mxm (其中0 1 i ) i1
表示式唯一 x0, x1,..., xm仿射无关;此时,(0,1,...,m ) 称为x M 相对于向量组(x0, x1,..., xm )的重心坐标.
=p Tp.
x y
p
2. 凸集与凸函数
(1)在连线xx(如图)上取一点x (1 )x,则 y x 2 y (x (1 )x) 2 y x (x x) 2 y x 2 2 x x 2 2(y x)(x x) 由此可得
x x 2 2(y x)(x x) 0 0，则 2(y x)(x x) 0 即 (y x)(x x) 0
2. 凸集与凸函数
•2.1 仿射集
对n维欧氏空间中任意两点x≠y,则通过x和y的直线可表为
l(x,y)={(1-λ)x+λy|λ∈R }
Df 2.1 若集合M ¡ n包含所有的通过其内任意 两点的直线,即x, y M, ¡ ,有
(1-)x +y M 则称M为一个仿射集(仿射流形,仿射子空间)。
正的闭半空间H+ ={x pTx } 负的闭半空间H- ={x pTx } 正的开半空间H&+ ={x pTx } 负的开半空间H&- ={x pTx }
2. 凸集与凸函数
p
p
x-x0 x0 x
x-x0
x
x0
例2.4 集合L={x x=x(0) d， 0}为凸集，其中d为 给定的非零向量，x(0)为定点。 集合L={x x=x(0) d, 0}称为射线,x(0)为射线的顶点
Df 2.13设S n非空，y n,则点y与集合S 之间的距离dist(y,S)定义为 dist（y, S) @inf y-x (2.4)
xS
Th2.5设S为En中的闭凸集，y S,则存在唯一的
点x S,使得 y-x inf y-x xS
2. 凸集与凸函数
证明：令 inf y-x r 0 xS
多面体(polyhedral set)是有限闭半空间的交. (可表为 Axb ). x1
x5
x
x2
x4
y
x3
2. 凸集与凸函数
命题2.3若集合S ¡ n为凸集，则它的闭包S也是凸集。 Df 2.10设有集合C ¡ n,若对每一点x C,当取 任何非负数时，都有x C,称C为锥,又若C为凸 集，则称C为凸锥.
| | 1 1,因否则导出y S,矛盾。
2. 凸集与凸函数
Th2.6.设S ¡ n的非空闭凸集，y S,则点x S为极小化问题 (2.4)的最优解当且仅当( y - x)T (x x) 0
设S为闭凸集，y S,H {x | pTx }为超平面。 H分离点y 若pTy ,则pTx ，x S. 令pTy ，则y与S分离可表为
2. 凸集与凸函数
•2.2 凸集与锥
Df 2.7 设S为n维欧氏空间¡ n中的一个集合。若对 任意两点x(1),x(2) S及每个实数 [0,1],有
2. 凸集与凸函数
设M n,a n,M相对于a的平移为
M+a @{x+a|x M} 则一个仿射集的平移也是仿射集
约定 M-a=M+(-a) 若a∈M,则M-a是子空间.
Th2.1 (1)Rn的子空间是包含原点的仿射集;
(2),对每一非空的仿射集M,存在唯一的子空 间L和向量a∈Rn,使得
2. 凸集与凸函数
Df 2.12，设S( ) n, p n，p 0, x S 若S H {x pT (x x ) 0}或者S H － {x pT (x x ) 0}
则称H {x pT (x x )＝0}是S在x处的支撑超平面，若S H ,
则称H为S在x处的正常支撑超平面。
2. 凸集与凸函数
Th2.2 给定向 | pT x } (2.1)
是Rn中的一个超平面.反之,Rn任一超平面都可表成 上式的形式,且在相差一个非零常数的意义下, (p, )是唯一的. Th2.3 给定矩阵A mn ,向量b n ,则
M {x ¡ n | Ax b}(简记为Ax b) (2.2) 是 n中的一仿射集.反之, n中的每一仿射集 都可表成(2.2)式的形式,即一组超平面的交集.
2. 凸集与凸函数
•可验证,仿射集的交集仍是仿射集
若记 AT (a1, a2 ,..., am ),b (b1,b2,...,bm )T
Hi {x | aiT x bi}.i 1, 2,..., m, 则
M
I
H m
i1 i
Df2.3 给定Rn中集合S,包含S的所有仿射集的交集,
即包含S的最小仿射集称为S的仿射包,记为affS
ァ +
{1,
2,...},
任意的x1,...,
xm
n,
m
有1x1 ... mxm S,其中 i 1, i1
i 0 R,i 1,.., m.
2. 凸集与凸函数
运用定义不难验证如下命题：
命题2.2 设S1和S2为En中两个凸集,是实数,则 1,S1 {x x S1}为凸集。 2，S1 I S2为凸集 3，S1 S2 ={x(1)+x(2) x(1)S1 ,x(2)S2 }为凸集 4，S1 S2 ={x(1)-x(2) x(1)S1 ,x(2)S2 }为凸集
2. 凸集与凸函数
设有xˆ S, x y xˆ y r.
由S为凸集，有 1（x+xˆ） S, 由 Schwartz 不等式 2
y-1（x+xˆ） 1 x y 1 xˆ y r,
2
2
2
再由r的定义 y-1（x+xˆ） 1 x y 1 xˆ y r
2
2
2
y x (y xˆ ) || y x ||| ||| y xˆ ||
Df 2.9 集合T ¡ n的凸包是指所有包含T的凸集的 交集,记为 conv T @ I C,C为凸集.
C T
2. 凸集与凸函数
有限点集{x0, x1,..., xm} ¡ n的凸包称为多胞形。 若{x0,x1,..., xm}仿射无关时，对应的凸包称为m维单纯形。 向量xi称为该单纯形的顶点。
2. 凸集与凸函数
命题2.1 下述断言相互等价. (1) ¡ n中的向量组{x0 , x1 ,..., xm}仿射无关;
(2)¡ n中的向量组{x1 x 0 ,..., xm x 0 }线性无关;
(3)¡ n1中的向量组{(x0 ,1),(x1 ,1),...(xm,1)}线性无关.
设仿射集M aff {x0, x1,...xm},L是平行于M的子空间,则
pTy pTx,x S.
Th2.7 设S( )为¡ n中的闭凸集，y S,则存在p 0 及实数 0，使得对点x S,有 pT y pT x。
2. 凸集与凸函数
证明提纲
x S, ||y-x||=infxS||y-x||
X
(i) (x- x )(y- x)0 对任意 xX.
x
(ii) 令 p=y- x ，
2. 凸集与凸函数
m
Df 2.8 给定m个向量, x1,..., xm ¡ n,以及满足 i 1的 i1
非负实数i R,i 1,..,m,称向量
1x1 ... mxm为{x1,..., xm}的凸组合.
Th2.4 集合S ¡ n是凸集,当且仅当S包含其中任意有限个
元素的凸组合,即对m
M L a @{x a | x L}
2. 凸集与凸函数
•若非空仿射集M=L+a,则a∈M,于是唯一子空间
L可表为 L M M @{x y | x, y M}
Df2.2. 非空仿射集M的维数是指平行于仿射 集M的子空间的维数.
Rn中的n-1维仿射集称为超平面. 设H为一超平面,子空间L平行于H,则L的正交补 空间L是一维的.不妨设p 0是L的一个基,则 L={x ¡ n|xTp=0},a M,有 M L a {x a n | xTp 0} {y n | pTy pTa}
可证, S的仿射包
k
k
affS { i xi | i 1,i R, xi S,i 1,.., k, k ¥ }
i1
i1
2. 凸集与凸函数
Df2.1 Rn中任一集合S的维数定义为它的仿射包 affS的维数,即包含S的仿射集的最小维数. Df 2.5 由m 1个向量组成的向量组x0 , x1 ,...xm 称为是仿射无关的,是指集合{x0 , x1 ,...xm}的维 数为m,即仿射包aff {x 0 , x1 ,...xm}维数是m. 一般,有限点集的仿射包aff {x0 , x1 ,...xm} L x0, L aff {0, x1 x 0 ,...xm x 0 } 是包含{x1 x0 ,...xm x 0 }的最小子空间. L的维数是m x1 x 0 ,...xm x 0线性无关.
于是,由下确界定义知,存在序列{x(k)}, x(k) S, 使得 y x(k) r.
先证{x(k)}存在极限x S.只须证{x(k)}为柯西数列。
x(k) x(m)
2
(x(k) y) (x(m) y) 2
2
x(k) y
2
2
x(m) y
2
(x(k) y) (x(m) y)
2
2. 凸集与凸函数
锥C称为尖锥,若0 S.尖锥称为突出的,若它不包含 一维子空间
• 多面集 {x|Ax0}也是凸锥，称为多面锥。
约定: 非空集合S生成的凸锥,是指可以表示成S中有限个 元素的非负线性组合(称为凸锥组合)的所有点所构成的 集合,记为coneS. 若S凸,则
coneS=K(S) ∪{0}
2. 凸集与凸函数
x M , x 1(x1 x0 ) ... m (xm x0 ) x0
m
=0x0 1x1 ... mxm (其中0 1 i ) i1
表示式唯一 x0, x1,..., xm仿射无关;此时,(0,1,...,m ) 称为x M 相对于向量组(x0, x1,..., xm )的重心坐标.
=p Tp.
x y
p
2. 凸集与凸函数
(1)在连线xx(如图)上取一点x (1 )x,则 y x 2 y (x (1 )x) 2 y x (x x) 2 y x 2 2 x x 2 2(y x)(x x) 由此可得
x x 2 2(y x)(x x) 0 0，则 2(y x)(x x) 0 即 (y x)(x x) 0
2. 凸集与凸函数
•2.1 仿射集
对n维欧氏空间中任意两点x≠y,则通过x和y的直线可表为
l(x,y)={(1-λ)x+λy|λ∈R }
Df 2.1 若集合M ¡ n包含所有的通过其内任意 两点的直线,即x, y M, ¡ ,有
(1-)x +y M 则称M为一个仿射集(仿射流形,仿射子空间)。
正的闭半空间H+ ={x pTx } 负的闭半空间H- ={x pTx } 正的开半空间H&+ ={x pTx } 负的开半空间H&- ={x pTx }
2. 凸集与凸函数
p
p
x-x0 x0 x
x-x0
x
x0
例2.4 集合L={x x=x(0) d， 0}为凸集，其中d为 给定的非零向量，x(0)为定点。 集合L={x x=x(0) d, 0}称为射线,x(0)为射线的顶点
Df 2.13设S n非空，y n,则点y与集合S 之间的距离dist(y,S)定义为 dist（y, S) @inf y-x (2.4)
xS
Th2.5设S为En中的闭凸集，y S,则存在唯一的
点x S,使得 y-x inf y-x xS
2. 凸集与凸函数
证明：令 inf y-x r 0 xS
多面体(polyhedral set)是有限闭半空间的交. (可表为 Axb ). x1
x5
x
x2
x4
y
x3
2. 凸集与凸函数
命题2.3若集合S ¡ n为凸集，则它的闭包S也是凸集。 Df 2.10设有集合C ¡ n,若对每一点x C,当取 任何非负数时，都有x C,称C为锥,又若C为凸 集，则称C为凸锥.
| | 1 1,因否则导出y S,矛盾。
2. 凸集与凸函数
Th2.6.设S ¡ n的非空闭凸集，y S,则点x S为极小化问题 (2.4)的最优解当且仅当( y - x)T (x x) 0
设S为闭凸集，y S,H {x | pTx }为超平面。 H分离点y 若pTy ,则pTx ，x S. 令pTy ，则y与S分离可表为
2. 凸集与凸函数
•2.2 凸集与锥
Df 2.7 设S为n维欧氏空间¡ n中的一个集合。若对 任意两点x(1),x(2) S及每个实数 [0,1],有