凸优化理论

第一章 凸集1、仿射集1.1、定义：任意 x 1,x 2∈C 以及 θ∈R 都有θx 1+(1−θ)x 2∈C ；直观上，如果两点在仿射集内，那么通过任意两点的直线位于其内；1.2、仿射集的关联子空间：如果是C 仿射集，且x 0∈C ，则集合 V =C −x 0={x −x 0|x ∈C } 是一个子空间（关于加法和数乘封闭）,因此仿射集可以表示为一个子空间加上一个偏移，C =V +x 0={v +x 0|v ∈V }，x 0可以是C 中任意一点；定义C 的维数为子空间V 的维数（向量基的个数）;1.3、线性方程组 Ax =b 的解集:等价于仿射集且其关联的子空间是就是的 A 的零空间即ker (A )= {x|Ax =0};1.4、仿射组合：如果θ1+⋯+θk =1，称θ1x 1+⋯+θk x k 为x 1,⋯,x k 的仿射组合；如果C 是仿射集，x 1,⋯,x k ∈C ，且θ1+⋯+θk =1，那么θ1x 1+⋯+θk x k ∈C ；集合C 是仿射集⟺集合包含其中任意点的仿射组合；1.5、仿射包：集合C 中的点的所有仿射组合组成的集合记为C 的仿射包aff C ={θ1x 1+⋯+θk x k |x 1,⋯,x k ∈C ，θ1+⋯+θk =1}；仿射包 aff C 是包含 C 的最小的仿射集合；1.6、仿射维数：集合仿射维数为其仿射包维数, 即仿射包相关联子空间的维数，即是其子空间最大线性无关基；如果集合C ⊂R n 的仿射维数小于n ， 那么这个集合在仿射集合 aff C ≠R n 中;1.7、集合相对内部：定义为 aff C 的内部，记为relint C ， 即relint C ={x ∈C | ∃r >0,B (x,r )∩aff C ⊆C };集合内部：由其内点构成，内点为{x ∈C | ∃r >0,B (x,r )⊆C };1.8、集合的相对边界：集合C 的相对边界定义 cl C\relint C 为，cl C 为C 的闭包；集合C 的边界定义为{x ∈C | ∀δ>0,B (x,r )∩C ≠∅,B (x,r )∩C c ≠∅};------------------------------------------------------------------------------------------------------------------------------2.凸集：如果x 1，x 2∈C ，0≤θ≤1，都有θx 1+(1−θ)x 2∈C ；直观上，如果两点在凸集内，则两点间的线段也在凸集内；仿射集是凸集；2.1、凸组合：如果θ1+⋯+θk =1，θi ≥0，i =1,⋯,k ，称θ1x 1+⋯+θk x k 为x 1,⋯,x k 的凸组合；点的凸组合可以看做他们的混合或加权平均，θi 代表混合时 x i 所占的份数。

如果点在凸集内，则它们的凸组合仍在凸集内；C 是凸集⟺集合包含其中所有点的凸组合；2.2、集合的凸包：集合C 中所有点的凸组合， conv C = {θ1x 1+⋯+θk x k | x i ∈C,θi ≥0,i =1,⋯,k, θ1+⋯+θk =1 }; C 的凸包是包含C 的最小凸集；2.3、无穷级数的凸组合：假设x 1，x 2，⋯∈C ，并且θi ≥0， ∑θi =1∞i=1， i =1、2、⋯，C ⊆R n 为凸集，那么若下面的级数收敛，那么∑θi x i ∈C ∞i=12.4、积分的凸组合：假设 p: R n →R 对所有x ∈C 满足p (x )≥0，并且∫p (x )dx =1C,其中C ⊆R n 为凸集， 那么如果下面积分存在，则：∫p (x )xdx ∈C C; 2.5、概率的凸组合：假设x 是随机变量，C ⊆R n 为凸集，并且x ∈C 的概率为1,p (xi )=θi ，∑θi =1N i=1,那么Ex =C ；----------------------------------------------------------------------------------------------------------------------------------3锥：如果对于任意x ∈C 和θ≥0，都有θx ∈C ，称集合C 为锥；直观上如果点在锥中，那么以原点为端点过该点的射线在锥中；3.1、凸锥：集合C 是锥，并且是凸的，则称C 为凸锥，即对于任意x 1，x 2∈C 和θ1，θ2≥0，都有θ1x 1+θ2x 2∈C 直观上，如果两点在凸锥中，那么以原点为端点，以过两点的两条射线为边界的扇形面在凸锥中；3.2、锥组合：具有θ1x 1+⋯+θk x k ，θi ≥0,i =1,⋯,k,形式的点称为的锥组合（或非负线性组合）；如果x i 均属于凸锥C ，那么的每一个锥组合也在C 中；集合C 是凸锥 ⟺ 它包含其元素的所有锥组合；3.3、锥包：集合C 的锥包是C 中所有元素的锥组合的集合；---------------------------------------------------------------------------------------------------------------------------------- 凸集的例子：空集、单点集、全集R n 都是R n 的仿射子集；线段是凸的，但不是仿射的；射线是凸的，不是仿射的，不是锥（除非端点是零点）；直线是仿射的，自然是凸的；如果通过零点，则是锥，并且是凸锥；子空间是仿射的、凸锥(满足对加法、数乘封闭、含零元)；超平面：{x | a T x =b }，其中a ∈R n ，a ≠0且b ∈R n ；⟺{x | a T (x −x 0)=0}⇔x 0+a ⊥，a ⊥={x | a T v =0}，x 0在超平面上；闭的半空间：非平凡线性不等式的解空间，{x | a T x ≤b }，半空间是凸的，但不是仿射的，也不是锥；半空间边界、内部：{x | a T x =b }、{x | a T x <b }；Euclid 球：欧几里得球是凸集：B (x C ,r )={x | ‖x −x C ‖≤r }={x | (x −x C )T (x −x C )≤r 2}⟺{x C +r ∗u | ‖u ‖2≤1}； 椭球：椭球是凸集： ε={x | (x −x C )T P −1(x −x C )≤1}⟺{x C +A ∗u | ‖u ‖2≤1}，P =P T >0对称正定矩阵， 决定椭球从x C 各个方向扩展的幅度；半轴长度有√λi 给出；A 正半定矩阵；若为奇异矩阵，椭球退化，即 一些维度上半轴长为零，这时其仿射维数等于A 的秩，退化的椭球也是凸的；范数球、范数锥：它们是凸集，范数锥：C ={(x,t ) | ‖x ‖≤t ，t ≥0}⊆R n+1；如二阶锥（二次锥）{(x,t ) | ‖x ‖2≤t }⊆R 3； ----------------------------------------------------------------------------------------------------------------------------------4.多面体：有限个线性等式和不等式的解集：P ={x | a j T x ≤b j ，j =1,…,m,c j T x ≤d j ，j =1,…,m};因此多面体是有限个半空间和超平面的交集；仿射集合（如子空间、超平面、直线）、射线、线段、半空间都是多面体；多面体是凸集；有界多面体也称为多胞形<=>有限集合的凸包；多面体可以表示为P ={x | Ax ≤b ，Cx =d}，b 、d 为向量；4.1、单纯形（一种多面体）：点描述法设k+1个点v 0，⋯，v k 仿射独立，即v 1−v 0，⋯，v k −v 0，线性独立，那么这些点决定了一个单纯形：C =Conv {v 0，⋯，v k }={θ0v 0+⋯+θk v k | θ≥0，1T θ=1}，这个集合的仿射维数（它的仿射闭包的维数），即是cl C −v 0={θ1(v 1−v 0)+⋯+θk (v k −v 0)| θ≥0，1T θ=1}空间的维数，显然它的一个基就是v 1−v 0，⋯，v k −v 0，即集合的仿射维数为k ；单纯形是凸集、并且是多面体，一般称k 维单纯形（k+1个仿射独立点生成的凸包）；4.2、常见的单纯形:1维单纯形是一条空间线段（1个基向量，2个空间点）；2维单纯形是一个空间三角形（含其内部）（2个基向量，3个空间点）；3维单纯形是一个四面体（3个基向量，4个空间点）；4.3、单位单纯形：由零向量0和单位向量 e 1，…，e n ∈ R n 决定的n 维单纯形，它可以表示为满足下列条件的向量的集合：x ≥0 ,1T x ≤1 ;4.4、概率单纯形：由单位向量 e 1，…，e n ∈ R n 决定的n-1维单纯形，它是满足下列条件的向量集合：x ≥0 ,1T x =1 ; 概率单纯形中的每个向量对应于随机变量n 个取值对应的一个概率分布，x i 可理解为第i 个元素的概率；4.5、单纯形的多面体描述法C 是单纯形，x ∈C 充要条件是，对于某些θ≥0，1T θ=1，有x =θ0v 0+⋯+θk v k ;⟺x =v 0+By ，其中B =[v 1−v 0，⋯，v k −v 0]∈ Rn×k ，y =(θ1，⋯，θk )T ， 显然y ≥0 ,1Ty ≤1，B 的秩为k ；因此存在非奇异矩阵A =(A 1，A 2)T 使得AB =(A 1，A 2)T B =(I ，0)T ,则: Ax =(A 1，A 2)T x =((A 1x )T ，(A 2x )T)T =A (v 0+By )=Av 0+ABy =(A 1，A 2)T v 0+(I ，0)T y =((A 1v 0)T ，(A 2v 0)T )T +(y T ，0)T =((A 1v 0+y )T ，(A 2v 0)T)T 显然： x ∈C ⟺y =A 1x −A 1v 0 且A 2x =A 2v 0⟺A 1x ≥A 1v 0且A 2x =A 2v 0且1T A 1x ≤1+1T A 1v 0；这里A 的选择与v 0，⋯，v k 有关；4.6、多面体：凸包描述法有限集合{v 0，⋯，v k }的凸包是：conv {v 0，⋯，v k }={θ1v 1+⋯+θk v k | θ≥0，1T θ=1}是一个有界多面体，但是无法用线性不等式和不等式的集合将其表示；凸包表达式的一个扩展：{θ1v 1+⋯+θk v k | θ≥0， θ1+⋯+θm =1，m ≤k },其意义是v 0，⋯，v m 的凸包加上v m+1，⋯，v k 的锥包，定义了一个多面体，反之每个多面体也都可以表示为此类形式；仿射集是凸集；多面体是凸集；仿射集是多面体；单纯形（特殊多面体）是凸集，可以给出线性等式和不等式表示；多面体（使用线性等式和不等式组定义）等价于凸包，无法给出线性等式和不等式表示；有限集的凸包是有界多面体，无法给出线性等式和不等式表示；5.保凸运算：用以从凸集构造出其他凸集；5.1、求交集：无穷多个凸集的交是凸集；5.2、仿射映射：f:R n →R m ,且f (x )=Ax +b ,若S 是凸的，那么f (S )是凸的；反之成立；伸缩、平移、投影是仿射映射；凸集的和、直积是凸的，凸集的投影是凸的，凸集的部分和是凸的；注意：f (x )=(Ax +b ，A ′x +b ′)也是仿射函数；线性矩阵不等式的解：A (x )=x 1A 1+⋯+x n A n ≤B ，是凸集；双曲锥：{x|x T Px ≤(c T x)2,c T x ≥0,P ∈S +n ,c ∈R n },是凸集； 5.3、透视映射：P: R n+1→R n ，P (z,t )=z/t ，定义域为R n ×R ++，如果C 是凸集，那么P (C )是凸集； 反之成立；5.4、线性分式映射：g: R n →R m+1是仿射的，g (x )=(A,C T )T x +(b,d )T 其中A ∈R m×n ,b ∈R m ,c ∈R n 并且d ∈R ,那么 f ：R n →R m ，f =P°g, f (x )=(Ax +b )(c T x +d)⁄是线性分式（投射）函数, 定义域{x|c T x +d >0}，P 是透视函数；同样象与原象的凸性可以互推；线性分式映射的应用：条件概率，设u 和v 是分别在{1，⋯，n}和{1，⋯，m}中取值的随机变量，并且p ij 表示概率prob (u =i,v =j )。