02工程优化 第2章基础知识HESSE矩阵凸集凸函数
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
f x0 p f x0 l T p 0 得 若 f 在 x0 处可微, 令p=x-x0, 由 lim0 p p
f x f x0 f x0 ( x x0 ) o x x0
T
(5)
这与一元函数展开到两项的 Taylor 公式是相对应的。
T
x f x0 f 0 f x0 l 0 p f p x 利用方向导数定义并将上式中的fp 换成 te f (3) = x0 l , , , lim 0, 有：
T
T
x1 x2 p xn T f x0 f x0 p f x0 tf x0 e o t T lim lim f x0 e. t 0 t 0 p t t
设 x1 x1 , x2 x2 ,xn xn 是过点 x0 同时又完全在等值面（6）
f x1 , x2 ,xn r0
f x1 , x2 ,xn r0
两边同时在 0 处关于 求导数，根据求导的链式法则有：
则
f x0 t 0 0
T
f x f x f x f x , , x1 x2 xn
f x0
T
即函数f(x) 在 x0 处的梯度 f x0 与过该点在等值面上的任一条曲
线L在此点的切线垂直。
f x0 f x0 f x0 l , , , x1 x2 xn
T
证明：令 l (l1 , l2 ,, ln )T，依次取 p i ei , i 1,2,, n, i R
f 在
x0 处可微，则 (3) 对 p i ei 成立，
f x0 i ei f x0 li i o i , i 1, 2,, n f x0 p f x0 l T p 两边除以 i 并取 0 的极限有： lim i 0, (3) p 0 p
f x0 i ei f x0 f x0 lim li , i 1, 2,, n 0 i i xi
存在, 则称此极限为函数 的偏导数，记为 注意:(1)式也可写为
f x f x tei f x lim , t 0 xi t
z f (x) 在点 x 对第i个分量 xi
其中 ei (0,...,1,...,0)T .
二元函数的可微性
定义（可微）: 高数中二元函数的可微性定义： 如果函数 z = f(x1, x2)在定义域 D 的内点(x1,x2)处全增量 可表示成
p 0
容易看到：当 f x0
T
面证明即知 p 为下降方向。
f x0 T p 0 时 ，有 f x0 e 0, 由前 p
多元函数梯度的性质
推论：若 f x0 p 0，则 p 是函数 f (x) 在 x0 处的下降方向。
T
若f x0 p 0，则 p 是函数 f(x) 在 x0 处的上升方向。
T
f x0 T 向量内积 由于 f x0 e f x0 cos ,β为方向 p 与 f x0 p
的夹角。
当夹角为0 (β=0o) ，即沿梯度方向( p f x0 )时， 方向导数取得最大值 f x0 ； 当夹角为180o (β=180o) ，即沿负梯度方向( p f x0 )时， 方向导数取得最小值 f x0 。 可见梯度方向即为函数的最速上升方向； 负梯度方向即为函数的最速下降方向。 从而梯度方向是函数具有最大变化率的方向，性质2成立。
记 x ( x1, x2 )T , x (x1, x2 )T , l ( A, B)T R2 ,
f x x f x l T x lim 0 x 0 x
(2)Biblioteka 二元函数的可微性定理（可微必可导） 若函数 z = f (x1, x2) 在点(x1, x2) 可微，则 该函数在该点偏导数 必存在, 且有
z A x1 B x2 o( ) ,
其中 A , B 不依赖于 x1 , x2 , 仅与 x1 , x2 有关，则称函数
f (x1, x2 ) 在点(x1,x2)可微，Ax1 Bx2 称为函数 f ( x1 , x2 )
在点 (x1, x2) 的全微分, 记作 d z d f Ax1 B x2
多元函数梯度的性质
f x0 0, 则f(x) 从 x0出发在 x0 附近沿p方向是下降的。 若 p f x0 0, 则f(x) 从 x0出发在 x0 附近沿p方向是上升的。 若 p
方向导数正负决定了函数升降; 升降速度的快慢由方向导数绝对值大小来决定，绝对值越 大升降速度越大; f x0 因此又将方向导数 称为f(x) 在 x0 处沿方向p的变化 p 率。
若函数在域 D 内各点都可微, 则称此函数在D 内可微.
二元函数的可微性
定义(可微): 高数中二元函数的可微性定义： 定义中增量的表达式
z A x1 B x2 o( ) ,
等价于
( x1 , x2 ) 0
lim
f x1 x1 , x2 x2 f x1 , x2 Ax1 Bx2 0 (x1 , x2 )
z z T 即 l ( A, B) ( , ) x1 x2
T
z z dz x1 x2 x1 x2
z z T ) 是函数 z = f (x1, x2) 在点(x1, x2) 的梯度。 称向量 l ( , x1 x2
f x x f x l T x lim 0 (2) x 0 x
f x0 f x0 p f x0 f x0 te f x0 lim lim t 0 t 0 p t t x0 处沿方向p的方向导数，记为， f x0 为函数f(x) 在点 p f x0 0, 当t＞0充分小时，有 f x0 te f x0 0, 注：若 p t f x0 te f x0 , 则f(x) 从 x0出发在 x0附近沿p方向是下降的。 f x0 te f x0 即 lim <0 t 0 f x t 若 0 0, 则f(x) 从 x0出发在 x0附近沿p方向是上升的。 p
多元函数梯度的性质
上升方向
变化率为0方向
f x0
x0
f x0
下降方向
我们有结论： 函数在与其梯度
• 正交的方向上变化率为 0 ；
• 成锐角的方向上是上升的 ； • 成钝角的方向上是下降的。
f x f x 6 x1 4 x2 , 4 x1 2 x2 , 则函数在 x 0 (0,1)T处的 解：由于 x1 x2 最速下降方向是 f x x1 6 x1 4 x2 4 p f x0 x 0 2 f x 4 x1 2 x2 1 x2 1 x2 x1 0 x2 1 4 2 5 2 5 此方向上的单位向量是： f x0 e 2 2 f x0 4 2 1 5 5 2 2 2 5 5 f x1 3x12 4 x1 x2 x2 |x1 0 5 5 1 0 新点是 x x e 26 1 1 1 2 5 5 1 5 5 5 5 f (x 0 ) 1
f x0 f x0 f x0 x1 0 x2 0 xn 0 0 x1 x2 xn
T
(7)
向量 t 0 x1 0 , x2 0 , xn 0 恰为曲线 L 在 0 处的切向量，
多元函数梯度的性质
x0 处可微， 则 f x0 f x0 T e, 其 定理2：若 f : R R 在点 p 中e 为p方向上的单位向量。
n 1
证明：f在 x0 可微，则根据可微定义，
f x0 p f x0 l p o p
T
f x0 f x0 p o p
(3)
则称 f(x) 在 x0 处可微。 与二元函数可微的等 价形式类似引入
f x x f x l T x lim 0 x 0 x
(2)
多元函数的可微性
定理（可微必可导）: 若 f ( x) 在 x0 处可微，则 f ( x) 在该点处关 于各变量的一阶偏导数存在，且
多元函数的梯度
定义（梯度）: 以 f ( x) 的 n 个偏导数为分量的向量称为 f(x) 在x 处的梯度。 记为
f x f x f x f x , , x1 x2 xn
T
(4)
梯度也可称为函数 f(x)关于向量x 的一阶导数。
可微 二元 多元
多元函数的可微性
给定区域D上的 n 元实值函数
f : D Rn R1
定义（多元函数的可微性）：设 f : D Rn R1, x0 D
n 若 l Rn , 使 p R ,有：
f x0 p f x0 l T p lim 0, p 0 p
多元函数梯度的性质
设 f(x) 在定义域内有连续偏导数，即有连续梯度 f x ，则 梯度有以下两个重要性质： 性质1: 函数在某点的梯度不为零，则必与过该点的等值面垂 直。 性质2: 梯度方向是函数具有最大变化率的方向。 性质1的证明:过点 x0 的等值面方程为： f x1 , x2 , xn r0 , r0 f x 0 (6) 上的任一条光滑曲线L的方程， 为参数，点 x0 对应的参数就是0 . 把此曲线方程代入(6),得到
从而与过该点的切平面垂直，性质1成立。
t 0
f x f ( x0 )
多元函数梯度的性质
为说明性质2: 梯度方向是函数具有最大变化率的方向 0 引进方向导数
定义(方向导数): 设 f : R n R1 在点x处可微，p=te为固定向量，
其中t是向量p的模，e 为向量 p的单位向量，则称极限：
第2章 基础知识
• 多元函数的梯度及其Hesse矩阵 • 等高线 • 二次函数 • 多元函数的极值及其判别条件
• 凸集、凸函数、凸规划
• 几个重要的不等式
多元函数的梯度及其Hesse矩阵
n元函数：
f ( x) : Rn R
n T
f n元线性函数： ( x) c x b ci xi b i 1 1 T T n元二次函数： f ( x) x Qx c x b 2 n 1 n n qij xi x j ci xi b 2 i1 j 1 i 1
n元向量值线性函数：
F ( x) ( f1 ( x),..., f m ( x))T Ax d R m
其中 fi ( x) aiT x di .
多元函数的偏导数
定义(偏导数)
设函数 z f (x) 在点
x 的某邻域内极限
(1)
f x1 ,..., xi xi ,...xn f x1,..., xi ,..., xn lim xi 0 xi
f x f x0 f x0 ( x x0 ) o x x0
T
(5)
这与一元函数展开到两项的 Taylor 公式是相对应的。
T
x f x0 f 0 f x0 l 0 p f p x 利用方向导数定义并将上式中的fp 换成 te f (3) = x0 l , , , lim 0, 有：
T
T
x1 x2 p xn T f x0 f x0 p f x0 tf x0 e o t T lim lim f x0 e. t 0 t 0 p t t
设 x1 x1 , x2 x2 ,xn xn 是过点 x0 同时又完全在等值面（6）
f x1 , x2 ,xn r0
f x1 , x2 ,xn r0
两边同时在 0 处关于 求导数，根据求导的链式法则有：
则
f x0 t 0 0
T
f x f x f x f x , , x1 x2 xn
f x0
T
即函数f(x) 在 x0 处的梯度 f x0 与过该点在等值面上的任一条曲
线L在此点的切线垂直。
f x0 f x0 f x0 l , , , x1 x2 xn
T
证明：令 l (l1 , l2 ,, ln )T，依次取 p i ei , i 1,2,, n, i R
f 在
x0 处可微，则 (3) 对 p i ei 成立，
f x0 i ei f x0 li i o i , i 1, 2,, n f x0 p f x0 l T p 两边除以 i 并取 0 的极限有： lim i 0, (3) p 0 p
f x0 i ei f x0 f x0 lim li , i 1, 2,, n 0 i i xi
存在, 则称此极限为函数 的偏导数，记为 注意:(1)式也可写为
f x f x tei f x lim , t 0 xi t
z f (x) 在点 x 对第i个分量 xi
其中 ei (0,...,1,...,0)T .
二元函数的可微性
定义（可微）: 高数中二元函数的可微性定义： 如果函数 z = f(x1, x2)在定义域 D 的内点(x1,x2)处全增量 可表示成
p 0
容易看到：当 f x0
T
面证明即知 p 为下降方向。
f x0 T p 0 时 ，有 f x0 e 0, 由前 p
多元函数梯度的性质
推论：若 f x0 p 0，则 p 是函数 f (x) 在 x0 处的下降方向。
T
若f x0 p 0，则 p 是函数 f(x) 在 x0 处的上升方向。
T
f x0 T 向量内积 由于 f x0 e f x0 cos ,β为方向 p 与 f x0 p
的夹角。
当夹角为0 (β=0o) ，即沿梯度方向( p f x0 )时， 方向导数取得最大值 f x0 ； 当夹角为180o (β=180o) ，即沿负梯度方向( p f x0 )时， 方向导数取得最小值 f x0 。 可见梯度方向即为函数的最速上升方向； 负梯度方向即为函数的最速下降方向。 从而梯度方向是函数具有最大变化率的方向，性质2成立。
记 x ( x1, x2 )T , x (x1, x2 )T , l ( A, B)T R2 ,
f x x f x l T x lim 0 x 0 x
(2)Biblioteka 二元函数的可微性定理（可微必可导） 若函数 z = f (x1, x2) 在点(x1, x2) 可微，则 该函数在该点偏导数 必存在, 且有
z A x1 B x2 o( ) ,
其中 A , B 不依赖于 x1 , x2 , 仅与 x1 , x2 有关，则称函数
f (x1, x2 ) 在点(x1,x2)可微，Ax1 Bx2 称为函数 f ( x1 , x2 )
在点 (x1, x2) 的全微分, 记作 d z d f Ax1 B x2
多元函数梯度的性质
f x0 0, 则f(x) 从 x0出发在 x0 附近沿p方向是下降的。 若 p f x0 0, 则f(x) 从 x0出发在 x0 附近沿p方向是上升的。 若 p
方向导数正负决定了函数升降; 升降速度的快慢由方向导数绝对值大小来决定，绝对值越 大升降速度越大; f x0 因此又将方向导数 称为f(x) 在 x0 处沿方向p的变化 p 率。
若函数在域 D 内各点都可微, 则称此函数在D 内可微.
二元函数的可微性
定义(可微): 高数中二元函数的可微性定义： 定义中增量的表达式
z A x1 B x2 o( ) ,
等价于
( x1 , x2 ) 0
lim
f x1 x1 , x2 x2 f x1 , x2 Ax1 Bx2 0 (x1 , x2 )
z z T 即 l ( A, B) ( , ) x1 x2
T
z z dz x1 x2 x1 x2
z z T ) 是函数 z = f (x1, x2) 在点(x1, x2) 的梯度。 称向量 l ( , x1 x2
f x x f x l T x lim 0 (2) x 0 x
f x0 f x0 p f x0 f x0 te f x0 lim lim t 0 t 0 p t t x0 处沿方向p的方向导数，记为， f x0 为函数f(x) 在点 p f x0 0, 当t＞0充分小时，有 f x0 te f x0 0, 注：若 p t f x0 te f x0 , 则f(x) 从 x0出发在 x0附近沿p方向是下降的。 f x0 te f x0 即 lim <0 t 0 f x t 若 0 0, 则f(x) 从 x0出发在 x0附近沿p方向是上升的。 p
多元函数梯度的性质
上升方向
变化率为0方向
f x0
x0
f x0
下降方向
我们有结论： 函数在与其梯度
• 正交的方向上变化率为 0 ；
• 成锐角的方向上是上升的 ； • 成钝角的方向上是下降的。
f x f x 6 x1 4 x2 , 4 x1 2 x2 , 则函数在 x 0 (0,1)T处的 解：由于 x1 x2 最速下降方向是 f x x1 6 x1 4 x2 4 p f x0 x 0 2 f x 4 x1 2 x2 1 x2 1 x2 x1 0 x2 1 4 2 5 2 5 此方向上的单位向量是： f x0 e 2 2 f x0 4 2 1 5 5 2 2 2 5 5 f x1 3x12 4 x1 x2 x2 |x1 0 5 5 1 0 新点是 x x e 26 1 1 1 2 5 5 1 5 5 5 5 f (x 0 ) 1
f x0 f x0 f x0 x1 0 x2 0 xn 0 0 x1 x2 xn
T
(7)
向量 t 0 x1 0 , x2 0 , xn 0 恰为曲线 L 在 0 处的切向量，
多元函数梯度的性质
x0 处可微， 则 f x0 f x0 T e, 其 定理2：若 f : R R 在点 p 中e 为p方向上的单位向量。
n 1
证明：f在 x0 可微，则根据可微定义，
f x0 p f x0 l p o p
T
f x0 f x0 p o p
(3)
则称 f(x) 在 x0 处可微。 与二元函数可微的等 价形式类似引入
f x x f x l T x lim 0 x 0 x
(2)
多元函数的可微性
定理（可微必可导）: 若 f ( x) 在 x0 处可微，则 f ( x) 在该点处关 于各变量的一阶偏导数存在，且
多元函数的梯度
定义（梯度）: 以 f ( x) 的 n 个偏导数为分量的向量称为 f(x) 在x 处的梯度。 记为
f x f x f x f x , , x1 x2 xn
T
(4)
梯度也可称为函数 f(x)关于向量x 的一阶导数。
可微 二元 多元
多元函数的可微性
给定区域D上的 n 元实值函数
f : D Rn R1
定义（多元函数的可微性）：设 f : D Rn R1, x0 D
n 若 l Rn , 使 p R ,有：
f x0 p f x0 l T p lim 0, p 0 p
多元函数梯度的性质
设 f(x) 在定义域内有连续偏导数，即有连续梯度 f x ，则 梯度有以下两个重要性质： 性质1: 函数在某点的梯度不为零，则必与过该点的等值面垂 直。 性质2: 梯度方向是函数具有最大变化率的方向。 性质1的证明:过点 x0 的等值面方程为： f x1 , x2 , xn r0 , r0 f x 0 (6) 上的任一条光滑曲线L的方程， 为参数，点 x0 对应的参数就是0 . 把此曲线方程代入(6),得到
从而与过该点的切平面垂直，性质1成立。
t 0
f x f ( x0 )
多元函数梯度的性质
为说明性质2: 梯度方向是函数具有最大变化率的方向 0 引进方向导数
定义(方向导数): 设 f : R n R1 在点x处可微，p=te为固定向量，
其中t是向量p的模，e 为向量 p的单位向量，则称极限：
第2章 基础知识
• 多元函数的梯度及其Hesse矩阵 • 等高线 • 二次函数 • 多元函数的极值及其判别条件
• 凸集、凸函数、凸规划
• 几个重要的不等式
多元函数的梯度及其Hesse矩阵
n元函数：
f ( x) : Rn R
n T
f n元线性函数： ( x) c x b ci xi b i 1 1 T T n元二次函数： f ( x) x Qx c x b 2 n 1 n n qij xi x j ci xi b 2 i1 j 1 i 1
n元向量值线性函数：
F ( x) ( f1 ( x),..., f m ( x))T Ax d R m
其中 fi ( x) aiT x di .
多元函数的偏导数
定义(偏导数)
设函数 z f (x) 在点
x 的某邻域内极限
(1)
f x1 ,..., xi xi ,...xn f x1,..., xi ,..., xn lim xi 0 xi