最优化方法课件014
最优化方法课程PPT

∞
表示
= max { xi }
x 1 = ∑ xi
x 2 = (∑ x
1 2 2 i
)
7
二、数学预备知识
范数的内积 范数不等式
x y = ∑ xi yi
T i =1 n
x+ y ≤ x + y
三角不等式 柯西不等式
x0 = ( x1 ( 0 ) , x2 ( 0 ) ,..., xn ( 0 ) )
() () ()
4
一、最优化方法的基本概念
(2) 非线性规划 非线性规划(Nonlinear Programming, NLP)
f(x),Ci(x) ( i ∈ E U I ),其中之一均为线性函数 ,
(3) 无约束最优化问题 Unconstraint Optimization Problem) 无约束最优化问题(
λ)x(2)
x(2)
x
17
二、数学预备知识
(3) 凸函数的判定准则 一阶判定条件: 在凸集S上具有一阶连续偏导数 一阶判定条件: f(x)在凸集 上具有一阶连续偏导数,则 在凸集 上具有一阶连续偏导数, f(x)为S上凸函数的充要条件是 为 上凸函数的充要条件是
f x
f(x)
( ) ≥ f ( x ) + ∇f ( x ) ( x ( ) − x ( ) )
x
2 21 1
没有约束条件C 没有约束条件 i(x)
5
一、最优化方法的基本概念
4 数学规划模型的分类 主要是针对决策变量x 来进行分类: 主要是针对决策变量 1, x2,…xn来进行分类:
连续型 离散型
线性规划 LP (有、无约束 有 无约束)
非线性规划NLP 非线性规划 (有、无约束 有 无约束)
最优化理论与方法概述 ppt课件

PPT课件
17
3、 多元函数的Taylor展开
多元函数Taylor展开式在最优化理论中十分重要。 许多方法及其收敛性的证明都是从它出发的。
定理:设 f : Rn R具1 有二阶连续偏导数。则:
g* f (x*) 0,G* 2 f (x*)半正定
PPT课件
24
5、凸集、凸函数和凸规划
凸集和凸函数在非线性规划的理论中具有重要作用,下面 给出凸集和凸函数的一些基本知识。
定义1 设 D Rn,若对D中任意两点 x(1)与 x(2),连接 x(1)
与 x(2) 的线段仍属于D;换言之,对 x(1),x(2)∈D,
配料
每磅配料中的营养含量
钙
蛋白质
纤维
石灰石 谷物 大豆粉
0.380 0.001 0.002
0.00
0.00
0.09
0.02
0.50 PPT课件
0.08
每磅成本(元)
0.0164 0.0463 0.1250 4
解:根据前面介绍的建模要素得出此问题的数学模型如下:
设 x1 x2 x3 是生产100磅混合饲料所须的石灰石、谷物、
2 f 0 x1x3
故Hesse阵为:
2 f x22
2,
2 f 2, x2x3
2 f x32Leabharlann 2 2 2 0 2 f X 2 2 2
0 2 2
PPT课件
16
下面几个公式是今后常用到的:
(1)f X bT X ,则 f X b. 2 f X 0nn
2 f X
《最优化方法》课件

5
2. 学习本课程所需的数学知识
向量、向量的模(范数)、向量的运算、 线性相关与无关、基. 矩阵的运算及性质、矩阵的秩、特征值、正定性。 向量函数、连续性、可微性、 梯度、海森矩阵、向量函数(多元函数)的Taylor定 理
6
3. 学习要求
掌握主要的优化模型的数学计算方法. 了解优化方法的数学原理. 了解现代优化方法. 熟练掌握应用数学软件计算优化问题.
3
二次大战以后,在军事运筹小组中工作过的一部分科 学家开始转入民用部门,他们把对军事系统最优化的研究 成果拓展到各种民用系统的研究上。
1947年美国数学家G.B.Dantzig在研究美国空军资源 配置时,提出了求解线性规划的有效方法—单纯形法。二 十世纪五十年代初,应用计算机求解线性规划获得成功。
2
运筹学这一名词最早出现于1938年。当时英,美等国盟军 在与德国的战争中遇到了许多错综复杂的战略和战术问题难以 解决,比如
(1)防空雷达的布置问题:
(2)护航舰队的编队问题:
为了应付上述各种复杂问题,英美等国逐批召集不同专业 背景的科学家,在三军组织了各种研究小组,研究的问题都是 军事性质的,在英国称为“Operational Research”,其他英语 国家称为“Operations Research”,意思是军事行动研究。这些 研究小组运用系统优化的思想,应用数学技术分析军事问题, 取得了非常理想的效果。
至五十年代末,一些工业先进国家的大型企业已经较 普遍地使用运筹学方法解决在生产经营管理中遇到的实际 问题,并取得了良好的效果,至六十年代中期,运筹学开 始应用于一些服务性行业和公用事业。
4
我国运筹学的研究始于五十年代中期,当时由钱学森教 授将运筹学从西方国家引入我国,以华罗庚教授为首的一大 批科学家在有关企事业单位积极推广和普及运筹学方法,在 建筑,纺织,交通运输,水利建设和邮电等行业都有不少应 用。关于邮递员投递的最佳路线问题就是由我国年轻的数学 家管梅谷于1962年首先提出的,在国际上统称为中国邮递员 问题。我国运筹学的理论和应用研究在较短时间内赶上了世 界水平。
最优化方法

n ∑ xij = ai , i = 1,2, L, m j =1 m ∑ xij = b j , j = 1,2, L, n i =1 xij ≥ 0
第二节 运输问题和分配问题
• 设xij为把这种物资从 送至 的数量,简称 到Bj的 为把这种物资从Ai送至 的数量, 为把这种物资从 送至Bj的数量 简称Ai到 的 运量; 运量;设Z为总运费 为总运费
第二节 运输问题和分配问题
约束条件: 约束条件:
(1)产销平衡模型 )
(2)产大于销模型
(3)产小于销模型
回答两个问题: 回答两个问题:
第1节 线性规划
这些系数在什麽范围内发生变化时, ①这些系数在什麽范围内发生变化时,最优基不变 即最优解或最优解结构不变) (即最优解或最优解结构不变)? 系数变化超出上述范围时, ②系数变化超出上述范围时,如何用最简便的方法 求出新的最优解? 求出新的最优解?
第二节 运输问题和分配问题
无可行(无最优解) 无可行(无最优解)见P91图4-3 图 唯一最优解P90图4-2 图 唯一最优解 最优解, 无穷多最优解,见下页图 无界解, 无界解,见下下页图
无界集
第1节 线性规划
目标函数 max z=2x1+4x2
无穷多最优解(多重最优解) 图4-3 无穷多最优解(多重最优解)
第1节 线性规划
某工厂在计划期内要安排生产Ⅰ 两种产品, 例 1 某工厂在计划期内要安排生产Ⅰ、Ⅱ两种产品,已 知生产单位产品所需的设备台时及A 两种原材料的消耗, 知生产单位产品所需的设备台时及A、B两种原材料的消耗, 如下表4 所示。 如下表4-1所示。 拥有量 资源 产 品 Ⅰ Ⅱ 设 备 1 4 0 2 0 4 8台时 16 kg 12 kg
最优化方法PPT

共117页第8页
同时太阳系这个"整体"又是它所属的"更大整 体"--银河系的一个组成部分。世界上的具体系统是 纷繁复杂的,必须按照一定的标准,将千差万别的 系统分门别类,以便分析、研究和管理,如:教育 系统、医疗卫生系统、宇航系统、通讯系统等等。 如果系统与外界或它所处的外部环境有物质、能量 和信息的交流,那么这个系统就是一个开放系统, 否则就是一个封闭系统。开放系统具有很强的生命 力,它可能促进经济实力的迅速增长,使落后地区 尽早走上现代化。如改革开放以来已大大增强了我 们的综合国力。而我国的许多边远山区农村,由于 交通不便,相对封闭,还处于比较落后的状态。
会科学和思维科学的相互渗透与交融汇流,产生了 具有高度抽象性和广泛综合性的系统论、控制论和 信息论。
系统论是研究系统的模式、性能、行为和规律 的一门科学。它为人们认识各种系统的组成、结构、 性能、行为和发展规律提供了一般方法论的指导。 系统论的创始人是美籍奥地利理论生物学家和哲学 家路德维格·贝塔朗菲。系统是由若干相互联系的 基本要素构成的,它是具有确定的特性和功能的有 机整体。如太阳系是由太阳及其围绕它运转的行星 (金星、地球、火星、木星等等)和卫星构成的。
从数学上比较一般的观点来看,所谓最优化问题可 以概括为这样一种数学模型:给定一个“函数”,F(X), 以及“自变量”X应满足的一定条件,求X为怎样的值时, F(X)取得其最大值或最小值。这里在函数和自变量两个 词上之所以打上引号,是想强调它们的含意比中学数学 和大学微积分中函数的定义要广泛得多。通常,称F(X) 为“目标函数”,X应满足的条件为“约束条件”。约 束条件一般用一个集合D表示为:X∈D。求目标函数 F(X)在约束条件X∈D下的最小值或最大值问题,就是一 般最优问题的数学模型,它还可以利用数学符号更简洁 地表示成:Min F(X)或Max F(X)。
最优化方法第一次PPT课件

本课程对学生的具体要求为: ①理解最优化的基本概念、算法原理和 算法结构; ②熟悉几种常用的经典优化算法,知晓 其优缺点及适用范围; ③了解模拟退火算法和遗传算法的基本 原理; ④能较为熟练地运用Lingo软件求解各种 优化问题。
13
3. 编程要求 基于下列理由,本门课要求学生对2~3个
基本优化算法(如一维搜索、梯度法、变尺 度法、模拟退火、基本遗传算法)编制出通 用 程 序 , 编 程 工 具 建 议 采 用 C++ 、 Matlab 或 Maple。
前面提到的算法是最优化的基本方法, 它们简单易行,对于性态优良的一般函数, 优化效果较好。但这些经典的方法是以传统 微积分为基础的,不可避免地带有某种局限
5
局限性,主要表现为:①大多数传统优化方 法仅能计算目标函数的局部最优点,不能保 证找到全局最优解。对于多峰值函数,这些 方法往往由于过分追求“下降”而陷于局部 最优解;②许多传统优化方法对目标函数的 光滑性、凹凸性等有较高的要求,对于离散 型函数、随机型函数基本上无能为力。
15
③Lingo、Matlab优化工具箱等优化软件 功能的确强大,但它们也不是万能的。首先, 对于某些优化问题,这些工具软件有都求不 出最优解。其次不能保证对任何优化问题都 有现成的工具软件,实际上,许多现代优化 方法都不可能编制成通用软件;
④熟练使用相关科技软件、具有一定的 编程水平是工科研究生所必须具有的素养, 从某种程度上讲,后者更能反映出个人的能
7
二、《最优化方法》课程主要内容 本门课程的主要内容为常用经典优化方
法、现代优化方法中的模拟退火算法和遗传 算法以及运筹优化软件Lingo简介。
经典优化方法包括: 1.常用的一维搜索方法——黄金分割法、 Fibonacci法和解析法; 2. 最速下降法、共轭梯度法; 3. 牛顿法;
最优化方法(杨庆之)PPT模板

ONE
08
第2章线性规划
第2章线性 规划
2.1基本性质
2.2单纯形方法
2.2.1两阶段法 2.2.2大M法
2.3线性规划问题的对偶及对偶单纯形法
2.3.1线性规划对偶问题 2.3.2对偶单纯形法
2 . 4 应 用 M AT L A B 解 线 性 规 划 问 题 举 例
习题二
ONE
09
第3章整数线性规划
第3章整数线性规划
3.1整数线性规划简介 3.2分枝定界法 3.3Gomory割平面法 3.4应用MATL AB解整 数线性规划问题举例 习题三
ONE
10
第4章无约束最优化方法
第4章无约束最优化方法
01
4.1线性搜索
02
4.2最速下降 法
03
4.3Newton法
04
4.4共轭梯度 法
法的收敛性
பைடு நூலகம்
第4章无约束最优化方法
4.3Newton法
4.3.1一元问题的 Newton法
4.3.2多元问题的 Newton法及收敛性
4.3.3强凸条件下 Newton法的收敛性
第4章无约束最优化方法
4.4共轭梯度法
4.4.1共轭方 向法
4.4.2共轭梯 度法
4.4.3解一般无 约束优化问题的
共轭梯度法
法
5.6.3SQP方法的全局收 敛性
5.6.2Wilson-HanPowell方法
ONE
12
第6章最优化问题的一些模型
第6章最优化问题的一些模型
6.1经济与金融中的优化问题 6.2范数逼近问题 6.3统计中的优化模型 6.4几何中的优化问题 6.5生产工艺或管理中的优化问 题
最优化及最优化方法讲稿

最优化及最优化方法讲稿ppt xx年xx月xx日CATALOGUE目录•最优化问题概述•线性规划问题及其求解方法•非线性规划问题及其求解方法•动态规划问题及其求解方法•最优化算法的收敛性分析•最优化算法的鲁棒性分析•最优化算法的应用举例 - 解决生产调度问题01最优化问题概述最优化问题是一个寻找某个或多个函数的特定输入,以使该函数的输出达到最小或最大的问题。
定义根据不同的分类标准,可以将最优化问题分为线性规划、非线性规划、多目标规划、约束规划等。
分类最优化问题的定义与分类描述所追求的最小或最大值的函数。
目标函数约束条件数学模型限制搜索范围的约束条件。
目标函数和约束条件的数学表达。
03最优化问题的数学模型0201最优化问题的求解方法牛顿法利用目标函数的Hessian矩阵(二阶导数矩阵)进行搜索。
梯度下降法迭代搜索,逐步逼近最优解。
混合整数规划将整数变量引入优化模型中,求解整数规划问题。
模拟退火算法以概率接受劣质解,避免陷入局部最优解。
进化算法模拟生物进化过程的启发式搜索算法。
02线性规划问题及其求解方法线性规划问题定义:在一组线性约束条件下,求解一组线性函数的最大值或最小值的问题。
数学模型:将实际问题转化为线性规划模型,包括决策变量、目标函数和约束条件。
线性规划问题的求解方法 - 单纯形法基本概念:介绍单纯形法的相关概念,如基、可行解、最优解等。
单纯形法步骤:阐述单纯形法的基本步骤和算法流程,包括初始基可行解的求解、最优解的迭代搜索和最终最优解的确定。
单纯形法改进:介绍一些改进的单纯形法,如简化单纯形法、对偶单纯形法等。
线性规划问题的定义与数学模型通过一个具体的生产计划问题,说明如何建立线性规划模型并进行求解。
生产计划问题通过一个配货问题,说明如何运用线性规划模型解决实际问题。
配货问题通过一个投资组合优化问题,说明如何运用线性规划进行风险和收益的平衡。
投资组合优化问题线性规划问题的应用举例03非线性规划问题及其求解方法非线性规划问题定义:非线性规划问题是一类求最优解的问题,其中目标函数和约束条件均为非线性函数。
最优化方法_理工大学内部课件

例:旅行商问题(TSP,traveling saleman problem) 一个商人欲到 n 个城市推销商品,每两个城 市 i 和 j 之间的距离为 d ij ,如何选择一条道 路使得商人每个城市走一遍后回到起点且所走路 径最短。
综上所述可得如下优化模型:
Max z 72x1 64x2
x1 x2 50 12 x 8 x 480 1 2 st 3 x1 100 x1 , x2 0
线性 规划 模型 (LP)
目标函数和约束条件都是线性的,这种优化 模型称为是线性规划(linear programming,LP) 模型。
题
优 化 问
(2)组合投资问题
题
(3)背包问题(贪婪问题)
一个小偷打劫一个保险箱,发现柜子里有3类不 同大小与价值的物品,但小偷只有一个容积为20的 背包来装东西,背包问题就是要找出一个小偷选择 所偷物品的组合,以使偷走的物品总价值最大。
(4)旅行售货问题 有一个推销员,要到各个城市去推销产品,他希 望能找到一个最短的旅遊途径,访问每一个城市,而 且每个城市只拜訪一次,然后回到最初出发的城市。
随机规划:
报童的诀窍
报童售报: a (零售价) > b(购进价) > c(退回价)
问 售出一份赚 a-b;退回一份赔 b-c 题
每天购进多少份可使收入最大?
每天需求量是随机的
每天收入是随机的
优化问题的目标函数应是长期的日平均收入
准 备 建 模
调查需求量的随机规律——每天 需求量为 r 的概率 f(r), r=0,1,2… • 设每天购进 n 份,日平均收入为 G(n) • 已知售出一份赚 a-b;退回一份赔 b-c
最优化计算方法课件优选演示

ezplot(y,[19,20]); grid on
(130-2 x) exp(1/40 x)-9/20 x 139.395 139.394 139.393 139.392 139.391 139.39 139.389 139.388 139.387 139.386 139.385
19 19.1 19.2 19.3 19.4 19.5 19.6 19.7 19.8 19.9 20 x
数值方法求解--Matlab
dydx = diff(y,x) xmax = solve(dydx); xmax = double(xmax) xmax =xmax(1) ymax=subs(y,x,xmax)
Newton 法
▪ 求方程F(x)=0的根. ▪ 牛顿法: x(n)=x(n-1)-F(x(n-1))/F’(x(n-1))
0.91
0.91
8 (x 3)2 ( y 1)2 6 (x 5)2 ( y 1)2 ] / 84
▪ 问题为在区域0=<x=<6, 0=<y=<6上求z=f(x,y)的 最小值。
绘制目标函数图形
clear all syms x y r1 = sqrt((x-1)^2+(y-5)^2)^0.91; r2 = sqrt((x-3)^2+(y-5)^2)^0.91; r3 = sqrt((x-5)^2+(y-5)^2)^0.91; r4 = sqrt((x-1)^2+(y-3)^2)^0.91; r5 = sqrt((x-3)^2+(y-3)^2)^0.91; r6 = sqrt((x-5)^2+(y-3)^2)^0.91; r7 = sqrt((x-1)^2+(y-1)^2)^0.91; r8 = sqrt((x-3)^2+(y-1)^2)^0.91; r9 = sqrt((x-5)^2+(y-1)^2)^0.91; z = 3.2+1.7*(6*r1+8*r2+8*r3+21*r4+6*r5+3*r6+18*r7+8*r8+6*r9)/84; ezmesh(z)
最优化方法 尹秋响课件第四章

二次插值多项式近似法(抛物线法) (二)二次插值多项式近似法(抛物线法)的基本原理 在三点x 上的函数值分别为f 设目标函数 f(x)在三点 1 < x2 <x3 上的函数值分别为 1 , f2 , f3 在三点 相应的二次插值多项式为 P2(x)=a0+a1x + a2x2 令P2(x) 和f(x)在三点上的函数值相等 在三点上的函数值相等 f(x) P2(x1)=a0+a1x1 + a2x12 =f1 P2(x2)=a0+a1x2 + a2x22=f2 P2(x3)=a0+a1x3 + a2x32=f3 a0, a1, a2 a * ’(x)=a +2a x =0 的解 x = − 1 P2(x)的平稳点是 P2 = 1 的平稳点是 2 2a 所以只需求出a 所以只需求出 1, a2, 最后得
f(x) f(x) f(x) f(x)
a
b
x
a
a b
x
a
b
b
x
x
连续单峰函数
不连续单峰函数
非单峰函数离散单峰函数
单峰函数具有一个重要的消去性质 定理: 是区间[a,b]上的一个单峰函数,x*∈[a,b]是其极小 上的一个单峰函数, 定理:设f(x)是区间 是区间 上的一个单峰函数 是其极小 上的任意两点, 点, x1 和x2是[a, b]上的任意两点,且a<x1 <x2<b,那么比较 1) 上的任意两点 ,那么比较f(x 的值后, 与f(x2)的值后,可得出如下结论: 的值后 可得出如下结论: (I) 若f(x1)≥f(x2),x*∈[x1,b] ) ,
x1 x3 x2 P2(x) 三个待定系数
2
பைடு நூலகம்
最优化方法讲稿-4

} 是有穷点列时,其最后一个点是 f 的稳定点; } 是无穷点列时,它必有极限点,其任一极限点都是 f 的稳定点;
(k )
(k )
(3)当 f 是凸函数时, {x 证明 (1)如果 {x
(k ) (k )
} 的任一极限点都是(UCOP)的全局最优解。
} 是有穷点列,设为 {x ( 0) , x (1) , L , x ( k ) } ,则 x ( k ) 必已达到终止
即 α k 是方程 ∇f ( x 当 f ( x) =
(k )
+ αp ( k ) ) T p ( k ) = 0 的解。
1 T x Ax + b T x + c 时,有 ∇f ( x) = Ax + b ,从而 2
∇f ( x ( k ) + αp ( k ) ) = A( x ( k ) + αp ( k ) ) + b = Ax ( k ) + b + αAp ( k ) = ∇f ( x ( k ) ) + αAp ( k ) .
* * * * *
f ( x * + α * p * ) < f ( x * ).
另一方面,有
(1.1)
f ( x ( ki +1) ) = min f ( x ( ki ) + αp ( ki ) )
α ≥0
≤ f ( x ( ki ) + α * p ( ki ) ) = f ( x ( ki ) − α *∇f ( x ( ki ) )),
(1)
) = 0 ,故 x (1) 是问题的全局最优解。
设 f 连续可微,水平集
定理 1.2
D( f ( x ( 0 ) )) = {x ∈ R n | f ( x) ≤ f ( x ( 0 ) )}
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
凸函数的几何性质
对一元函数f (x),在几何上a f (x1)+(1-a)f (x2)
(0≤a≤1)表示连接(x1,f(x1)),(x2,f (x2))的线段, f(ax1+(1-a)x2)表示在点ax1+(1-a)x2处的函数 值,所以一元凸函数表示连接函数图形上任 意两点的线段总是位于曲线弧的上方.
16
凸函数的判断
17
一阶条件
定理1.7.2 (一阶条件) 设在凸集D Rn上f(x)可微,则f(x)在D上为凸函 数的充要条件是对任意的x,y ∈ D,都有 f(y)≥f(x)+ f(x )T (y -x ) 定理1.7.3 (一阶条件) 设在凸集D Rn上f(x)可微,则f(x)在D上为严格凸 函数的充要条件是对任意的x,y ∈ D, x≠y,都有 f(y)>f(x)+ f(x)T(y-x)
10
凸函数的例
例1.7.3 设f (x)=(x–1)2,试证明f(x)在(–∞,+∞)上 是严格凸函数. 证明:设x,y∈ R,且x≠y, a (0,1)都有 f (ax+(1-a)y)-(a f (x) +(1-a)f (y)) =(ax+(1-a)y-1)2-a (x-1)2-(1-a) (y-1)2 = –a (1-a)(x-y)2<0 因此f(x)在(–∞,+∞)上是严格凸函数. 例1.7.4 线性函数f (x)=cTx=c1x1+c2x2+· · · +cnxn 既是Rn上凸函数也是Rn上凹函数.
12
对于一元凸函数f(x),可以发现,位于函数曲线 上方的图形是凸集.事实上这一结论对于多元 函数也是成立的,而且是充要条件,即有下面的 定理. 定理:设f(x)是定义在凸集D Rn上的函数,则 f(x)是凸函数的充要条件是其上图epi(f)为凸 集,其中epi(f)={(x,y)|x∈ D,y ∈ R,y≥f(x)}. 证明:作业
6
极 点
定义1.7.3 设D为凸集, x∈D.若D中不存在两 个相异的点y,z及某一实数a∈(0,1)使得 x=ay+(1-a)z 则称x为D的极点. 凸 集 极点 凸 集 极点
7
极 点
例1.7.2 D={x ∈Rn| ||x||≤a}(a>0),则||x||=a上 的点均为极点 证明:设||x||=a,若存在y,z ∈D及a∈(0,1),使 得x=ay+(1-a)z.则 a2=||x||2=(ay+(1-a)z,ay+(1-a)z) ≤a2||y||2+(1-a)2||z||2+2a (1-a)||y||||z||≤a2 不等式取等号,必须||y||=||z||=a,且( y,z ) =||y||||z||, 容易证明y=z=x,根据定义可知,x为极点.
下面的图形给出了凸函数f(x,y)=x4+3x2+y4+y2+xy 的等值线(f(x,y)=2,4,6,8,10,12)的图形.可以看出 水平集为凸集.
14
凸函数的性质
2
1
0
-1
-2 -1.5 -1 -0.5 0 0.5 1 1.5 15
凸函数的判断
定理1.7.1 设f(x)定义在凸集D Rn上,x,y∈D. 令F (t)=f (tx+(1-t)y), t ∈ [0,1],则 (i) f(x)是凸集D上的凸函数的充要条件是对任 意的x ∈ D,一元函数F (t)为[0,1]上的凸函数. (ii) f(x)是凸集D上的严格凸函数的充要条件是 对任意的x,y ∈ D(x≠y),一元函数F (t)为[0,1] 上的严格凸函数. 该定理的几何意义是:凸函数上任意两点之间 的部分是一段向下凸的弧线.
13
凸函数的性质
(i)设f(x)是凸集D Rn上的凸函数,实数k≥0,则 kf(x)也是D上的凸函数. (ii)设f1(x), f2(x)是凸集D Rn上的凸函数,实数 m0,则f1(x)+m f2(x)也是D上的凸函数. (iii)设f(x)是凸集D Rn上的凸函数,b为实数, 则水平集S(f,b)={x|x∈D,f(x)≤b }是凸集.
1
例
2
凸集的例
例1.7.1 超球||x||≤r为凸集 证明 设x,y为超球中任意两点, ≤a≤1,则有 ||ax+(1-a)y||≤a||x||+(1-a)||y|| ≤a r+(1-a) r = r, 即点ax+(1-a)y属于超球,所以超球为凸集.
3
凸集的性质
(i)有限个(可以改成无限)凸集的交集为凸集.
8
凸 函 数
定义1.7.4 设函数f (x)定义在凸集D Rn上,若
对任意的x,y ∈ D,及任意的a ∈ [0,1]都有
f (a x+(ቤተ መጻሕፍቲ ባይዱ-a)y) ≤ a f(x)+(1-a) f (y)
则称函数f (x)为凸集D上的凸函数.
9
凸 函 数
定义1.7.5 设函数f (x)定义在凸集D Rn上,若 对任意的x,y∈D,x≠y,及任意的a ∈(0,1)都有 f (a x+(1-a)y) < a f(x)+(1-a) f (y) 则称函数f (x)为凸集D上的严格凸函数. 将上述定义中的不等式反向,可以得到凹函数 和严格凹函数的定义.
凸
集
定义1.7.1 设集合D Rn,若对于任意点x,y∈ D, 及实数aa1,都有 ax+(1-a)y ∈ D, 则称集合D为凸集.
常见的凸集:空集(补充定义),整个欧式空间Rn, 超平面 H={x∈ Rn|a1x1+a2x2+…anxn=b} 半空间 H+={x∈Rn|a1x1+a2x2+…anxn≥b}
即:若Dj(j ∈ J)是凸集,则它们的交集
D={x|x ∈ Dj,j ∈ J }
是凸集.
(ii)设D是凸集,b是一实数,则下面集合是凸集
b D={y | y =b x, x ∈ D}.
4
凸集的性质
(iii)设D1,D2是凸集,则D1与D2的和集
D1+D2={y|y=x+z,x ∈ D1,z ∈ D2}是凸集. 注:和集与并集有很大的区别,凸集的并集未必是凸 集, 而凸集的和集是凸集. 例:D1={(x,0)T|x ∈ R}表示 x 轴上的点, D2={(0,y)T|y ∈R},表示 y 轴上的点. 则D1∪D2表示两个轴的所有点,它不是凸集;
D1+D2=R2是凸集
5
推论 凸集的线性组合是凸集.
n,i=1,…,k,实数 0, i 定义1.7.2 设 x ∈ R i i k i 1 则 x i xi 称为x1,x2, …,xk的凸组合.
i 1
k
1,
两点的凸组合
三点的凸组合 多点的凸组合
容易证明:凸集中任意有限个点的凸组合仍然 在该凸集中.