数学建模讲座之二——数据处理和综合评价
合集下载
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
据实际情况可构 造其他的隶属函数。 如取偏大型正态分布。
8/10/2020
17
模糊定性指标量化的应用案例
(1)CUMCM2003-A,C:SARS的传播问题
(2)CUMCM2004-D:公务员招聘问题;
(3)CUMCM2005-B:DVD租赁问题;
(4)CUMCM2008-B:高教学费标准探讨问题 ;
诸如:教学质量、科研水平、工作政绩、 人员素质、各种满意度、信誉、态度、意识 、观念、能力等因素有关的政治、社会、人 文等领域的问题。
如何对有关问题给出定量分析呢?
8/10/2020
13
二、数据处理的一般方法
3. 定性指标的量化处理方法
按国家的评价标准,评价因素一般分为五 个等级,如A,B,C,D,E。
4. 数据建模的动态加权方法 5. 数据建模的综合排序方法 6. 数据建模的预测方法
8/10/2020
3
一、数据建模的一般问题 数据建模一般问题的提出一:般
•实际对象都客观存在着一些反映其特征的相 关数据信息; •如何综合利用这些数据信息对实际对象的现 状做出综合评价,或预测未来的发展趋势, 制定科学的决策方案? --数据建模的综合评价、综合排序、预测与 决策等问题。
8/10/2020
4
一、数据建模的一般问题
综合评价是科学、合理决策的前提。 综合评价的基础是信息的综合利用。 综合评价的过程是数据建模的过程。 数据建模的基础是数据的标准化处理。
如何构成一个综合评价问题呢?
8/10/2020
5
一、数据建模的一般问题
综合评价:
依据相关信息对实际对象所进行的客观、 公正、合理的全面评价。
a ln x b , 3 x 5
其中, , a,b 为待定常数.
8/10/2020
16
二、数据处理的一般方法
3. 定性指标的量化处理方法
f
(
x)
1
1.1086(
x
0.8942)
2
1 ,1 x 3
0.3915ln x 0.3699 ,
3 x5
根据这个规律, 对于任何一个评价值, 都可给出一个合适的 量化值。
j
为权系数,f
(xij
,
x*j
)
为
x
ij
与
x
* j
之间的某种意义
下距离。
8/10/2020
22
三、数据建模的综合评价方法
3. 逼近理想点(TOPSIS)方法
通常可取 f (xij , x*j ) (xij x*j )2 ,则综合评价函数为
m
yi
wj
( xij
x
* j
)
2
,
i
1,2,, n
主要特点: (1)各评价指标间作用得到线性补偿; (2)权重系数的对评价结果的影响明显。
8/10/2020
19
三、数据建模的综合评价方法
2. 非线性加权综合法
m
用非线性函数 y
xwj j
作为综合评价模型,对 n
j 1
个系统进行综合评价。其中 w j 为权系数,且要求 x j 1 。
适用条件:各指标间有较强关联性。
其中参数 i 可取[a1(i) , b1(i) ) 中的某
[1 (x )2 ]1,1 x 3
f (x) a ln x b , 3 x 5
其中, , a,b 为待定常数.
8/10/2020
15
二、数据处理的一般方法
3. 定性指标的量化处理方法
当“很满意”时,则隶属度为1,即 f (5) 1 ;
当“较满意”时,则隶属度为 0.8,即 f (3) 0.8;
1
wi (x) x k , x [ak(i) , bk(i) ] , (k 1, 2, , K ) 其中1 i m 。
8/10/2020
27
四、数据建模的动态加权方法
2. 动态加权函数的设定
(2)偏大型正态分布函数
wi
(
x)
0 1
, e
xi i
2
,
当 x i时, 当 x i时,
四、数据建模的动态加权方法
1. 动态加权问题的一般提法
注意: 问题对于每一个属性而言,既有 不同类别的差异,同类别的又有不同量值 的差异。
对于既有“质差”,又有“量差”的 问题,合理有效的方法是动态加权综合评 价方法。
8/10/2020
26
四、数据建模的动态加权方法
2. 动态加权函数的设定
(1) 分段变幂函数
一致化?
9
二、数据处理的一般方法
1. 数据类型的一致化处理方法
(1)极小型: 对某个极小型数据指标 x ,
则 x 1 (x 0) ,或 x M x . x
(2)中间型: 对某个中间型 x) ,
m x 1 (M m) 2
1 (M m) x M
而 对 每 一 个 pk 都 包 含 一 个 [ak(i) , bk(i) )
,
且
a(i) k
b(i) k
(i 1, 2,
, m;k 1, 2,
,
K)
,即当
xi
[ak(i)
,
b(i) k
)
时,则
xi
属
于第 k 类 pk (1 k K) 。
问题:如何对n个系统做出综合评价呢?
8/10/2020
25
每一个被评价对象与理想点进行比较。
如果某一个被评价对象指标 (xi1, xi2 ,, xim ) 在某种意义 下与 (x1* , x2* ,, xm* ) 最接近,则被评价对象 (xi1, xi2 ,, xim )
为最好的。
基于这种思想的综合评价方法称为逼近理想点的排序方法 (The technique for order preference by similarity to ideal solution,简称为 TOPSIS)。
d
x j
1 n
n i1
xij
s j
[1 n
n i1
( xij
x
j
)2
]
1 2
M j m1iaxn {xij }
xij [0,1] (i 1,2, , n; j 1,2, , m) mj m1iinn{xij}
8/10/2020
12
二、数据处理的一般方法
3. 模糊指标的量化处理方法
在实际中,很多问题都涉及到定性,或模 糊指标的定量处理问题。
。
j 1
按照 yi (i 1,2,, n) 值的大小对各被评价方案进行排
序选优,其值越小方案就越好。
特别地,当某个 yi 0 时,则对应的方案就是最优的。
返回
8/10/2020
23
综合评价方法的应用案例
(1)CUMCM1993-B:足球队排名问题;
(2)CUMCM2001-B:公交车调度问题;
8/10/2020
21
三、数据建模的综合评价方法
3. 逼近理想点(TOPSIS)方法
假设 理想点 为 (x1* , x2* ,, xm* ) , 对于 被评价 对象
(xi1, xi2 ,, xim ) ,则定义二者之间的加权距离:
m
yi
wj
f
( xij
x
* j
), i
1,2,,
n
,
j 1
其中
w
主要特点: (1)突出了各指标值的一致性,即平衡评价指标值 较小的指标影响的作用; (2)权重系数大小的影响不是特别明显,而对指标 值的大小差异相对较敏感。
8/10/2020
20
三、数据建模的综合评价方法
3. 逼近理想点(TOPSIS)方法
设定系统指标的一个理想点 (x1* , x2* ,, xm* ) ,将
数据处理与数据建模方法
• 21世纪的社会是信息社会,其影响最终将 要比十九世纪由农业社会转向工业社会更 加深刻。
• “一个国家总的信息流的平均增长与工业 潜力的平方成正比”。
• 信息资源与自然资源和物质资源被称为人 类生存与发展的三大资源。
8/10/2020
1
数据处理与数据建模方法
实际中大量信息或海量信息对应着大量 的数据或海量数据,从这些数据中寻求所 需要的问题答案--数据建模问题。
如果把被评价对象视为系统,则问题: 在若干个(同类)系统中,如何确定哪个系 统的运行(或发展)状况好,哪个状况差?即哪 个优,哪个劣?
一类多属性(指标)的综合评价问题。
8/10/2020
6
综合评价问题的五个要素
(1)被评价对象:被评价者,统称为评价系统。
(2)评价指标:反映被评价对象的基本要素, 一起构成评价指标体系。原则:系统性、科学性、可 比性、可测性和独立性。
;
(9)CUMCM2008-B:高教学费标准探讨问题;
8/10/2020
24
四、数据建模的动态加权综合方法
1. 动态加权问题的一般提法
设有 n 个被评价对象(或系统) S1, S2, , Sn (n 1) ,每个 系统都有 m 属性(或评价指标) x1, x2, , xm (m 1) 。
对每一个 xi 都可分为 K 个等级 p1, p2, , pK (K 1) 。
如何将其量化?若A-,B+,C-,D+等又 如何合理量化?
根据实际问题,构造模糊隶属函数的量化 方法是一种可行有效的方法。
8/10/2020
14
二、数据处理的一般方法
假设有多个评价人对某项因素评价为A,B,C, D,E共5个等级: {v1 ,v2 ,v3 ,v4,v5}。
譬如:评价人对某事件“满意度”的评价可分为 {很满意,满意,较满意,不太满意,很不满意} 将其5个等级依次对应为5,4,3,2,1。 这里为连续量化,取偏大型柯西分布和对数函数 作为隶属函数:
(3)权重系数:反映各指标之间影响程度大小 的度量。
(4)综合评价模型:将评价指标与权重系数综 合成一个整体指标的模型。
(5)评价者:直接参与评价的人。
8/10/2020
7
综合评价过程的流程
明任 确务
对 s1, s2,, sn
进行综合评价
明目 确的
排序或 分类 ?
确 定 评 确定指标 价指标 初始值
8/10/2020
11
二、数据处理的一般方法
2. 数据指标的无量纲化处理方法
在实际数据指标之间,往往存在着不可公度性,
会出现“大数吃小数”的错误,导致结果的不合理。
(1)标准差法: xij
xij
sj
xj
(2)极值差法:xij
xij m j M j mj
(3)功效系数法:xij
c
xij mj M j mj
通过实际对象过去或当前的相关信息, 研究两个方面问题:
(1)分析研究实际对象所处的状态和 特征,依此做出评价和决策;
(2)分析预测实际对象未来的变化状 况和趋势,为科学决策提供依据。
8/10/2020
2
数据处理与数据建模方法
1. 数据建模的一般问题 2. 数据处理的一般方法 3. 数据建模的综合评价方法
一般问题的数据指标 x1, x2, , xm (m 1) 可能有
“极大型”、“极小型”、“中间型”和“区间型”指标。
极大型:期望取值越大越好; 极小型:期望取值越小越好; 中间型:期望取值为适当的中间值最好; 区间型:期望取值落在某一个确定的区间 内为最好。
8/10/2020
什么是一 致化处理? 为什么要
指预 标处 的理
规范化指标
x1, x2,, xm
确系 定数 权
权重系数
w1, w2 ,, wm
选价 择模 评型
综合评价指
标 y f (x,w)
计算综合 评价指标
依 指 标 y1, y2,, yn 对 s1, s2,, sn 排序或分类
8/10/2020
8
二、数据处理的一般方法
1. 数据类型的一致化处理方法
(3)CUMCM2002-B:彩票中的数学问题;
(4)CUMCM2004-D:公务员招聘问题;
(5)CUMCM2005-A:长江水质的评价和预测问题
;
(6)CUMCM2005-C:雨量预报方法评价问题;
(7)CUMCM2006-B:艾滋病疗法评价与预测问题
;
(8)CUMCM2007-C:手机“套餐”优惠几何问题
(5)CUMCM2008-D:NBA赛程的分析与评价 问题;
(6)CUMCM2009-D:会议筹备问题。
8/10/2020
18
三、数据建模的综合评价方法
1. 线性加权综合法
m
用线性加权函数 y wj x j 作为综合评价模型, j 1
对 n 个系统进行综合评价。
适用条件:各评价指标之间相互独立。 对不完全独立的情况,其结果将导致各指标间信 息的重复,使评价结果不能客观地反映实际。
当“很不满意”时,则隶属度为 0.01,即 f (1) 0.01.
计算得 1.1086, 0.8942, a 0.3915, b 0.3699。
则
f
(
x)
f
( x)01.391[11.150ln8(6xx(x0.03) .6829]9941 ,21),2
1,1 x 3 x 3 x5
M m 2
8/10/2020
10
二、数据处理的一般方法
1. 数据类型的一致化处理方法
(3)区间型:对某个区间型数据指标 x ,则
x
11,
a
c
x
,
xa a xb
1
x
b c
,
xb
其中[a,b] 为 x 的最佳稳定区间,c max{a m, M b} , M 和 m 分别为 x 可能取值的最大值和最小值。
8/10/2020
17
模糊定性指标量化的应用案例
(1)CUMCM2003-A,C:SARS的传播问题
(2)CUMCM2004-D:公务员招聘问题;
(3)CUMCM2005-B:DVD租赁问题;
(4)CUMCM2008-B:高教学费标准探讨问题 ;
诸如:教学质量、科研水平、工作政绩、 人员素质、各种满意度、信誉、态度、意识 、观念、能力等因素有关的政治、社会、人 文等领域的问题。
如何对有关问题给出定量分析呢?
8/10/2020
13
二、数据处理的一般方法
3. 定性指标的量化处理方法
按国家的评价标准,评价因素一般分为五 个等级,如A,B,C,D,E。
4. 数据建模的动态加权方法 5. 数据建模的综合排序方法 6. 数据建模的预测方法
8/10/2020
3
一、数据建模的一般问题 数据建模一般问题的提出一:般
•实际对象都客观存在着一些反映其特征的相 关数据信息; •如何综合利用这些数据信息对实际对象的现 状做出综合评价,或预测未来的发展趋势, 制定科学的决策方案? --数据建模的综合评价、综合排序、预测与 决策等问题。
8/10/2020
4
一、数据建模的一般问题
综合评价是科学、合理决策的前提。 综合评价的基础是信息的综合利用。 综合评价的过程是数据建模的过程。 数据建模的基础是数据的标准化处理。
如何构成一个综合评价问题呢?
8/10/2020
5
一、数据建模的一般问题
综合评价:
依据相关信息对实际对象所进行的客观、 公正、合理的全面评价。
a ln x b , 3 x 5
其中, , a,b 为待定常数.
8/10/2020
16
二、数据处理的一般方法
3. 定性指标的量化处理方法
f
(
x)
1
1.1086(
x
0.8942)
2
1 ,1 x 3
0.3915ln x 0.3699 ,
3 x5
根据这个规律, 对于任何一个评价值, 都可给出一个合适的 量化值。
j
为权系数,f
(xij
,
x*j
)
为
x
ij
与
x
* j
之间的某种意义
下距离。
8/10/2020
22
三、数据建模的综合评价方法
3. 逼近理想点(TOPSIS)方法
通常可取 f (xij , x*j ) (xij x*j )2 ,则综合评价函数为
m
yi
wj
( xij
x
* j
)
2
,
i
1,2,, n
主要特点: (1)各评价指标间作用得到线性补偿; (2)权重系数的对评价结果的影响明显。
8/10/2020
19
三、数据建模的综合评价方法
2. 非线性加权综合法
m
用非线性函数 y
xwj j
作为综合评价模型,对 n
j 1
个系统进行综合评价。其中 w j 为权系数,且要求 x j 1 。
适用条件:各指标间有较强关联性。
其中参数 i 可取[a1(i) , b1(i) ) 中的某
[1 (x )2 ]1,1 x 3
f (x) a ln x b , 3 x 5
其中, , a,b 为待定常数.
8/10/2020
15
二、数据处理的一般方法
3. 定性指标的量化处理方法
当“很满意”时,则隶属度为1,即 f (5) 1 ;
当“较满意”时,则隶属度为 0.8,即 f (3) 0.8;
1
wi (x) x k , x [ak(i) , bk(i) ] , (k 1, 2, , K ) 其中1 i m 。
8/10/2020
27
四、数据建模的动态加权方法
2. 动态加权函数的设定
(2)偏大型正态分布函数
wi
(
x)
0 1
, e
xi i
2
,
当 x i时, 当 x i时,
四、数据建模的动态加权方法
1. 动态加权问题的一般提法
注意: 问题对于每一个属性而言,既有 不同类别的差异,同类别的又有不同量值 的差异。
对于既有“质差”,又有“量差”的 问题,合理有效的方法是动态加权综合评 价方法。
8/10/2020
26
四、数据建模的动态加权方法
2. 动态加权函数的设定
(1) 分段变幂函数
一致化?
9
二、数据处理的一般方法
1. 数据类型的一致化处理方法
(1)极小型: 对某个极小型数据指标 x ,
则 x 1 (x 0) ,或 x M x . x
(2)中间型: 对某个中间型 x) ,
m x 1 (M m) 2
1 (M m) x M
而 对 每 一 个 pk 都 包 含 一 个 [ak(i) , bk(i) )
,
且
a(i) k
b(i) k
(i 1, 2,
, m;k 1, 2,
,
K)
,即当
xi
[ak(i)
,
b(i) k
)
时,则
xi
属
于第 k 类 pk (1 k K) 。
问题:如何对n个系统做出综合评价呢?
8/10/2020
25
每一个被评价对象与理想点进行比较。
如果某一个被评价对象指标 (xi1, xi2 ,, xim ) 在某种意义 下与 (x1* , x2* ,, xm* ) 最接近,则被评价对象 (xi1, xi2 ,, xim )
为最好的。
基于这种思想的综合评价方法称为逼近理想点的排序方法 (The technique for order preference by similarity to ideal solution,简称为 TOPSIS)。
d
x j
1 n
n i1
xij
s j
[1 n
n i1
( xij
x
j
)2
]
1 2
M j m1iaxn {xij }
xij [0,1] (i 1,2, , n; j 1,2, , m) mj m1iinn{xij}
8/10/2020
12
二、数据处理的一般方法
3. 模糊指标的量化处理方法
在实际中,很多问题都涉及到定性,或模 糊指标的定量处理问题。
。
j 1
按照 yi (i 1,2,, n) 值的大小对各被评价方案进行排
序选优,其值越小方案就越好。
特别地,当某个 yi 0 时,则对应的方案就是最优的。
返回
8/10/2020
23
综合评价方法的应用案例
(1)CUMCM1993-B:足球队排名问题;
(2)CUMCM2001-B:公交车调度问题;
8/10/2020
21
三、数据建模的综合评价方法
3. 逼近理想点(TOPSIS)方法
假设 理想点 为 (x1* , x2* ,, xm* ) , 对于 被评价 对象
(xi1, xi2 ,, xim ) ,则定义二者之间的加权距离:
m
yi
wj
f
( xij
x
* j
), i
1,2,,
n
,
j 1
其中
w
主要特点: (1)突出了各指标值的一致性,即平衡评价指标值 较小的指标影响的作用; (2)权重系数大小的影响不是特别明显,而对指标 值的大小差异相对较敏感。
8/10/2020
20
三、数据建模的综合评价方法
3. 逼近理想点(TOPSIS)方法
设定系统指标的一个理想点 (x1* , x2* ,, xm* ) ,将
数据处理与数据建模方法
• 21世纪的社会是信息社会,其影响最终将 要比十九世纪由农业社会转向工业社会更 加深刻。
• “一个国家总的信息流的平均增长与工业 潜力的平方成正比”。
• 信息资源与自然资源和物质资源被称为人 类生存与发展的三大资源。
8/10/2020
1
数据处理与数据建模方法
实际中大量信息或海量信息对应着大量 的数据或海量数据,从这些数据中寻求所 需要的问题答案--数据建模问题。
如果把被评价对象视为系统,则问题: 在若干个(同类)系统中,如何确定哪个系 统的运行(或发展)状况好,哪个状况差?即哪 个优,哪个劣?
一类多属性(指标)的综合评价问题。
8/10/2020
6
综合评价问题的五个要素
(1)被评价对象:被评价者,统称为评价系统。
(2)评价指标:反映被评价对象的基本要素, 一起构成评价指标体系。原则:系统性、科学性、可 比性、可测性和独立性。
;
(9)CUMCM2008-B:高教学费标准探讨问题;
8/10/2020
24
四、数据建模的动态加权综合方法
1. 动态加权问题的一般提法
设有 n 个被评价对象(或系统) S1, S2, , Sn (n 1) ,每个 系统都有 m 属性(或评价指标) x1, x2, , xm (m 1) 。
对每一个 xi 都可分为 K 个等级 p1, p2, , pK (K 1) 。
如何将其量化?若A-,B+,C-,D+等又 如何合理量化?
根据实际问题,构造模糊隶属函数的量化 方法是一种可行有效的方法。
8/10/2020
14
二、数据处理的一般方法
假设有多个评价人对某项因素评价为A,B,C, D,E共5个等级: {v1 ,v2 ,v3 ,v4,v5}。
譬如:评价人对某事件“满意度”的评价可分为 {很满意,满意,较满意,不太满意,很不满意} 将其5个等级依次对应为5,4,3,2,1。 这里为连续量化,取偏大型柯西分布和对数函数 作为隶属函数:
(3)权重系数:反映各指标之间影响程度大小 的度量。
(4)综合评价模型:将评价指标与权重系数综 合成一个整体指标的模型。
(5)评价者:直接参与评价的人。
8/10/2020
7
综合评价过程的流程
明任 确务
对 s1, s2,, sn
进行综合评价
明目 确的
排序或 分类 ?
确 定 评 确定指标 价指标 初始值
8/10/2020
11
二、数据处理的一般方法
2. 数据指标的无量纲化处理方法
在实际数据指标之间,往往存在着不可公度性,
会出现“大数吃小数”的错误,导致结果的不合理。
(1)标准差法: xij
xij
sj
xj
(2)极值差法:xij
xij m j M j mj
(3)功效系数法:xij
c
xij mj M j mj
通过实际对象过去或当前的相关信息, 研究两个方面问题:
(1)分析研究实际对象所处的状态和 特征,依此做出评价和决策;
(2)分析预测实际对象未来的变化状 况和趋势,为科学决策提供依据。
8/10/2020
2
数据处理与数据建模方法
1. 数据建模的一般问题 2. 数据处理的一般方法 3. 数据建模的综合评价方法
一般问题的数据指标 x1, x2, , xm (m 1) 可能有
“极大型”、“极小型”、“中间型”和“区间型”指标。
极大型:期望取值越大越好; 极小型:期望取值越小越好; 中间型:期望取值为适当的中间值最好; 区间型:期望取值落在某一个确定的区间 内为最好。
8/10/2020
什么是一 致化处理? 为什么要
指预 标处 的理
规范化指标
x1, x2,, xm
确系 定数 权
权重系数
w1, w2 ,, wm
选价 择模 评型
综合评价指
标 y f (x,w)
计算综合 评价指标
依 指 标 y1, y2,, yn 对 s1, s2,, sn 排序或分类
8/10/2020
8
二、数据处理的一般方法
1. 数据类型的一致化处理方法
(3)CUMCM2002-B:彩票中的数学问题;
(4)CUMCM2004-D:公务员招聘问题;
(5)CUMCM2005-A:长江水质的评价和预测问题
;
(6)CUMCM2005-C:雨量预报方法评价问题;
(7)CUMCM2006-B:艾滋病疗法评价与预测问题
;
(8)CUMCM2007-C:手机“套餐”优惠几何问题
(5)CUMCM2008-D:NBA赛程的分析与评价 问题;
(6)CUMCM2009-D:会议筹备问题。
8/10/2020
18
三、数据建模的综合评价方法
1. 线性加权综合法
m
用线性加权函数 y wj x j 作为综合评价模型, j 1
对 n 个系统进行综合评价。
适用条件:各评价指标之间相互独立。 对不完全独立的情况,其结果将导致各指标间信 息的重复,使评价结果不能客观地反映实际。
当“很不满意”时,则隶属度为 0.01,即 f (1) 0.01.
计算得 1.1086, 0.8942, a 0.3915, b 0.3699。
则
f
(
x)
f
( x)01.391[11.150ln8(6xx(x0.03) .6829]9941 ,21),2
1,1 x 3 x 3 x5
M m 2
8/10/2020
10
二、数据处理的一般方法
1. 数据类型的一致化处理方法
(3)区间型:对某个区间型数据指标 x ,则
x
11,
a
c
x
,
xa a xb
1
x
b c
,
xb
其中[a,b] 为 x 的最佳稳定区间,c max{a m, M b} , M 和 m 分别为 x 可能取值的最大值和最小值。