数据处理和综合评价
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2018/1/12 2
一、数据建模的一般问题
综合评价是科学、合理决策的前提。
综合评价的基础是信息的综合利用。
综合评价的过程是数据建模的过程。
Baidu Nhomakorabea
数据建模的基础是数据的标准化处理。
如何构成一个综合评价问题呢？
2018/1/12 3
一、数据建模的一般问题 综合评价： 依据相关信息对实际对象所进行的客观、 公正、合理的全面评价。 如果把被评价对象视为系统，则问题： 在若干个(同类)系统中，如何确定哪个系 统的运行(或发展)状况好，哪个状况差？即哪 个优，哪个劣？
2 1 1.1086( x 0.8942) 则 f ( x) 0.3915ln x 0.3699 ,
1
,1 x 3 3 x 5
2018/1/12
14
二、数据处理的一般方法
3. 定性指标的量化处理方法
1 1.1086 ( x 0.8942 ) 2 f ( x) 0.3915ln x 0.3699 ,
2018/1/12 17
三、数据建模的综合评价方法 3. 逼近理想点（TOPSIS）方法
* * * 设定系统指标的一个理想点 ( x1 , x2 ,, xm ) ，将
每一个被评价对象与理想点进行比较。
如果某一个被评价对象指标 ( xi1 , xi 2 ,, xim ) 在某种意义 下与 ( x1 , x2 ,, xm ) 最接近，则被评价对象 ( xi1 , xi 2 ,, xim ) 为最好的。
2018/1/12 5
综合评价过程的流程
明 任 确 务 对 s1, s2 , , sn 进行综合评价 明 目 确 的 排序或 分类 ? 确 系 定 数 权 权 重 系 数 确定评 价指标 确定指标 初始值 指 预 标 处 的 理 规范化指标
x1 , x2 , , xm
选 价 择 模 评 型 综合评价指 标 y f (x, w) 计算综合 评价指标 依 指 标 y1, y2 , , yn 对 s1, s2 , , sn 排序或分类
10
二、数据处理的一般方法
3. 模糊指标的量化处理方法
在实际中，很多问题都涉及到定性，或 模糊指标的定量处理问题。 诸如 : 教学质量、科研水平、工作政绩 、人员素质、各种满意度、信誉、态度、意 识、观念、能力等因素有关的政治、社会、 人文等领域的问题。 如何对有关问题给出定量分析呢？
2018/1/12 11
假设 理想点 为 ( x , x ,, x ) ， 对于被评价 对象
* 1 * 2 * m
( xi1 , xi 2 ,, xim ) ，则定义二者之间的加权距离:
yi w j f ( xij x * j ), i 1,2, , n ，
j 1 m
* 其中 w j 为权系数，f ( xij , x* 为 与 x ) x ij j j 之间的某种意义
特别地，当某个 yi 0 时，则对应的方案就是最优的。
2018/1/12 20
四、数据建模的常用预测方法
1.插值与拟合方法：小样本内部预测； 应用案例：
（1）CUMCM2001-A:血管的三维重建问题； （2）CUMCM2003-A,C:SARS的传播问题； （3）CUMCM2004-C:饮酒驾车问题； （4） CUMCM2005-A:长江水质的评价与预测； （5） CUMCM2005-D:雨量预报方法的评价； （6） CUMCM2006-B:艾滋病疗法的评价与预测。
2018/1/12
1 n x j xij n i 1 1 1 n 2 2 s j [ ( xij x j ) ] n i 1
M j max{xij } 1i n [0,1] (i 1,2, , n; j 1,2, , m) m j min{xij } xij 1i n
2018/1/12 13
二、数据处理的一般方法
3. 定性指标的量化处理方法
当“很满意”时，则隶属度为１，即 f (5) 1 ； 当“较满意”时，则隶属度为 0.8 ，即 f (3) 0.8 ； 当“很不满意”时，则隶属度为 0.01，即 f (1) 0.01．
计算得 1.1086 , 0.8942 , a 0.3915 , b 0.3699 。
数据处理与数据建模方法
1. 数据建模的一般问题
2. 数据处理的一般方法
3. 数据建模的综合评价方法
4. 数据建模的预测方法
2018/1/12
1
一、数据建模的一般问题 数据建模一般问题的提出：
一般
•实际对象都客观存在着一些反映其特征的相 关数据信息； •如何综合利用这些数据信息对实际对象的现 状做出综合评价，或预测未来的发展趋势， 制定科学的决策方案？ --数据建模的综合评价、综合排序、预测与 决策等问题。
下距离。
2018/1/12 19
三、数据建模的综合评价方法
3. 逼近理想点（TOPSIS）方法
通常可取 f ( xij , x ) ( xij x )
* j
m * 2 j
* 2 则综合评价函数为 j ，
yi w j ( xij x ) , i 1,2,, n 。
j 1
按照 yi (i 1,2,, n) 值的大小对各被评价方案进行排 序选优，其值越小方案就越好。
* * *
基于这种思想的综合评价方法称为逼近理想点的排序方法 （ The technique for order preference by similarity to ideal solution，简称为 TOPSIS） 。
2018/1/12 18
三、数据建模的综合评价方法 3. 逼近理想点（TOPSIS）方法
一类多属性(指标)的综合评价问题。
2018/1/12 4
综合评价问题的五个要素
（1）被评价对象:被评价者，统称为评价系统。 （2）评价指标：反映被评价对象的基本要素， 一起构成评价指标体系。原则:系统性、科学性、 可比性、可测性和独立性。
（3）权重系数：反映各指标之间影响程度大小 的度量。
（4）综合评价模型：将评价指标与权重系数综 合成一个整体指标的模型。 （5）评价者：直接参与评价的人。
w1, w2 ,, wm
2018/1/12
6
二、数据处理的一般方法
1. 数据类型的一致化处理方法
一般问题的数据指标 x1 , x2 ,
极大型:期望取值越大越好；
, xm (m 1) 可能有
什么是一 致化处理? 为什么要 一致化?
“极大型” 、 “极小型” 、 “中间型” 和 “区间型” 指标。
极小型:期望取值越小越好；
中间型:期望取值为适当的中间值最好; 区间型:期望取值落在某一个确定的区间 内为最好。
2018/1/12 7
二、数据处理的一般方法
1. 数据类型的一致化处理方法
（1）极小型: 对某个极小型数据指标 x ，
1 则 x ( x 0) ,或 x M x . x
用非线性函数 y
x
j 1
m
wj j
作为综合评价模型，对 n
个系统进行综合评价。 其中 w j 为权系数， 且要求 x j 1 。 适用条件：各指标间有较强关联性。 主要特点： （1）突出了各指标值的一致性，即平衡评价指标值 较小的指标影响的作用； （2）权重系数大小的影响不是特别明显，而对指标 值的大小差异相对较敏感。
对 n 个系统进行综合评价。
适用条件:各评价指标之间相互独立。 对不完全独立的情况，其结果将导致各指标间 信息的重复，使评价结果不能客观地反映实际。
主要特点： （1）各评价指标间作用得到线性补偿； （2）权重系数的对评价结果的影响明显。
2018/1/12 16
三、数据建模的综合评价方法
2. 非线性加权综合法
（3）区间型：对某个区间型数据指标 x ，则
ax 1 c , x a x 1, a xb 1 x b , x b c
其中 [a, b] 为 x 的最佳稳定区间，c max{a m, M b} ，
M 和 m 分别为 x 可能取值的最大值和最小值。
1
,1 x 3 3 x 5
根据这个规律， 对于任何一个评价值， 都可给出一个合适的 量化值。 据实际情况可构 造其他的隶属函数。 如取偏大型正态分布。
2018/1/12 15
三、数据建模的综合评价方法
1. 线性加权综合法
用线性加权函数 y
w x
j 1 j
m
j
作为综合评价模型，
二、数据处理的一般方法
3. 定性指标的量化处理方法
按国家的评价标准,评价因素一般分为五 个等级，如A，B，C，D，E。 如何将其量化？若A-，B+，C-，D+等又如 何合理量化？ 根据实际问题，构造模糊隶属函数的量 化方法是一种可行有效的方法。
2018/1/12 12
二、数据处理的一般方法
假设有多个评价人对某项因素评价为A，B，C， D,E共5个等级: {v1 ,v2 ,v3 ,v4,v5}。 譬如：评价人对某事件“满意度”的评价可分为 {很满意，满意，较满意，不太满意，很不满意} 将其5个等级依次对应为5，4，3，2，1。 这里为连续量化，取偏大型柯西分布和对数函 数作为隶属函数： [1 ( x ) 2 ] 1 ,1 x 3 f ( x) 3 x5 a ln x b , 其中 , , a, b 为待定常数．
2018/1/12 23
2018/1/12 9
二、数据处理的一般方法
2. 数据指标的无量纲化处理方法
在实际数据指标之间， 往往存在着不可公度性， 会出现“大数吃小数”的错误,导致结果的不合理。
(1)标准差法： xij
(2)极值差法：xij
xij x j sj
xij m j
M j mj xij m j (3)功效系数法： c xij d M j mj
2018/1/12
21
六、数据建模的常用预测方法 2.回归模型方法：大样本的内部预测； 应用案例：
（1）CUMCM2004-A:奥运临时超市网点设计； （2）CUMCM2004-B:电力市场的输电阻塞管理； （3）CUMCM2005-A:长江水质的评价与预测； （4）CUMCM2006-B:艾滋病疗法的评价与预测；
（2）中间型: 对某个中间型数据指标 x ，则 1 2( x m) M m , m x 2 ( M m) x 2( M x) 1 , ( M m) x M 2 M m
2018/1/12 8
二、数据处理的一般方法
1. 数据类型的一致化处理方法
（5）CUMCM2008-B:高教学费标准探讨问题。
2018/1/12 22
六、数据建模的常用预测方法
3.灰预测GM(1,1)：小样本的未来预测； （1）CUMCM2003-A:SARS的传播问题； （2）CUMCM2005-A:长江水质的评价与预测； （3）CUMCM2006-B:艾滋病疗法的评价与预测； （4）CUMCM2008-B:高教学费标准探讨问题。 4.时间序列方法：大样本的随机因素或周期特征的 未来预测； （1）CUMCM2003-A:SARS的传播问题； （2）CUMCM2005-A:长江水质的评价与预测； （3）CUMCM2006-B:艾滋病疗法的评价与预测。
一、数据建模的一般问题
综合评价是科学、合理决策的前提。
综合评价的基础是信息的综合利用。
综合评价的过程是数据建模的过程。
Baidu Nhomakorabea
数据建模的基础是数据的标准化处理。
如何构成一个综合评价问题呢？
2018/1/12 3
一、数据建模的一般问题 综合评价： 依据相关信息对实际对象所进行的客观、 公正、合理的全面评价。 如果把被评价对象视为系统，则问题： 在若干个(同类)系统中，如何确定哪个系 统的运行(或发展)状况好，哪个状况差？即哪 个优，哪个劣？
2 1 1.1086( x 0.8942) 则 f ( x) 0.3915ln x 0.3699 ,
1
,1 x 3 3 x 5
2018/1/12
14
二、数据处理的一般方法
3. 定性指标的量化处理方法
1 1.1086 ( x 0.8942 ) 2 f ( x) 0.3915ln x 0.3699 ,
2018/1/12 17
三、数据建模的综合评价方法 3. 逼近理想点（TOPSIS）方法
* * * 设定系统指标的一个理想点 ( x1 , x2 ,, xm ) ，将
每一个被评价对象与理想点进行比较。
如果某一个被评价对象指标 ( xi1 , xi 2 ,, xim ) 在某种意义 下与 ( x1 , x2 ,, xm ) 最接近，则被评价对象 ( xi1 , xi 2 ,, xim ) 为最好的。
2018/1/12 5
综合评价过程的流程
明 任 确 务 对 s1, s2 , , sn 进行综合评价 明 目 确 的 排序或 分类 ? 确 系 定 数 权 权 重 系 数 确定评 价指标 确定指标 初始值 指 预 标 处 的 理 规范化指标
x1 , x2 , , xm
选 价 择 模 评 型 综合评价指 标 y f (x, w) 计算综合 评价指标 依 指 标 y1, y2 , , yn 对 s1, s2 , , sn 排序或分类
10
二、数据处理的一般方法
3. 模糊指标的量化处理方法
在实际中，很多问题都涉及到定性，或 模糊指标的定量处理问题。 诸如 : 教学质量、科研水平、工作政绩 、人员素质、各种满意度、信誉、态度、意 识、观念、能力等因素有关的政治、社会、 人文等领域的问题。 如何对有关问题给出定量分析呢？
2018/1/12 11
假设 理想点 为 ( x , x ,, x ) ， 对于被评价 对象
* 1 * 2 * m
( xi1 , xi 2 ,, xim ) ，则定义二者之间的加权距离:
yi w j f ( xij x * j ), i 1,2, , n ，
j 1 m
* 其中 w j 为权系数，f ( xij , x* 为 与 x ) x ij j j 之间的某种意义
特别地，当某个 yi 0 时，则对应的方案就是最优的。
2018/1/12 20
四、数据建模的常用预测方法
1.插值与拟合方法：小样本内部预测； 应用案例：
（1）CUMCM2001-A:血管的三维重建问题； （2）CUMCM2003-A,C:SARS的传播问题； （3）CUMCM2004-C:饮酒驾车问题； （4） CUMCM2005-A:长江水质的评价与预测； （5） CUMCM2005-D:雨量预报方法的评价； （6） CUMCM2006-B:艾滋病疗法的评价与预测。
2018/1/12
1 n x j xij n i 1 1 1 n 2 2 s j [ ( xij x j ) ] n i 1
M j max{xij } 1i n [0,1] (i 1,2, , n; j 1,2, , m) m j min{xij } xij 1i n
2018/1/12 13
二、数据处理的一般方法
3. 定性指标的量化处理方法
当“很满意”时，则隶属度为１，即 f (5) 1 ； 当“较满意”时，则隶属度为 0.8 ，即 f (3) 0.8 ； 当“很不满意”时，则隶属度为 0.01，即 f (1) 0.01．
计算得 1.1086 , 0.8942 , a 0.3915 , b 0.3699 。
数据处理与数据建模方法
1. 数据建模的一般问题
2. 数据处理的一般方法
3. 数据建模的综合评价方法
4. 数据建模的预测方法
2018/1/12
1
一、数据建模的一般问题 数据建模一般问题的提出：
一般
•实际对象都客观存在着一些反映其特征的相 关数据信息； •如何综合利用这些数据信息对实际对象的现 状做出综合评价，或预测未来的发展趋势， 制定科学的决策方案？ --数据建模的综合评价、综合排序、预测与 决策等问题。
下距离。
2018/1/12 19
三、数据建模的综合评价方法
3. 逼近理想点（TOPSIS）方法
通常可取 f ( xij , x ) ( xij x )
* j
m * 2 j
* 2 则综合评价函数为 j ，
yi w j ( xij x ) , i 1,2,, n 。
j 1
按照 yi (i 1,2,, n) 值的大小对各被评价方案进行排 序选优，其值越小方案就越好。
* * *
基于这种思想的综合评价方法称为逼近理想点的排序方法 （ The technique for order preference by similarity to ideal solution，简称为 TOPSIS） 。
2018/1/12 18
三、数据建模的综合评价方法 3. 逼近理想点（TOPSIS）方法
一类多属性(指标)的综合评价问题。
2018/1/12 4
综合评价问题的五个要素
（1）被评价对象:被评价者，统称为评价系统。 （2）评价指标：反映被评价对象的基本要素， 一起构成评价指标体系。原则:系统性、科学性、 可比性、可测性和独立性。
（3）权重系数：反映各指标之间影响程度大小 的度量。
（4）综合评价模型：将评价指标与权重系数综 合成一个整体指标的模型。 （5）评价者：直接参与评价的人。
w1, w2 ,, wm
2018/1/12
6
二、数据处理的一般方法
1. 数据类型的一致化处理方法
一般问题的数据指标 x1 , x2 ,
极大型:期望取值越大越好；
, xm (m 1) 可能有
什么是一 致化处理? 为什么要 一致化?
“极大型” 、 “极小型” 、 “中间型” 和 “区间型” 指标。
极小型:期望取值越小越好；
中间型:期望取值为适当的中间值最好; 区间型:期望取值落在某一个确定的区间 内为最好。
2018/1/12 7
二、数据处理的一般方法
1. 数据类型的一致化处理方法
（1）极小型: 对某个极小型数据指标 x ，
1 则 x ( x 0) ,或 x M x . x
用非线性函数 y
x
j 1
m
wj j
作为综合评价模型，对 n
个系统进行综合评价。 其中 w j 为权系数， 且要求 x j 1 。 适用条件：各指标间有较强关联性。 主要特点： （1）突出了各指标值的一致性，即平衡评价指标值 较小的指标影响的作用； （2）权重系数大小的影响不是特别明显，而对指标 值的大小差异相对较敏感。
对 n 个系统进行综合评价。
适用条件:各评价指标之间相互独立。 对不完全独立的情况，其结果将导致各指标间 信息的重复，使评价结果不能客观地反映实际。
主要特点： （1）各评价指标间作用得到线性补偿； （2）权重系数的对评价结果的影响明显。
2018/1/12 16
三、数据建模的综合评价方法
2. 非线性加权综合法
（3）区间型：对某个区间型数据指标 x ，则
ax 1 c , x a x 1, a xb 1 x b , x b c
其中 [a, b] 为 x 的最佳稳定区间，c max{a m, M b} ，
M 和 m 分别为 x 可能取值的最大值和最小值。
1
,1 x 3 3 x 5
根据这个规律， 对于任何一个评价值， 都可给出一个合适的 量化值。 据实际情况可构 造其他的隶属函数。 如取偏大型正态分布。
2018/1/12 15
三、数据建模的综合评价方法
1. 线性加权综合法
用线性加权函数 y
w x
j 1 j
m
j
作为综合评价模型，
二、数据处理的一般方法
3. 定性指标的量化处理方法
按国家的评价标准,评价因素一般分为五 个等级，如A，B，C，D，E。 如何将其量化？若A-，B+，C-，D+等又如 何合理量化？ 根据实际问题，构造模糊隶属函数的量 化方法是一种可行有效的方法。
2018/1/12 12
二、数据处理的一般方法
假设有多个评价人对某项因素评价为A，B，C， D,E共5个等级: {v1 ,v2 ,v3 ,v4,v5}。 譬如：评价人对某事件“满意度”的评价可分为 {很满意，满意，较满意，不太满意，很不满意} 将其5个等级依次对应为5，4，3，2，1。 这里为连续量化，取偏大型柯西分布和对数函 数作为隶属函数： [1 ( x ) 2 ] 1 ,1 x 3 f ( x) 3 x5 a ln x b , 其中 , , a, b 为待定常数．
2018/1/12 23
2018/1/12 9
二、数据处理的一般方法
2. 数据指标的无量纲化处理方法
在实际数据指标之间， 往往存在着不可公度性， 会出现“大数吃小数”的错误,导致结果的不合理。
(1)标准差法： xij
(2)极值差法：xij
xij x j sj
xij m j
M j mj xij m j (3)功效系数法： c xij d M j mj
2018/1/12
21
六、数据建模的常用预测方法 2.回归模型方法：大样本的内部预测； 应用案例：
（1）CUMCM2004-A:奥运临时超市网点设计； （2）CUMCM2004-B:电力市场的输电阻塞管理； （3）CUMCM2005-A:长江水质的评价与预测； （4）CUMCM2006-B:艾滋病疗法的评价与预测；
（2）中间型: 对某个中间型数据指标 x ，则 1 2( x m) M m , m x 2 ( M m) x 2( M x) 1 , ( M m) x M 2 M m
2018/1/12 8
二、数据处理的一般方法
1. 数据类型的一致化处理方法
（5）CUMCM2008-B:高教学费标准探讨问题。
2018/1/12 22
六、数据建模的常用预测方法
3.灰预测GM(1,1)：小样本的未来预测； （1）CUMCM2003-A:SARS的传播问题； （2）CUMCM2005-A:长江水质的评价与预测； （3）CUMCM2006-B:艾滋病疗法的评价与预测； （4）CUMCM2008-B:高教学费标准探讨问题。 4.时间序列方法：大样本的随机因素或周期特征的 未来预测； （1）CUMCM2003-A:SARS的传播问题； （2）CUMCM2005-A:长江水质的评价与预测； （3）CUMCM2006-B:艾滋病疗法的评价与预测。