数据分析与处理

Ref: edit regress.m
regress函数可用于多重线性或广义线性回 归分析,特别地也适合作一元线性回归分析
p-重广义线性回归模型
y1 f1(x11)
y2 yn
f1 ( x21 )
f1 ( xn1 )
f2 (x12 ) f2 (x22 )
f2 (xn2 )
Ref: pdist
常用聚类方法
• 最短距离法(single linkage method) • 最长距离法(complete linkage method) • 中间距离法(median method) • 重心法(centroid hierarchical method) • 类平均法(average linkage method) • 离差平方和法(Ward method)
62
178
45.3
40
75.1
6
62
185
54.3
44
85.8
5.2
45
156
59.6
42
68.2
4.9
40
166
49.9
38
89
5.5
55
178
44.8
47
77.5
7
58
176
45.7
40
76
7.2
70
176
49.1
43
81.2
6.5
64
162
39.4
44
81.4
7.9
63
174
60.1
38
81.9
• 与系统聚类法相关的MatLab函数包括:
• pdist; squareform; linkage; dendrogram; cophenet; inconsistent; cluster; clusterdata
3. 从Excel文件导入数据到MatLab工作区 1) import data, 工作区变量 data, textdata 2) 用xlsread调入数据
4. 从MatLab写出数据到Excel文件 xlswrite函数 e.g. [s,t]=xlswrite(filename,var)
5. 从MatLab操作Excel文件
对于多元数据,当各变量的量纲和数量级不一致时,往往需要对数据 进行预处理,以消除量纲和数量级的限制,便于分析. 2. 数据的标准化变换
3. 数据的极差归一化变换
数据的标准化变换
极差归一化变换
X ( xij )(np)
xiRj
xij
min 1k n
xkj
max
1k n
xkj
min
1k n
xkj
x2 p xnp
2
p
2 n
y1 1 x1
1
y2 yn
1 1
xxn2
k
2 n
最简单的情形:一元线性
多重回归分析
假设的关联数据 dchg.xls
序号
y
1 2 3 4 5 6 7 8 9 10 11 12 13
x1
x2
x3
x4
x5
44.6
44
89.5
6.8
X R (xiRj )(np)
经过极差变换,每个元素位于[0,1],列的最大最 小元分别变换为1与0
数据拟合
0. 观察数据的散点图,辅助判别数据拟合应采 纳的模型
plot_1.m 数据文件:cliamate_data.xls plot_2.m 数据文件:data2009.xls
• 一元线性回归分析函数regress
i1 j i1
i 1
一次项交叉项二次项多重回归
聚类分析
• 研究样本或指标之间存在程度不同的相似性（亲 疏关系——以样本间距离衡量）。根据一批样本 的多个观测指标，具体找出一些能够度量样品或 指标之间相似程度的统计量，以这些统计量为划 分类型的依据。把一些相似程度较大的样本（或 指标）聚合为一类，把另外一些彼此之间相似程 度较大的样本（或指标）又聚合为另一类，直到 把所有的样本（或指标）聚合完毕，这就是分类 的基本思想。 在聚类分析中，根据分类对象的不 同分为Q型聚类分析和R型聚类分析两大类。
f p (x1p ) 1 1
f f
p p
(x2 p ( xnp
) )
2
p
2 n
误差向 量
Y的n次独立观 察数据
模型设 计矩阵
X
需要拟 合估计 的系数 向量
p-重线性回归模型
y1 x11 x12
y2 yn
ຫໍສະໝຸດ Baidu
x21 xn1
x22 xn2
x1p 1 1
5.2
48
170
50.5
44
73
6.1
45
168
37.4
45
87.7
8.4
56
186
44.8
45
66.5
6.7
51
176
一次项多重回归
yˆ b0 b1x1 b2 x2 b3x3 b4 x4 b5 x5
5
45
5
yˆ b0 bi xi
bij xi x j bii xi2
i 1
Excel = actxserver('Excel.Application'); Excel.Visible = 1; 将Excel作为ACtiveX服务器打开,与MatLab交互, ref VBA
e.g. test_Excel.m
数据预处理
1. 数据的平滑处理 smooth函数的使用 smooth_1.m ref: smooth.pdf
数学建模基础选讲
《数据分析与处理》
主讲: 数理与信息工程学院 何国龙 2011年8月8日
数据导入与导出
1. 从外部文本文件导入数据到MatLab的工作区;
1) File/Import data 2) 利用内置函数
高级IO函数 load Importdata dlmread textread strread
低级IO函数 fopen fclose fgets fgetl textscan
数据交换示意图
… … MatLab程序区数 据
外部数据文本
外部Excel文件
2. 将MatLab的工作区数据写出到外部磁盘文件; 1) save (e.g. save '123.txt' test -ascii save '123' test ->123.mat) use load to retrieve 2) dlmwrite ref pdf help file 3) fprintf ref out_data.m
常用的样品对距离
dij (q)
p
|
k 1
xik
x jk
|q
1/ q
p
dij (1) | xik x jk | k 1
dij (2)
p
( xik
x jk
)2
1/ 2
k 1
dij ()
max |
1k p
xik
x jk
|
dij (M ) ( Xi X j )S 1( Xi X j )', S cov(X )