数据科学导论课件第四章数据整理案例

12
形成各个时期不同国家的多元时间序列
• 只选V6 (GDP)一个经济指标, 先形成以时间为行, 以国家为列的数据(赋值给 对象GDP), 然后挑选金砖五国的列(列号: 28; 44; 95; 163; 182), 再用函数ts 转换成时间序列类型, 最后画出图4.3.
13
形成各个时期不同国家的多元时间序列
• 请读者比较下面的运算(对R6.csv 最后两个变量的汇总):
#把合并的结果数据存成csv文件
21
三 世界卫生组织案例之二
22
世界卫生组织案例之二
• 选择10 个数据, 这些数据在网站上的名字及含义如下表
23
输入并识别数据
library(stringr) RFiles=c( "R1.csv" , "R10.csv", "R11.csv", "R13.csv", "R14.csv", "R15.csv", "R2.csv", "R6.csv", "R8.csv", "R9.csv") RN=str_sub(RFiles,1,-5) #选取没有扩展名".csv"的字符串: #第1到倒数第5个(-5) RS=lapply(RFiles, function(x) read.csv(x,na.strings = "-"))
• Files=paste0(NN,".csv") • DF=lapply(Files, read.csv) • a=list(a=c(2,5,1,7),b=list(c(1:9,89,-
1),"New","Happy"), LETTERS) • a$a[2] • a[[1]][4]
18
数据提取
• DF=list() #定义一个空list, 下面再往其中赋值 • for (i in 1:length(Files))
Z=as.character(x)
P=gregexpr(pattern ='[',Z, fixed = TRUE) #找到"["的位置
for(i in 1:length(Z))
Z[i]=str_sub(Z[i],1,P[[i]][[1]][1]-1) #保留"["的位置前面的内容
Z=Z%>%as.character%>%as.numeric()
• 形成每个国家各个时期不同指标的多元时间序列 – (如: 行代表年份, 每列一个经济指标);
• 形成每年的不同国家各个指标的横截面数据
– (如: 行代表国家或地区, 每列一个经济指标);
• 形成单项指标的各个时期不同国家的多元时间序列 – (如: 行代表年份, 每列一个国家).
7
形成2016年各国的多指标数据
# 选V4, V5作散点图并拟合loess曲线
10
形成日本各个时期不同指标的多元时间序列
library(magrittr) #用于调用算子%$% #第一种方法: 固有R函数画图. 前四行产生数据, 最后三行画图 tb %>% subset(Country.or.Area=="Japan")%>% #选定日本 select(-Country.or.Area)%>% #选择除国家、地区之外的变量 spread(key = "Item",value = "Value")%>% #经济指标为列, 时间为行 select(-Year)%>% ts(start=1970,end=2016)%>% #标为时间序列 plot(plot.type="single",col=11:19,lty=1:9)%$% #时间序列图 legend("topleft",paste0("V",1:9),col=11:19,lty=1:9,cex=.7) #图例
24
删除多的行和列
library(tidyverse) Trash=c("1","footnoteSeqID","10","11","2","3","4","5 ","6","7","8","9") '%!in%' <- function(x,y)!('%in%'(x,y)) #等价于!(x%in%y) RS=lapply(RS, function(x) x[x[,1]%!in% Trash,] ) #只取Trash之外的行 RS=lapply(RS, function(x) select(x,-Value.Footnotes)) #去掉注释列
• #产生以时间为行, 以国家为列的只有GDP(V6)一个指标的数据
GDP=tb %>%
subset(Item=="V6")%>%
select(-Item)%>%
spread(key = "Country.or.Area",value = "Value") #准备选择BRICS国家, 下面重设国家名字(原数据是很长的国家全名)
• 第2步 整理GDP1.csv数据.
tb2016 <- tb[tb$Year==2016,-2]%>% #选中2016之后去掉Year列 spread(key = "Item", value = "Value") #转换Item元素为列, Value为值 tb%>% #原始数据 %>%是程序包purrr 提供的一个“管道” 性质的算子, 可以把一系列操作串起来而不用每次存一个对象.
BS=c("Brazil","China","India","Russia","South Africa")
GDP[,c(28,44,95,163,182)]%>%
#只取金砖国家的列
ts(start=1970,end=2016)%>%
plot(plot.type="single",col=1:5,lty=1:5)%$%
• 数据共包括220 个国家, 9 个指标及最多47 年的记录, 理论上应该有220*9*47 =
93060 个记录, 但由于不一定所有国家都提供了同样多的指标, 对于每个指标
也不一定提供了那么多年, 因此实际上只有83060 条观测值(行).
5
数据相关符号及含义
6
整理成“观测值-变量”矩形数据
数据科学导论
— 第四章 数据整理和清理案例
1
本章导言
• 整理及清理数据是任何数据科学家必定会遇到的问题. • 数据存储格式千差万别,不存在统一的方法. • 本章通过例子介绍如何进行数据整理和清理. • 本章处理后的数据可能在后面章节用到. • 一般的“教科书数据”往往都不需要多少加工就可以直接
使用, 所以本章可作参考或者自学之用.
• DF=lapply(DF, function(x) x[x[,1]%in% U,] ) • #只取trash之外的部分
• DF=lapply(DF, function(x) select(x,-
Value.Footnotes))
#去掉注释列
20
把多个数据合并成一个数据
• x=DF[[1]] • for(i in 2:length(NN)) •{ • x=merge.data.frame(x,DF[[i]],by="Country.or.Area") •} • write.csv(x,"DP.csv",s = FALSE)
26
其他问题
levels(RR$R2)[2]=str_sub(levels(RR$R2)[2],2,4)
#去掉第二个水平中的"<" RR$R2=as.numeric(levels(RR$R2))[RR$R2] #标记成数量变量
#通过自编的函数舍弃6到14列的以方括号显示的区间(保留前面数字)
ZZ=function(x){
return(Z)}
27
四 数据中的缺失值
28
缺失值的审视与标记
• 缺失值已经标明的情况 • 数据中往往有缺失值, 首先假定缺失值是用字符NA标记的, 这是R
系统可以自动识别的标准记号. • 对于这种数据对象, 可以使用程序包mice9的函数md.pattern
(对应于英文missing data pattern) 可以得到一个数据的缺失 值的基本情况. • library(mice) • md.pattern(DRmix[,26:32])
29
缺失值的审视与标记
• 缺失值未标明的情况
• 如果原始数据没有注明有没有缺失值, 人们不可能在读入文件时猜测 哪些值会缺失, 这时就利用“手工” 程序和逻辑判断来“捕捉” 缺失 值.
• 如原始数据已经说明缺失值的标记, 则在读入时就可以自动标出缺失 值. 比如, 例4.4的缺失值来自文件R6.csv, 而且缺失值是用"-" 标记的, 在读入该数据时加入一个选项na.strings="-" 来自动把"-" 标为NA.
11
形成日本各个时期不同指标的多元时间序列
• #第二种方法: ggplot画图. 前两行产生数据, 最后三行画图
• tb %>%