数据清洗技术-36页PPT文档资料

数据清理技术
冯国双
中国疾控中心卫生统计室数据清洗 从数据收集结束，到统计分析之前，需要对数据 做的清理工作
数据清洗
数据双录入对比 数据合并 查找重复值 查找缺失值 查找异常值
双录入对比
Excel用到的函数：
If函数 If(判断条件,条件满足返回值,条件不满足返回值)
(height<=150 or height>=200) | (weight<=40 or weight>=100) | (marriage not in (1,0)) | (nation not in (1,2)); proc print; run;
查找异常值
查找异常值
data b2; set a1; if (gender not in(1,2,.)) | (age^=. and (age<=18 or age>=60)) | (height^=. and(height<=150 or eight>=200))
当需要查找重复值时，by语句指定的变量就是需 要查找的重复值变量。
查找重复值
data a1;
input id g gender age marriage height weight
nation;
cards;
……（数据）
；
proc sort nouniquekey out=bb;
by语句指定的变量有点类似于索引的作用，通常 指定id号。如果两个数据集的观测数不同，利用 by语句可以保证它们比较的仍然是同一个id号， 而不会出现错位比较的情况。
双录入对比
data a1; input id g gender age marriage height weight nation; cards; ……（数据） ; data a2; input id g gender age marriage height weight nation; cards; ……（数据） ; proc compare base=a1 compare=a2 nosummary; run;
选项nouniquekey的作用跟nodupkey正好相反，如果 by语句指定的排序变量都是唯一值，则将其删除。如按 id排序，如果id没有有重复值，则全部删除。
查找重复值
by语句指定排序的变量，可以指定多个。选项 descending表示按降序排序，如果不加该选项 ，默认的是按升序排序。
gender
查找异常值
height
age
weight
marriage
一舟春风钓长河， 两岸翠绿荡山歌。 疑临陶翁忘返处， 却是冯君信手乐。
盆景 冯国双 配诗 陈景武
| (weight^=. and (weight<=40 or
weight>=100))| marriage not in (1,0,.) | nation not in (1,2,.); proc print; run;
查找异常值
查找异常值
data gender(where=(gender not in(1,2,.))) age(where=(not missing(age) and(age<=18 or age>=50))) marriage(where=(marriage not in(1,0,.))) height(where=(not missing(height) and(height<=150 or
双录入对比
SAS命令： proc compare <base=数据集 compare=数据
集> <nosummary> ; by 变量1 变量2 ……; run;
双录入对比
proc compare语句调用数据比较过程，选项 base和compare分别指定两个比较和被比较的 数据集；nosummary的作用是不显示一些概括 性的结果。
两个表达式至
如grade in(2,4,6)
少一个成立）
表示只要是grade为2、4、6中
的其中一个就算符合条件；
dept not in(“A”, “B”)
表示只要dept不是“A”或“B”
就算成立
查找异常值
data a1; input id g gender age marriage height weight nation; cards; ……（数据） ； data b1; set a1; if (gender not in(1,2)) | (age<=18 or age>=60) |
查找异常值
常见运算符
符号 +和*和/ ^ =、<>、 >、<、 >=、<= and
or
说明
示例
加减运算
=3+2-4=1
乘除运算
=3*2/4=1.5
乘幂
=3^2=9，=16^(1/2)=4
等于、不等于
=(A2=9)，判断A2是否等于9
大于、小于
=(A2<>9)，判断A2是否不等于9
大于等于、小于等于 =(A2>=9)，判断A2是否大于等于9
查找重复值
proc sort语句调用排序过程。选项out=数据集指定排序 后的数据集名。因为排序后数据发生了变化，因此可指定 该选项将排序后的数据存放到一个新的数据集中。如果不 加该选项，排序后的数据集将覆盖原有数据集，这样你就 找不回原有的未排序的数据了。
选项nodupkey表示如果by语句指定的排序变量有重复 值，则删除重复值。如按id排序，如果id有重复值，则只 保留重复值中的第一个值，删除其它值。
双录入对比
双录入对比
查找缺失值
Excel函数：
If函数 If(判断条件,条件满足返回值,条件不满足返回值)
exact函数——比较两个文本是否相同 exact(比较文本1,比较文本2)
offset函数——返回给定偏移量的新区域 offset(参照区域,行,列)
查找缺失值
height>=200))) weight(where=(not missing(weight) and(weight<=40 or
weight>=100))) nation(where=(nation not in(1,2,.))) ; set a1; run;
查找异常值
proc print data=gender; var id gender; proc print data=age; var id age; proc print data=marriage; var id marriage; proc print data=height; var id height; proc print data=weight; var id weight; proc print data=nation; var id nation; run;
算术运算符
比较运算符
逻辑运算符
+（加）、 -（减）=（等于）、 ^=（不等于）
& 或 and （ 表
*（乘）、 /（除） >（大于）、 <（小于）
示2个表达式
** （ 幂 次 方 ， 如 >=（大于等于）、 <=（小于等 同时成立）
**3 表 示 3 次 方 ， 于）
| 或or（表示
**2表示2次方） in，表示其中之一，
small(数据区域,第几小 ) 计算单元格范围的第几小的数值
Column() 返回单元格所在号
Row() 返回单元格所在行号
查找缺失值
SAS可用missing函数实现 如果结合数组和自动变量，可以一次性实现所有
变量缺失值的输出
查找缺失值
data a1; input id g gender age marriage height weight nation; miss_g=missing(g); miss_gender=missing(gender); miss_age=missing(age); miss_marriage=missing(marriage); miss_height=missing(height); miss_weight=missing(weight); miss_nation=missing(nation); cards; ……（数据） ； proc print;
exact函数——比较两个文本是否相同 exact(比较文本1,比较文本2)
offset函数——返回给定偏移量的新区域 offset(参照区域,行,列)
双录入对比
small(数据区域,第几小 ) 计算单元格范围的第几小的数值
Column() 返回单元格所在号
Row() 返回单元格所在行号
查找缺失值
缺失值结果
查找重复值
Excel函数： countif(计数区域,条件 )
根据指定条件，在计数区域内计数
查找重复值
SAS命令：
proc sort <out=数据集> <nodupkey> <nouniquekey>;
by <descending> 变量1 <descending> 变量2 ……; run;
run;
查找缺失值
部分结果
查找缺失值
利用数组和自动变量 data missing; set a; array cha[*] _character_ ; do i=1 to dim(cha); if missing(cha[i]) then output; end; array num[*] _numeric_ ; do i=1 to dim(num); if missing(num[i]) then output; end; drop i; proc print; run;