数据处理与分析ppt课件

；.
10
审核的指导方针
审核的目标是： - 更好地理解数据和数据处理过程； - 检查问卷； - 回访被调查者； - 检出错填或漏填的数据； - 删除无效记录； - 分离需要插补的记录。
；.
11
审核的准则：
审核不仅对整理数据有用，而且审核失效发生率不论是对当前调查的质 量度量，还是对将来调查的改进都很有用，它能提供调查中有关数据处 理的信息；
代码）。
；.
2
2）数据录入
数据录入是将回答转化成可机读的形式。 采用纸张式收集数据的方法时，数据录入是在数据收集完毕之后（通常 是在对问卷进行一些“梳理”和初步审核之后）进行。 采用计算机辅助数据收集方法时，数据录入是在数据收集的同时完成的。
；.
3
下面几种方法可以提高数据录入的效率： 采用计算机辅助数据收集方法； 对纸张式问卷进行光电扫描； 对纸张式问卷进行预先编码。
在这种情况下，通常可以将这些记录剔除，作为无回答处理，同时将赋 予各被调查单元的权数进行调整。
；.
8
对大多数审核失效都应该加以标示，留待作插补处理。
对于有些项目，我们可以用特殊代码标示的方法，对确认为审核失 效而不可接受的值或无效的空白加以保留。
；.
9
选择性审核
选择性审核基于这样一种思想：即只有那些“关键”的审核失效，而不 是所有的审核失效，才需要采取相应的处理措施。选择性审核一般适于 定量数据。 对审核失效进行选择性审核时，可能需要对被调查者进行再访，但对于 那些需要进一步处理和插补的记录的审核失效除外。
均值插补通常在没有辅助信息可用或只有少量记录需要作插补处理时， 才被采用。
；.
19
4.3 比（率）或回归插补
比率或回归插补是使用辅助信息及其它记录中的有效回答建立一个比率 或回Fra Baidu bibliotek模型，该模型表明了两个或多个变量之间的关系。 例如，比率插补所使用的模型为：
其中：yi是变量y的第i个单元值；
是xRi是是模直与型线变的的量随斜y机相率误关（y差的i即项变每，量R 变均x动的值ix一第为个i0个、单i单方位元差，值为平；。均变动的数值）；
；.
5
通常，审核规则的确定基于以下几个方面： 关于调查主题的专业知识； 问卷和问题的结构； 其它相关的调查或数据； 统计理论（如离群值的检测方法）。
；.
6
数据收集完毕后，对审核失效，通常按下列方法进行处理： 将其剔除； 进行插补； 设立特殊代码。
；.
7
有些时候，一条记录（或整份问卷）不符合多条审核规则的要求，或者 不符合少数几条关键审核规则的要求，从而使得后续的处理失去意义。
i
；.
20
y 这时， 的插补值按如下公式计算： i
式中： 是变量y第i个记录的~y插i 补值xy；xi
是插补类中记录的x值的均值；
是~y插i 补类中记录的y值的均值。 x 这里我们假定，拟合一个插补类中有效数据（即通过了所有的审核）
；.
4
3.审核
审核是应用各种检查规则来辨别缺失、无效或不一致的录入，这些会导 致数据记录的潜在错误。审核的目的就是要保证调查最后所得的数据的 完整性、一致性和有效性（包括逻辑性）。 审核主要可分为三类：即有效性审核、一致性审核与分布审核。有效性 审核和一致性审核是对单张问卷进行的审核；分布审核则是对全部问卷 或部分问卷的数据一起进行审核。
各阶段所进行的审核不应与其它阶段的审核相抵触；
应该将审核的信息和审核工作对调查数据的影响通知数据的用户。
；.
13
4.插补
插补就是解决在审核过程中辨别出来的数据缺失、无效与不一致等问题 的过程。插补是对审核过程中发现的所有缺失信息的记录进行补充或用 合适的数值进行替代，确保得出内在一致的记录。
；.
14
数据处理
（数据）处理就是把调查中收集到的数据转换为适合汇总制表和数据分 析的形式。 数据收集完毕之后,估计之前对数据进行加工处理的所有活动:主要包括 数据的编码、录入、审核、插补、离群值的检测和处理等。最后生成一 个为进一步分析用的数据库。
；.
1
1.编码
编码是给问题的每项答案赋予一个数值代码，以便于数据录入和作进一 步处理的过程。 编码具体方法很多，包括： 问卷中已预先编码； 在数据收集完毕之后进行手工编码； 通过文本识别软件进行自动编码（即借助软件给一串字符赋予一个
插补方法可以归为两类—随机插补和确定性插补。 确定性插补，对于特定的被调查的数据，可能的插补值只有一个。 随机插补则含有随机因素因此，每次得出的插补值可能会不一样。
；.
15
几种确定性插补方法如下：
- 推理插补； - 均值插补； - 比（率）/回归插补； - 序贯热平台插补； - 序贯冷平台插补； - 最近邻值插补。 每一种确定性的插补方法都对应着一种随机插补方法。插补定量数据时， 用确定性的方法得出一个插补值，加上从某个适宜的分布或模型产出的 一个残差作为最后的插补值，就成为随机插补。
不论什么时候，开始一项调查时，总是要对数据做一些假定，审核时可 以检验这些假定的合理性。例如，可能很明显，有些领域的审核规则太 严，或者有些类型的审核失效太频繁，这些情况表明审核规则可能不太 合适（或问卷可能存在问题）；
；.
12
审核应该分阶段进行；
审核工作应由对本次调查的主题、问卷的设计和数据分析有专业知 识、并且有类似调查经验的人员来进行；
；.
16
随机插补能更好地保持数据集的频数结构，保持比确定性插补方法更真 实的变异性。
除供者插补方法外，下面介绍的方法可逐项进行插补。
所谓的供者插补方法，就是用一个供者来插补一个受者的所有缺失的或 不一致的数据。
；.
17
4.1推理插补
推理插补：缺失的或不一致的数据能通过推断确定。通常，这种推理是 根据问卷上其它回答项的模式来进行的。 下面简述一些常用的插补方法。对所有这些插补方法，最好是把类似的 记录归为一组，就象进行无回答权数调整时一样，这些组称为插补类。
；.
18
4.2 均值插补
用均值插补，缺失或不一致的值可用插补类的均值来代替。对缺失数据， 用均值插补相当于对同一插补类中的所有被调查者使用相同的无回答权 数进行调整。
均值插补会得到较好的点估计，但由于在插补类均值这一点形成一个人 为的“峰值”，从而破坏了分布状态和变量之间的关系。因此，如果用 常规的抽样方差公式进行计算，就会低估最终的方差。