抽样调查-第11章 调查中的非抽样误差
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
减少计量误差需要对调查全过程进行质 量监控： （1）调查设计方面 调查问卷设计出来后， 应组织有关人员对问卷进行讨论。如果是大 型调查活动，还要在正式调查之前进行预调 查，在实践中对问卷进行检验。
（2）现场准备方面 在收集数据之前，需要 做好准备工作：招聘调查员；培训访问员； 编写调查手册。
（3）调查结果审核方面 审核是对调查质量
§11.5 离群值的检测和处理
一、离群值的概念
离群值是指调查数据集中的极端值，是 指与其他数据明显不一致的观测值。离群值 的出现可能有以下两个原因：
由于数据本身具有的差异性。看起来值 得怀疑的东西也许是真实的； 由于被调查者回答数据有错误或调查人员 记录数据有错误。
二、离群值的确认
通常离群值的检测是通过测量它们与数据 中心的相对距离来辨认的。
N1 n Y yi n i 1 显然此时的估计是有偏的，偏倚为：
E (Y ) Y Y1 Y Y0
这表明估计量低估了总体总量，令
N0 r ,W0 N Y1
Y的相对偏倚可以写为
Y0 W0 r Y rW0 (1 W0 )
Y0
r
由上式可知，总体总和的相对偏倚取决于
如果把采集数据的过程划分为查找、接触和采 访三个阶段，三个阶段都有可能出现无回答。
1、查找阶段 调查人员无法找到被调查者， 主要原因有地址不详、被调查者搬迁、调查人 员不熟悉地址； 2、接触阶段 被调查生病、对调查不感兴趣 或别的原因拒访； 3、采访阶段 调查开始后被调查者对某些问题 不愿提供答案、调查员由于粗心遗漏某些项目等
2、在抽样调查中，由于非抽样误差的影响，往往造成 估计量的有偏；
3、有些非抽样误差难以识别和测定。如抽样框是不完 善的，而调查设计人员并没有意识到； 4、有些非抽样误差成因复杂，对其研究不够，因此， 在很多时候非抽样误差比抽样误差造成的影响更严重， 对此必须引起高度重视。
根据非抽样误差的来源、性质 可分为以下三类： （1）抽样框误差，即由不完善的抽样框引起的
三、降低无回答的措施
主要措施是预防，预防措施有： ●问卷设计得具有吸引力； ●注意适当的长度； ●充分利用调查组织单位的权威性和影响力； ●注意调查员的挑选； ●做好调查员的培训； ●注意调查过程的监控； ●奖励措施； ●再次调查。
四、对存在无回答数据的调整
调查中无回答的情况总是难以避免，由于 无回答造成数据不全，如果不加处理，就有可 能造成估计量偏倚。下面介绍几种数据调整的 方法： 1、再抽样调整 在第一次无回答的单元中随机抽取一个子样 本，通过更细致、更充分的工作，获得该子样 本的数据，作为整个无回答层的代表值。
由上式可以看出，如果丢失单元的均值与
抽样单元的均值相同，即 反之，如果
Y
r 1 ，则估计量 Y
是目标变量 Y 的无偏估计。
r 1 ，偏倚状况则随着 r
的变化而变化。
三、不完善抽样框的使用
抽样框不完善并不是不能使用，因为构造一个完 善的抽样框有时是非常困难的。使用不完善抽样框时 若能采用一些补救措施，有助于减小抽样框误差。主 要采用以下三项补救措施：
(m tl s, m tu s)
式中 t l 和 t u分别为根据预先确定的置信度得到 的标准正态分布的上限和下限值。落在这个区
间之外的观测值被认为是离群值。
三、离群值的处理
如果在调查进行中发现离群值，就要及 时处理，例如进行回访核实，对错误进行更 正。
如果在调查完毕后的审核中发现离群值， 通常对离群值采用插补处理，即将离群值剔 除，然后使用插补法调整。 如果在审核时没有进行处理的离群值可以 在估计的时候处理。估计时有以下三种方法 处理离群值：
r
和 W0
■ 总体均值的估计 在抽样框存在丢失单元情况下，均值估计量为：
r Y
1 Y n
y
i 1
n
i
此时估计量的偏倚为： E (Y ) Y
Y 的相对偏倚可以写为：
W0 (Y 1 Y 0 )
W0 (Y1 Y0 ) Y
W0 (1 r ) rW0 (1 W0 )
●利用核查，掌握误差情况，对不完善抽样框 进行调整； ●事先制定一些规则，对发现的抽样框问题进 行现场处理； ●使用多个抽样框进行抽样。
§11.3 无回答误差
一、概念
无回答误差是指在调查中由于各种原因， 调查人员没能够从入选样本的单元处获得所 需要的信息，由于数据缺失造成估计量的偏 差。
无回答误差是一种重要的非抽样误差，这 种现象十分普遍，对估计量的危害也比较大， 所以国际上对这方面的讨论一直比较热烈， 目前这种讨论还在继续。
误差；
（2）无回答误差，即由于种种原因没有从被调
查单元获得调查结果，造成调查数据的缺失； （3）计量误差，即所获得的调查数据与其真值 之间不一致造成的误差。
§11.2 抽样框误差
一、概念
抽样调查中的总体有两个：
目标总体—调查研究对象的全体。
抽样总体—从中抽取样本的总体。 （即抽样框） 理想抽样框的标志是目标总体和抽样总 体完全重合。否则抽样框就是不完善的。
无回答是因为被调查者生病或很忙，无法接
受调查）
有意无回答对数据质量的影响很大，回答
者和不回答者之间往往存在系统性差异。这
种不回答不仅减少了有效样本量，造成估计 量方差增大，而且会带来估计偏倚。 无意无回答可以看成是随机的，这种不回 答虽然会造成估计量方差增大，但通常认为 不会带来估计偏倚。
二、无回答产生的原因及影响
偏倚( y1 ) E( y1 ) Y
R0
Y 1 (R1Y 1 R0 Y 0 ) R0 (Y 1 Y 0 )
Y
相对偏倚 ( y1 )
R0 (Y 1 Y 0 )
由上式可以看出：无回答偏倚主要来自两
个方面：一个是回答层与无回答层之间的数量
差异 (Y 1 Y 0 ) ；一个是无回答率 R0 。
例如，若 y1 , y 2 ,, y n 是要观测的样本数 据，m 和 s 分别是侧度数据集中趋势和离散 趋势的指标，那么， yi 离数据中心的相对距 离可以定义为
| yi m | di s
tl tu
如果 d i 越过了预先确定的偏离值，那么该 观测值就被认为是离群的。 另外，离群值也可以通过下面的置信区间 进行确认：
第十一章 调查中的非抽样误差
§11.1 引言
非抽样误差是指除抽样误差以外的,由于
各种原因引起的误差。 在概率抽样、非概率抽样、其他全面调
查和非全面调查已及普查中，非抽样误差都 有可能存在。
同抽样误差相比，非抽样误差有如下特点：
1、非抽样误差不是由于抽样的随机性带来的，所以在 抽样调查中，它不可能随着样本量的增大而减小；
二、抽样框误差的Biblioteka Baidu型及影响
（1） 抽样框误差的类型
● 丢失目标总体单元。
● 包含非目标总体单元。
● 抽样框中的单元与目标总体单元不一一对
应。（存在一对多或多对一的情况） ●不正确的辅助信息。（如分层抽样、不等 概抽样、比率估计和回归估计等所需的辅助 信息）
（2）对抽样框误差的基本认识
●有些误差来自构成抽样框资料本身，而不 是由于抽样设计的问题。 ●抽样框存在的问题，有些是不容易解决的。 因此抽样框的维护、抽样框使用情况的不断 总结与研讨，对于经常性的调查项目来说是 十分必要的。
从无回答的内容来看可分为：
单元无回答
（被调查单元没有参入或拒绝受调查，他
们交的是一份白卷）
项目无回答
（被调查单元虽然接受了调查，但对其
中的一些项目没有回答）
从无回答的性质来看可分为：
有意无回答
（有意无回答常常与调查内容有关，如对调
查内容反感，或涉及个人隐私不愿意回答）
无意无回答
（无意无回答常常与调查内容无关，之所以
§11.4 计量误差
计量误差是指由于种种原因，调查中所获得的 数据与真值不一致。计量误差主要成因来自于以 下几个方面：
● 设计误差（设计方面原因造成计量误差）
●被调查者误差（被调查者提供的数据失真）
● 调查者误差（现场调查人员造成的误差）
● 其他误差（由于测量工具、编码、录入）
减少计量误差的措施
●抽样框的不完善并不是不能使用。可以进 行修补、调整。
N1
（3）抽样框误差的影响 设目标总体单元：N 抽样框中单元：N1 抽样框中丢失的单元：N0 N=N1+N0 ■ 总体总量的估计 总体总量的真值是：
N1
Y Yi Yi Y1 Y0
i 1 i 1
N1
N0
现从抽样框中的N1个单元中采用简单随机 抽样抽出容量为n的一个样本，由于n取自于N1 对总体总量的估计为：
YW
N nk ( yi kynk ) n i 1
●调整权重
处理离群值的另一种方法是降低离群值 的权重，从而使它们的影响变小。例如，赋
予离群值的权重为1，即离群值仅仅代表它自
己而不代表其他总体单元。
●选取稳健估计量
在经典的估计理论中，通常假定估计量服
从正态分布，样本均值和样本方差估计量在正
2、加权调整 对存在无回答数据进行补救的另一种方法 是采用加权调整。加权调整法是通过对调查中 所获得的回答数据使用加权因子，达到对数据 的调整，减小由于无回答造成的估计偏倚。 3、相关推估法
相关推估法主要用于调查中的项目无回答，
即调查单元不是完全拒绝调查，而是拒绝其中
某些项目的调查。这时可以利用回答项目的信
进行控制的一道重要的工序，也是减少计量 误差的有效方法。审核的目的是要保证调查 所得数据的完整性、一致性和有效性。 审核可以在调查过程中的任何阶段进行： 收据数据时进行审核 （调查员在调查进行过程中根据常识和经 验，可以判断出一些问题的答案是否属于 “可接受”范围） 数据收集完毕后的审核 （审核的重点是数据的一致性审核和离群 值的检测）
息对无回答数据进行推估。
4、插补调整 在数据整理阶段，利用调查结果，采用一 定的方式，为无回答的缺失值确定一个合理 的估计值，插补到原缺失数据的位置上。 实际使用时，用得较多的是均值插补，其 方法是：首先根据辅助信息将样本分为若干 组，是组内各单元的主要特征相似。然后分 别计算各组目标变量Y的均值，将各组均值作 为组内所有缺失项的替补值
态分布的假设下也是最理想的。但是，这些估 计量对离群值非常敏感。 稳健估计量则能克服这种局限性，例如中 位数比均值更稳定，四分位数比通常的方差估 计量更稳定。
（第十一章结束）
无回答的影响： 回答层（N1） 总体（N） 无回答层（N0）
N N1 N 0
则总体均值为：
N0 N1 R1 , R0 N N
Y R1Y 1 R0 Y 0
回答层样本(n1 )
总体样本（n）
无回答层样本(n0 )
根据回答层单元计算出的样本均值为 y1
用 y1作为总体真值 Y 得估计量，其偏倚 为：
●改变数值
这种方法首先要将样本数据按从大到小依 次排序，然后再按下面的步骤计算： 在简单随机抽样中，总体总量 Y 的无偏估 计公式为：
N Y n
y
is
i
式中，i表示样本中第i个单元，s为所有样本 的集合.
若样本数据中第k个最大值kth被认为是离 群值，单侧k次缩尾估计量就可以通过第n-k 个最大值yn-k代替这些离群值，即
（2）现场准备方面 在收集数据之前，需要 做好准备工作：招聘调查员；培训访问员； 编写调查手册。
（3）调查结果审核方面 审核是对调查质量
§11.5 离群值的检测和处理
一、离群值的概念
离群值是指调查数据集中的极端值，是 指与其他数据明显不一致的观测值。离群值 的出现可能有以下两个原因：
由于数据本身具有的差异性。看起来值 得怀疑的东西也许是真实的； 由于被调查者回答数据有错误或调查人员 记录数据有错误。
二、离群值的确认
通常离群值的检测是通过测量它们与数据 中心的相对距离来辨认的。
N1 n Y yi n i 1 显然此时的估计是有偏的，偏倚为：
E (Y ) Y Y1 Y Y0
这表明估计量低估了总体总量，令
N0 r ,W0 N Y1
Y的相对偏倚可以写为
Y0 W0 r Y rW0 (1 W0 )
Y0
r
由上式可知，总体总和的相对偏倚取决于
如果把采集数据的过程划分为查找、接触和采 访三个阶段，三个阶段都有可能出现无回答。
1、查找阶段 调查人员无法找到被调查者， 主要原因有地址不详、被调查者搬迁、调查人 员不熟悉地址； 2、接触阶段 被调查生病、对调查不感兴趣 或别的原因拒访； 3、采访阶段 调查开始后被调查者对某些问题 不愿提供答案、调查员由于粗心遗漏某些项目等
2、在抽样调查中，由于非抽样误差的影响，往往造成 估计量的有偏；
3、有些非抽样误差难以识别和测定。如抽样框是不完 善的，而调查设计人员并没有意识到； 4、有些非抽样误差成因复杂，对其研究不够，因此， 在很多时候非抽样误差比抽样误差造成的影响更严重， 对此必须引起高度重视。
根据非抽样误差的来源、性质 可分为以下三类： （1）抽样框误差，即由不完善的抽样框引起的
三、降低无回答的措施
主要措施是预防，预防措施有： ●问卷设计得具有吸引力； ●注意适当的长度； ●充分利用调查组织单位的权威性和影响力； ●注意调查员的挑选； ●做好调查员的培训； ●注意调查过程的监控； ●奖励措施； ●再次调查。
四、对存在无回答数据的调整
调查中无回答的情况总是难以避免，由于 无回答造成数据不全，如果不加处理，就有可 能造成估计量偏倚。下面介绍几种数据调整的 方法： 1、再抽样调整 在第一次无回答的单元中随机抽取一个子样 本，通过更细致、更充分的工作，获得该子样 本的数据，作为整个无回答层的代表值。
由上式可以看出，如果丢失单元的均值与
抽样单元的均值相同，即 反之，如果
Y
r 1 ，则估计量 Y
是目标变量 Y 的无偏估计。
r 1 ，偏倚状况则随着 r
的变化而变化。
三、不完善抽样框的使用
抽样框不完善并不是不能使用，因为构造一个完 善的抽样框有时是非常困难的。使用不完善抽样框时 若能采用一些补救措施，有助于减小抽样框误差。主 要采用以下三项补救措施：
(m tl s, m tu s)
式中 t l 和 t u分别为根据预先确定的置信度得到 的标准正态分布的上限和下限值。落在这个区
间之外的观测值被认为是离群值。
三、离群值的处理
如果在调查进行中发现离群值，就要及 时处理，例如进行回访核实，对错误进行更 正。
如果在调查完毕后的审核中发现离群值， 通常对离群值采用插补处理，即将离群值剔 除，然后使用插补法调整。 如果在审核时没有进行处理的离群值可以 在估计的时候处理。估计时有以下三种方法 处理离群值：
r
和 W0
■ 总体均值的估计 在抽样框存在丢失单元情况下，均值估计量为：
r Y
1 Y n
y
i 1
n
i
此时估计量的偏倚为： E (Y ) Y
Y 的相对偏倚可以写为：
W0 (Y 1 Y 0 )
W0 (Y1 Y0 ) Y
W0 (1 r ) rW0 (1 W0 )
●利用核查，掌握误差情况，对不完善抽样框 进行调整； ●事先制定一些规则，对发现的抽样框问题进 行现场处理； ●使用多个抽样框进行抽样。
§11.3 无回答误差
一、概念
无回答误差是指在调查中由于各种原因， 调查人员没能够从入选样本的单元处获得所 需要的信息，由于数据缺失造成估计量的偏 差。
无回答误差是一种重要的非抽样误差，这 种现象十分普遍，对估计量的危害也比较大， 所以国际上对这方面的讨论一直比较热烈， 目前这种讨论还在继续。
误差；
（2）无回答误差，即由于种种原因没有从被调
查单元获得调查结果，造成调查数据的缺失； （3）计量误差，即所获得的调查数据与其真值 之间不一致造成的误差。
§11.2 抽样框误差
一、概念
抽样调查中的总体有两个：
目标总体—调查研究对象的全体。
抽样总体—从中抽取样本的总体。 （即抽样框） 理想抽样框的标志是目标总体和抽样总 体完全重合。否则抽样框就是不完善的。
无回答是因为被调查者生病或很忙，无法接
受调查）
有意无回答对数据质量的影响很大，回答
者和不回答者之间往往存在系统性差异。这
种不回答不仅减少了有效样本量，造成估计 量方差增大，而且会带来估计偏倚。 无意无回答可以看成是随机的，这种不回 答虽然会造成估计量方差增大，但通常认为 不会带来估计偏倚。
二、无回答产生的原因及影响
偏倚( y1 ) E( y1 ) Y
R0
Y 1 (R1Y 1 R0 Y 0 ) R0 (Y 1 Y 0 )
Y
相对偏倚 ( y1 )
R0 (Y 1 Y 0 )
由上式可以看出：无回答偏倚主要来自两
个方面：一个是回答层与无回答层之间的数量
差异 (Y 1 Y 0 ) ；一个是无回答率 R0 。
例如，若 y1 , y 2 ,, y n 是要观测的样本数 据，m 和 s 分别是侧度数据集中趋势和离散 趋势的指标，那么， yi 离数据中心的相对距 离可以定义为
| yi m | di s
tl tu
如果 d i 越过了预先确定的偏离值，那么该 观测值就被认为是离群的。 另外，离群值也可以通过下面的置信区间 进行确认：
第十一章 调查中的非抽样误差
§11.1 引言
非抽样误差是指除抽样误差以外的,由于
各种原因引起的误差。 在概率抽样、非概率抽样、其他全面调
查和非全面调查已及普查中，非抽样误差都 有可能存在。
同抽样误差相比，非抽样误差有如下特点：
1、非抽样误差不是由于抽样的随机性带来的，所以在 抽样调查中，它不可能随着样本量的增大而减小；
二、抽样框误差的Biblioteka Baidu型及影响
（1） 抽样框误差的类型
● 丢失目标总体单元。
● 包含非目标总体单元。
● 抽样框中的单元与目标总体单元不一一对
应。（存在一对多或多对一的情况） ●不正确的辅助信息。（如分层抽样、不等 概抽样、比率估计和回归估计等所需的辅助 信息）
（2）对抽样框误差的基本认识
●有些误差来自构成抽样框资料本身，而不 是由于抽样设计的问题。 ●抽样框存在的问题，有些是不容易解决的。 因此抽样框的维护、抽样框使用情况的不断 总结与研讨，对于经常性的调查项目来说是 十分必要的。
从无回答的内容来看可分为：
单元无回答
（被调查单元没有参入或拒绝受调查，他
们交的是一份白卷）
项目无回答
（被调查单元虽然接受了调查，但对其
中的一些项目没有回答）
从无回答的性质来看可分为：
有意无回答
（有意无回答常常与调查内容有关，如对调
查内容反感，或涉及个人隐私不愿意回答）
无意无回答
（无意无回答常常与调查内容无关，之所以
§11.4 计量误差
计量误差是指由于种种原因，调查中所获得的 数据与真值不一致。计量误差主要成因来自于以 下几个方面：
● 设计误差（设计方面原因造成计量误差）
●被调查者误差（被调查者提供的数据失真）
● 调查者误差（现场调查人员造成的误差）
● 其他误差（由于测量工具、编码、录入）
减少计量误差的措施
●抽样框的不完善并不是不能使用。可以进 行修补、调整。
N1
（3）抽样框误差的影响 设目标总体单元：N 抽样框中单元：N1 抽样框中丢失的单元：N0 N=N1+N0 ■ 总体总量的估计 总体总量的真值是：
N1
Y Yi Yi Y1 Y0
i 1 i 1
N1
N0
现从抽样框中的N1个单元中采用简单随机 抽样抽出容量为n的一个样本，由于n取自于N1 对总体总量的估计为：
YW
N nk ( yi kynk ) n i 1
●调整权重
处理离群值的另一种方法是降低离群值 的权重，从而使它们的影响变小。例如，赋
予离群值的权重为1，即离群值仅仅代表它自
己而不代表其他总体单元。
●选取稳健估计量
在经典的估计理论中，通常假定估计量服
从正态分布，样本均值和样本方差估计量在正
2、加权调整 对存在无回答数据进行补救的另一种方法 是采用加权调整。加权调整法是通过对调查中 所获得的回答数据使用加权因子，达到对数据 的调整，减小由于无回答造成的估计偏倚。 3、相关推估法
相关推估法主要用于调查中的项目无回答，
即调查单元不是完全拒绝调查，而是拒绝其中
某些项目的调查。这时可以利用回答项目的信
进行控制的一道重要的工序，也是减少计量 误差的有效方法。审核的目的是要保证调查 所得数据的完整性、一致性和有效性。 审核可以在调查过程中的任何阶段进行： 收据数据时进行审核 （调查员在调查进行过程中根据常识和经 验，可以判断出一些问题的答案是否属于 “可接受”范围） 数据收集完毕后的审核 （审核的重点是数据的一致性审核和离群 值的检测）
息对无回答数据进行推估。
4、插补调整 在数据整理阶段，利用调查结果，采用一 定的方式，为无回答的缺失值确定一个合理 的估计值，插补到原缺失数据的位置上。 实际使用时，用得较多的是均值插补，其 方法是：首先根据辅助信息将样本分为若干 组，是组内各单元的主要特征相似。然后分 别计算各组目标变量Y的均值，将各组均值作 为组内所有缺失项的替补值
态分布的假设下也是最理想的。但是，这些估 计量对离群值非常敏感。 稳健估计量则能克服这种局限性，例如中 位数比均值更稳定，四分位数比通常的方差估 计量更稳定。
（第十一章结束）
无回答的影响： 回答层（N1） 总体（N） 无回答层（N0）
N N1 N 0
则总体均值为：
N0 N1 R1 , R0 N N
Y R1Y 1 R0 Y 0
回答层样本(n1 )
总体样本（n）
无回答层样本(n0 )
根据回答层单元计算出的样本均值为 y1
用 y1作为总体真值 Y 得估计量，其偏倚 为：
●改变数值
这种方法首先要将样本数据按从大到小依 次排序，然后再按下面的步骤计算： 在简单随机抽样中，总体总量 Y 的无偏估 计公式为：
N Y n
y
is
i
式中，i表示样本中第i个单元，s为所有样本 的集合.
若样本数据中第k个最大值kth被认为是离 群值，单侧k次缩尾估计量就可以通过第n-k 个最大值yn-k代替这些离群值，即