问卷调查法在教育研究应用中的问题及改进建议——以教育类硕博毕业论文为例
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
第5期2020年9月现代教育科学
ModernEducationScienceNo 5
Sept2020
[收稿日期]2020-03-17
[作者简介]杨瑞勋(1973-),男,回族,四川西昌人,西昌学院教育学副教授、天津师范大学教育学原理专业博士生;主要研究方
向:教育学原理、民族教育。
问卷调查法在教育研究应用中的问题及改进建议
———以教育类硕博毕业论文为例
杨瑞勋
(西昌学院,四川西昌6
15000) [摘 要]问卷调查是教育研究中一种经常使用的方法。
对近3年问卷调查法在教育类硕博研究生毕业论文中应用情况分析发现,应用错位化、问卷设计粗糙化、研究方案形式化、网络调查依赖化等问题较严重。
建议当前的硕博研究生可从提高个人科研素养、围绕研究目的设计研究方案、依照维度进行问卷设计、严格控制问卷质量等方面着手,并使鉴伪题目多样化、隐蔽化,引领和规范自身研究过程中的问卷调查工作。
[关键词]问卷调查;教育研究;问卷设计;鉴伪题目;维度
[中图分类号]G40-03 [文献标识码]A [文章编号]1005-5843(2020)05-0006-05 [DOI]10 13980/j cnki xdjykx 2020 05 002
问卷调查法是当前硕博研究生在毕业论文创作过程中常用的一种方法。
笔者以“问卷调查法”为摘要中的关键词,将检索类别设置为“硕博研究生”和“教育类”,时间设置为2016至2018年,对中国知网进行检索的结果为:相关毕业论文共有7292篇,其中硕士论文7242编、博士论文50篇,足见问卷调查法在教育类硕博研究生毕业论文中应用的广泛性。
随机提取其中部份论文进行查阅和分析发现,少量论文的问卷调查工作操作规范、问卷设计质量较高,但也发现很多论文中存在的问题,如应用错位化、问卷设计粗糙化、研究方案形式化及网络调查依赖化等。
这些问题不仅直接影响了硕博研究生毕业论文的质量,而且还影响了硕博研究生严谨、求真等优秀科研精神和习惯的养成,阻碍了教育研究科学化水平的提升和发展。
因此,对于问卷调查法在教育类硕博研究生毕业论文中存在的问题应予以高度重视,找准问题的根源,提出具有
针对性和实效性的解决办法和建议,引导硕博研究生在今后的研究中能够科学、规范地操作,避免问题和不足,保证调查结果的科学性,最终得出令人信服的研究结论。
一、教育类硕博研究生毕业论文中的问卷调查法应用问题
(一)应用错位化
问卷调查法是教育研究中经常采用的一种方法,它操作方便,有自身的功能和作用。
查阅发现,部分硕博研究生不能从自身研究的目的出发,生硬地使用问卷调查法,存在应用错位化的问题。
表面上使用了科学的研究手段,却耗费了大量的人力物力,且对研究不能产生实效。
从问卷调查的适用范围来看,它适合用于对现实问题的调查、涉及群体较多问题的调查、城市地区人群的调查、初中以上文化程度对象的调查等。
从使用问卷调查法的
—
6—
7292篇论文来看,存在着从使用数量上就可怀疑其使用的切适性的问题。
通过针对研究目的和问卷调查适用范围的分析发现,有部分研究是可以不用问卷调查的,或是使用了也达不到好的效果。
另外,从研究目的来看,有些研究不应使用问卷调查法,而应使用内容分析法、行动研究法或观察、谈话法等,才能获取真实有效的研究结果。
以2017年刊出的一篇关于研究中学生体育竞赛中发怒现象的博士毕业论文使用问卷调查的情况为例展开讨论。
通过阅读该论文,获悉作者主要的预期研究结果是如何让运动员克服比赛时的发怒情绪而取得良好的成绩。
论文共使用了主要6种研究方法:文献法、逻辑分析法、访谈法、心理测量法、问卷调查法、数理统计法。
其中存在的问题是:(1)研究方法中提到的“逻辑分析法”存在错误,社科类研究方法中没有此种方法。
关于“数理统计法”的表述也不准确。
数理统计是应用统计的理论基础,主要作用是证明统计公式的正确性,因此该论文用“统计法”表述较为合适。
(2)从其问卷调查法使用的情况来看,主要是使用了自主编制的开放式问卷“中学生体育竞赛愤怒状态开放式问卷(学生、教师问卷)”,对中学生和一线体育教师进行问卷调查,了解中学生在竞赛时产生愤怒情绪的因素及如何克服的问题。
作者的意图是籍此和心理测量法相配合,更深入地了解情况。
但笔者认为该研究可以不用问卷调查法,一是事后调查学生比赛时发怒的状态和影响因素,当事人会随着时间的推移而记忆模糊,不能真实反映当时的情况。
二是访谈法和开放式问卷调查功能相同或相通,可以把需要问卷了解的内容合并到访谈法里进行调查。
(二)问卷设计粗糙化
1.问卷设计缺乏维度或维度设计错乱。
问卷维度是设计问卷的框架和蓝图,是设计问卷问题的科学依据。
简单来说,调查问卷的维度就是调查问题内容的类别,可依层次分为“级”和“项”,每一项目下面可设计相应的问题。
检索发现,硕博研究生毕业论文中使用的调查问卷可谓五花八门。
特别是从表面上看,自编问卷中的问题给人以“无厘头”之感,缺乏科学依据,不知从何而来。
即便有的详细介绍了问卷制作的维度,但存在维度划分错误的问题。
仔细分析会发现,问题设计比较随意,没有严格按科学规范操作,问题设计中的维度或维度设计混乱。
以关于初中生家庭教育状况研究的一篇硕士毕业论文为例。
该文作者把问卷分为家长问卷与
学生问卷。
家长部分问卷的维度设计为“家庭背景”“教育观念”“教育方式”“教育环境”“教育内容”“外部支持”等6个一级维度;把学生问卷的维度设计为“能力素质”“对家长的满意度”“对家长教育的满意度”等3个一级维度。
笔者认为其维度设计存在如下问题:(1)家长问卷中“教育环境”和“外部支持”属于同一概念,可合并为教育环境。
(2)学生问卷中,学生的能力素质这个维度是应对教师开展的调查,不应是对学生进行的调查,因学生对自己的评价是不全面和客观的,缺乏真实性;
另外,在“对家长的满意度”方面,因其调查的主题和目的是家庭教育情况,因此可不用设计此项内容,只保留学生“对家长教育的满意度”内容即可。
2.问卷结构不够完善。
当前硕博研究生毕业论文中的调查问卷结构不够完善,主要表现在两个方面:一是标题不规范,缺少应有的内容,被调查者不明白应回答的主要内容;二是有些问卷缺少前言或介绍语。
问卷的前言或介绍语应礼貌地表述调查的目的、意义,同时包括由谁主持开展调查、调查内容保密等基本要求。
例如:2018年知网刊载的一篇关于小学生心理健康教育的硕士毕业论文附录中的《中文版人生意义问卷》,该问卷同时存在以上两方面的问题:标题不规范,没有明确调查对象———是对小学生还是中学生或大学生;只有指导语,指出如何答题,但缺少前言或介绍语。
同时,问卷中只有问题,问题下面没有备选答案。
3.问题表述不规范。
(1)问题表述不清晰。
问题表述不清晰是指问卷中问题的题干内涵较小或外延较大,从而使得问题不具体,以致涉及两个或两个以上事项,而答案却只是针对一个事项。
此类问题在教育类调查问卷中是比较常见的,如2018年刊载的一篇博士论文的问卷中有“你的专业成绩排名?”。
这个问题会给被调查者带来困惑,所指的专业成绩排名是被调查者大一时的排名,抑或是其大四时或4年来的综合排名?另外,专业成绩是指就读专业的所有课程,还是指专业课(排除公共课)的成绩?(2)所问问题无法获得真实的答案。
这种情况是指问题的表述很明确,答案也很完备,但在实际调查中被调查者即使非常配合调查,也无法给出真实、准确的答案,或者被调查者只是表面乐意配合调查,但却并不愿意给出真实、准确的答案。
此种现象在硕博研究生毕业论文中也客观存在。
如某一篇2018年博士毕业论文中,在家庭收入的调查中设置了这样的问题:“家庭月平均入是多少?”—
7
—
从中国的实际情况看,以农业为主家庭的收入是不稳定的,除把一部分粮食出售外,还会留一部分自家食用;其自养的家畜也是如此处理。
而这会导致计算收入时出现较大偏差。
4.问卷中缺少鉴伪性题目。
鉴伪性题目是指在所设计的问题中专门用于甄别被调查者是否认真如实回答了问题。
由于被调查者个体特性的差异,因此调查者虽然都很希望被调查者给予积极配合,并提供真实、准确的数据,但也难以保证所有愿意接受调查的被调查者都能提供真实、准确的数据。
因此,在问卷设计中,就应有意识地设计出至少一组具有一定逻辑关系或因果关系的问题,并通过对被调查者所给答案的分析,大致判断被调查者愿意接受调查的程度及其所给其他问题答案的可信度。
从当前硕博研究生毕业论文调查问卷设计的实际情况来看,许多问卷都缺少鉴伪性题目,这样的问卷缺少了辨别的手段和措施,无法辨别其真实可靠性,使其在实际运用中缺乏应用的价值。
5.问题答案设计混乱。
问题答案的设计是一个科学编制的过程,它受研究目的、研究对象、资料分析的方法所制约。
然而,当前许多研究者在答案编制时不够严谨科学,导致被调查者作答困难或给调查统计工作带来不便。
例如,2017年刊出的某博士毕业论文问卷中有“您对毕业后第一份工作的月收入预期为:A 3000~4000元;B 4000~5000元;C 5000~6000元;D 7000~8000元;E 8000元”的问题。
这样的备选答案,让正好预期是5000元月收入的人选择B还是C呢?又如另一博士毕业论文问卷中的一个提问:“你的文化程度为?A 小学以下;B 初中;C 高中;D 大专;E 本科及以上。
”这样的封闭式答案设计是没有包含所有学历情况的,如中专学历者。
正确的设置是在答案中加一个其他项,由被调查者根据自身实际情况填写。
(三)研究方案形式化
当前,硕博研究生为完成毕业论文,涉及问卷调查时都会制订相应的工作方案,但部分计划只停留在开题报告中,实际上并没真正落实,流于形式,严重影响了研究工作的计划性、科学性。
问卷制订和调查过程中存在着抽样工作随意化,问卷信度、效度检测工作的缺失等问题。
1.抽样工作随意化。
调查对象的自身属性是否与调查目的一致,问卷的回收率与样本数量是否能满足研究的需要,这些问题决定了研究样本的代表
性和结论的推广范围。
因此,调查对象的抽样工作必须严谨,但当前硕博研究生毕业论文的问卷调查抽样工作在这3方面都存在着不足。
从抽样方法来看,有部分硕博生只是在论文中简单地用“随机抽样”来表述抽样的方法,这种贴标签式的方式很难让人不怀疑研究对象的真实性。
同时,也没有对抽样后的样本结构进行详细说明,从而难以让人相信样本的代表性。
从问卷的回收率来看,笔者从2018年刊载的硕博研究生毕业论文中随机抽取30篇,在详细介绍研究方法与过程的论文中都涉及问卷回收的数据,有效问卷回收率都在75%以上,情况良好。
但有部分论文对研究方法的叙述非常简单,并没有提及问卷发放和回收数量等数据。
从研究样本数量来看,也存在着调查样本规模偏小的情况,影响了研究成果的稳定性。
之所以出现这样的问题,一是研究者缺乏基本的科研态度;二是受统计学知识的干扰。
统计学上把小于30的样本称作小样本,超过30的则视为大样本。
一般情况下,样本超过30时其平均数的抽样分布接近正态分布,可以作相应的统计工作。
但这对于教育研究类的社科研究来说是不够的,因为研究者还想把个体分类后进行深入的比较研究,因此需要更多的研究对象。
例如,调查教师的收入情况,如只想研究某校教师的平均工资,只需要30个个案就可以了。
但如想了解男女教师或老教师、年轻教师的平均收入,其样本个数必须翻倍才可以。
目前,比较流行的教育等社科类性质的研究样本数量指标为:绝对规模200个为最低要求,200—400个为基本要求,条件允许时应在400个以上[1]。
2.问卷信度效度检测缺失。
调查问卷是一个测量工具,为保证调查的科学性和可靠性,就需要确保测量工具本身的精确性。
衡量问卷是否精确的指标主要是问卷的信度和效度。
信度指测量的稳定性和可靠性。
比如用一份问卷在不同时间对同一对象进行调查,其结果差异显著,就说明此问卷缺乏信度。
效度指调查或测量的有效性,比如用数学试题来测量学生的品德状况,那肯定是无效的。
从当前硕博研究生毕业论文中的问卷情况来看,问卷信度、效度检测工作情况不容乐观。
笔者抽取2018年中国知网刊载的13篇使用了问卷调查法的博士毕业论文,通过重点阅读前言中的研究方法后发现:有2篇详细介绍了自编问卷的信度、效度检测过程,并给出了具体数值;有2篇说明是参照国外的问卷量表,但并没说明具体信度、效度指标;其—
8
—
余9篇论文则没有提及问卷的信度、效度问题。
(四)网络调查依赖化
网络技术的迅猛发展和终端人群的庞大为通过网络平台调查提供了方便:把问卷放在某个网站上,让被调查者通过电脑、手机、电子邮件、微信参与调查,对于以大学生为对象的调查是非常方便的。
因此,当前很多教育研究者把它视为一种调查方式,部分硕博研究生毕业论文的问卷便是通过网络调查的,抛弃了传统的现场调查等方式。
这种方法增大了问卷调查的不足,并存在许多问题:一是不易辨别问卷作答人是否是研究者所要调查的对象,如研究者调查的是女大学毕业生的就业压力问题,但网络调查答卷很难确保是女大学生作答的;如网络调查为了鼓励人们作答,作答完成后会有小礼物赠送,这无形中又使一些本不是调查对象的人参与其中。
二是网络调查变相缩小了调查工作的对象和范围。
三是网络调查缺少人与人之间的当面交流,阻碍了研究者对调查对象学习生活环境的感知,只获取了一堆冷冰冰的数据,给统计之后的定性分析带来了困难。
二、对应用问卷调查法的建议
(一)打好基础:研究者需努力提高自身的科研素养
科学研究的成功需要有科学的方法作保障。
除去一些外部条件,对研究起决定作用的因素是人[2]。
基本科研素养是个人具有的科研理论与实践知识、技能、能力水平结构等,如问题意识、创新意识、敏感性等重要特质。
这些实施科研活动的必要条件并不是一朝一夕能养成的,需要长期科研工作的日积月累;需要硕博研究生认真系统地学习专业知识、科研知识,熟知每一种具体研究方法的基本原理、优缺点、应用的范围等;需要积极参加科研实践活动,把理论和实践结合起来,不断提高自身解决问题的能力。
具备了实践研究的能力,才能在实践中找准研究的主要方法和手段,并在具体使用中明确该方法的实践程序和步骤、重点和难点,从而保证研究的顺利进行,取得真实有效的成果。
(二)做好充分准备:依据调查目的设计研究方案
“不打无准备之仗”,做调查问卷需要做好充分的准备工作。
前文所提到的问卷与深入统计手段不配套,问卷的结构不合理、提问不规范,答案设置不完整等,都是准备不充分的体现。
硕博研究生
如遇到使用问卷调查法,一定要做好问卷设计及其他调查工作。
一是要明确调查的问题和想得到的结果。
这决定了调查问题、对象及数量、统计方法及所需要的人力、物力等。
作为研究者一定要明白不同的研究目的,其调查对象、调查问题、答案设计都是不一样的,一定要根据研究目的来做相应的准备工作。
二是要根据研究目的收集相关资料。
例如,研究问题是否已经有相当成熟的问卷或量表?
若没有标准化量表,只有自编量表,那别人的问卷质量如何?存在什么样的问题?需要研究者收集相关文献,详细阅读后才能做出判断。
三是要根据研究者的自身情况初步拟定研究计划或方案,充分考虑每一环节中可能会出现的问题。
例如,是否需要咨询专家,怎样联系;会有什么问题,怎样解决?
用什么方式发放问卷,是现场访问还是网络调查?
现场访问会遇到什么问题?需要做好充分的准备工作。
四是方案制定后要严格遵照执行,不能随意变动。
(三)抓住关键:围绕维度进行问卷设计
毋庸置疑,问卷质量是设计问卷时应关注的关键问题。
决定问卷质量的不只是文字表述、问题的提问、答案是否明确合理等问题,还有一个重要的却容易被研究者忽视的一个核心内容———调查问题的维度。
维度就是调查问题内容的科学分类。
如果维度确定不科学或不完整,那将直接影响调查内容的完整性和结果,因此维度可以说是问卷设计的根和魂。
硕博研究生在设计问卷时,必须重视调查问题维度的研究与设计,保证调查内容的科学性和完整性,并根据维度确定好问题的结构框架,使调查的问题明确化、具体化,避免问卷问题设计的随意性,甚至是粗制滥造。
以维度为中心的问题体系的构建是问卷设计工作的重点和难点,要在咨询相关专家意见的基础上反复讨论修改才能定稿。
硕博研究生可以从一般问题框架体系设计的学习入手,逐步提高水平。
它的设计一般由3个步骤构成:第一步,确定调查问题或对象的核心概念。
第二步,根据相关概念提出相关维度,即构成这些概念的主要内容,然后进一步分析维度的不同级别。
调查内容或核心概念的涵盖范围越大,级别就越多。
第三步,调查项目的分类,即根据各个项目确定问题个数。
第四步,根据相应调查问题编制问卷。
(四)确保质量:严格审核和试测
当前许多教育研究中存在着问卷质量不高甚至—
9
—
粗制滥造的现象,不仅是问卷设计的问题,同时还在于某些研究者缺乏严谨的科研精神,把没有经过严格审核、试测的问卷草率应用于调查之中。
硕博研究生为提高研究中的问卷质量,取得真实的调查信息,必须对问卷进行严格审核和修改,并加强鉴伪手段的多样化、隐蔽化。
1.严格执行问卷的专家审核环节。
外审工作要由3~5名相关专家组负责,审核每一个问题并投票。
只有经过半数以上专家通过的问题才可使用,没有通过的须进行修改。
2.认真做好问卷试测工作。
问卷试测可分内部和外部试测。
内部试测指在小范围内进行,可对4~5名被试者进行测试,并让他们指出对问题的理解是否困难、答案是否存在问题、有什么建议等,然后修改存在问题的项目。
外部试测指正式的预测,测试对象一般在100人以上,通过测试发现问题并及时修改。
3.严格检验问卷的信度、效度。
根据试测数据对问卷的信度、效度进行检测。
硕博研究生首先要充分认识到问卷的信度、效度是调查问卷的生命力所在,不达标准的问卷绝对不能在实际研究中使用。
其次,认真学习检测问卷信度和效度的基本原理和方法,熟练地对不同种类的问卷进行信度、效度检测。
再次,严格执行合格标准。
当信度和效度达不到相应合格标准时,必须对相关项目进行修改,直到达标为止。
例如,在信度方面,大家习惯使用的内部一致性信度(反映问题各项目之间的相关程度)检测系数———科隆巴哈α取值在0和1之间,α取值越大,说明问卷内部一致性越强,信度即越高。
实际运用中,α取值不得低于0 5,最好在0 7以上,如低于0 5则需要进行修改。
在效度方面,如使用效标关联效度检测,相关系数R值应在0 4~0 8之间。
R值若小于0 4则不能直接使用,必须进行修改[3]。
4.鉴伪题目力求多样化、隐蔽化。
对于先天不足的调查问卷而言,其缺点是:一是不清楚答题人是否是属于真实的调查对象;二是答题者是否认真填写问卷及反映真实的态度和意见。
前文提到的问卷调查网络化趋向使这个问题更加突出。
因此,硕博研究生在调查问卷中精心设计测谎题目是必要的技术手段。
传统上特别是里克特式问卷中,通过设置反向题也能起到一定的测谎和鉴伪作用。
但此种
方法已显老套,对于一些已经具有“抗药性”的被试者而言,已经起不到应有的作用。
因此,对于测谎题目需要不断创新,与传统反向题方式相结合起来,使之多样化、隐蔽化。
(1)设置“他我差率法”(根据个人在对某一行为进行评价时,往往采取不同标准,从而造成评价的差别)题目。
如在一些敏感性题目中设置两个题目:在考试时,遇到不会做的题目时,其他同学会怎样?考试时遇到不会做的题目,你会怎样?对于第一问不涉及本人,因此被试者会从实际情况回答,但第二问涉及本人,被试者就会从理想状态和社会认同的方向回答,因此回答的真实性可以得到鉴别。
(2)设置效度题目,检验测试效度。
具体操作过程中,可在问卷中设置一个人们很难做到的题目,如果被试者回答做到了,那他可能是在说谎,其结果自然是不真实的。
当然,以上问题不能通过单一问题来设置和鉴别,至少应通过两道这样的题目加以综合考虑[4]。
三、结语
问卷调查法因操作较为简便,又能跨越时空,并能收集到更加深入的材料,是教育研究中经常使用的方法之一。
但当前教育类硕博研究生的毕业论文中对该方法的应用还存在诸多问题,直接影响了其毕业论文的科学性,降低了论文的质量。
因此,在读硕博研究生在应用问卷调查法时,应严格按照相关科学规范和要求操作,避免出现类似的问题,并不断加强理论知识学习和实践训练,真正实现从菜鸟到合格乃至优秀研究者的蜕变,从而为研究工作打下坚实的基础。
参考文献:
[1]钟柏昌,李艺.问卷调查方法在教育研究领域的应用状况分析[J].开放教育研究,2012(6):76.
[2]叶澜.教育研究及其方法[M].北京:中国科学技术出版社,1990:274.
[3]曾五一,黄炳艺.调查问卷的可信度和有效度分析[J].统计与信息论,2005(6):11-12.
[4]刘华良.教育研究方法专题与案例[M].上海:华东师范大学出版社,2007:179.
(责任编辑:刘新才)
(下转第28页)—
0
1—。