数据分析及DPS数据处理方法系统
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
唐启义 冯明光《实用统计分析及其DPS数据处理系 统》 科学出版社，2002年。
唐启义 冯明光《实用统计分析及其计算机处理平台》 中国农业出版社，1997年。
6
DPS数据处理系统－实验设计、统计分析及数据挖掘 7
DPS用户界面与数据接口
8
9
DPS功能特色
实验设计： 均匀设计 混料实验设计
统计分析： 动态聚类分析 因子分析模型统计检验与评价
2
实验设计优化与DPS
3
DPS开发背景
上世纪80年代以来，很多单位都着手编写统计分 析程序，但随着时间的推移，绝大多数程序由于算法落 后、数据格式规范性差、输出格式零乱、缺乏完整性而 被淘汰。
目前，国外大型统计软件，如SAS、 SPSS等占 优势。这从短期效应来看，引进国外软件，有利国内科 研对数据处理需求。但从长期看，特别是从知识产权来 讲，依赖于国外软件需要昂贵的费用支持。如在SAS平 台上开发的程序，由于摆脱不了SAS的环境，难在国内 推广应用。
从该例中可以看出研究者施加了干预措施， 即施用不同浓度的农药。再经过观察总结， 验证提出的假设是否正确。
24
2、实验设计基本原则
–随 机 –对 照 –重 复
目的是为有效控制非处理因素
25
2.1 随机化原则
• 目的：研究者在实验设计时，并不完全知道实验过 程中的许多非实验因素，随机误差干扰在所难免， 因此有必要采用随机化的办法抵消这些干扰因素的 影响。
数据分析及DPS数据处理系统
1
主要参考资料
DPS数据处理系统-实验设计、统计分析及数据挖掘, 第2版，唐启义著，科学出版社，2010 • 试验应用统计：设计、创新和发现，
第2版，George E. P. Box等著，张 润楚等译，机械工业出版社，2010 • 试验的设计与分析：王万中主编， 高等教育出版设，2004. • 试验设计与分析及参数优化，吴建 福(美)等著(张润楚等译)，中国统计 出版社，2003
23wk.baidu.com
实验研究(例子) 新农药防治某作物害虫的效果
• 首先假设该农药可以杀死害虫。 • 在田间划分几个随机区组，区组内随机设置小区，
必要时各个小区接入害虫卵块。 • 将农药配制成不同的浓度，再加一个空白(清水)对
照。在害虫防治适期施药、处理。 • 处理(施药)后24小时、72小时、…，调查各个小区
的虫量(观察指标)，并对数据进行方差分析，看各 处理间有无显著差异，进而得出该农药是否具有对 该害虫防治效果的结论。
19
实验设计与统计分析
20
21
1 实验设计
• 实验设计特点 • 实验设计基本原则 • 实验设计基本内容和步骤 • 常用实验设计方法
22
1、实验设计Experiment Design 的特点
• 试验研究和调查研究主要区别：对研究对象 是否进行干预。
• 试验研究特点：根据研究目的(或假设)主动 加以干预措施，观察结果，回答研究假设所 提出的问题。
因此，研制、推广适合国内需要的统计软件，是 势在必行的事；我们通过近20多年的努力，开发成功 了功能完整的DPS数据处理系统，其功能已接近ＳＡＳ、 SPSS的水平。
4
DPS数 据处理 系统开 发历程
• 1988年开始，历时10年，1997年推出DOS版本第1 版，同时出版配套专著第1版(4000册)；
10
DPS的应用
• 用户数已超过10000； • 遍及国内各个省市，包括港、台，各个行
业和领域； • 美国宾州大学林共进博士的实验室用于工
业实验设计（大样本实验设计）； • 成为赴国外攻读博士、或访问学者的工具。
11
DPS使用(类似Excel电子标的操作)
12
数据统计分析基本步骤
• (1) 将数据输入到DPS的电子表格里。数据 一般是一行为一个记录(样本)，一列一个指 标（变量）。
• (2) 用鼠标选中待分析的数据。 • (3) 进入菜单选择相应的统计功能项。 • (4) 系统对选中的数据进行分析，并将分析
结果返回到另一电子表格。
13
14
15
某县植保站，调查4个水稻品种上稻纵卷叶螟 卷叶率(%) ,结果列于下表。
水稻 品种
A1 A2 A3 A4
合计
31.9 24.8 22.1 27.0
响 –抵消实验环境的其它因素的干扰
27
常见的对照
• 空白对照(如农药药效实验中用清水处理，
卷叶率（%）
27.9 25.7 23.6 30.8
31.8 26.8 27.3 29.0
28.4 27.9 24.9 24.5
合计 平均
35.9 155.9 31.18 26.2 131.4 26.28 25.8 123.7 24.74 28.5 139.8 27.96
=550.8
16
数据转换：如数值相 差几个数量级，可用 对数转换;如许多小区 值为0，则可用平方根 转换;如指标是百分数, 且大部分数值大于70 ％或小于30％，可用 反正弦平方根转换。
一般用Tukey法和 LSD法。但注意：目 前国内目前的农药实 验要求Duncan 法。
17
18
学会思考
• 在您目前从事或涉及到的研究领域，在实验设 计或进行数据分析时，您最有可能碰到哪些统 计学方面的问题？
• 在试验设计与数据处理分析中，您有可能用到 工具软件（如DPS）中的哪些功能、或数据分 析方法来解决您的问题，以及使用这些方法时 的注意事项。
• 1998年完成Window版(第2版)，2002年和2007年分 别出版配套专著3000册；2010年再次出版配套专著 3500册（165万字)；目前软件版本12.01版。
5
出版教材：
唐启义《DPS数据处理系统－实验设计、统计分析及 数据挖掘》第2版， 科学出版社，2010年。
唐启义 冯明光《DPS数据处理系统－实验设计、统 计分析及数据挖掘》 科学出版社，2007年。
• 随机化原则包括两方面 – 随机分配：把实验处理对象随机分到各个区组 内，以增强可比性(区组内小区随机设置)。 – 随机抽样：总体中的每一个观察单位都有同等 的机会被选入到样本中来(如实验结果的调查)。
26
2.2 对照原则
设置对照小区，除实验处理不同外， 实验过程中的实验条件和辅助措施都 应相同，以便比较所研究对象存在的 真实差异。 –抵消害虫、病害自身消长趋势的影
唐启义 冯明光《实用统计分析及其计算机处理平台》 中国农业出版社，1997年。
6
DPS数据处理系统－实验设计、统计分析及数据挖掘 7
DPS用户界面与数据接口
8
9
DPS功能特色
实验设计： 均匀设计 混料实验设计
统计分析： 动态聚类分析 因子分析模型统计检验与评价
2
实验设计优化与DPS
3
DPS开发背景
上世纪80年代以来，很多单位都着手编写统计分 析程序，但随着时间的推移，绝大多数程序由于算法落 后、数据格式规范性差、输出格式零乱、缺乏完整性而 被淘汰。
目前，国外大型统计软件，如SAS、 SPSS等占 优势。这从短期效应来看，引进国外软件，有利国内科 研对数据处理需求。但从长期看，特别是从知识产权来 讲，依赖于国外软件需要昂贵的费用支持。如在SAS平 台上开发的程序，由于摆脱不了SAS的环境，难在国内 推广应用。
从该例中可以看出研究者施加了干预措施， 即施用不同浓度的农药。再经过观察总结， 验证提出的假设是否正确。
24
2、实验设计基本原则
–随 机 –对 照 –重 复
目的是为有效控制非处理因素
25
2.1 随机化原则
• 目的：研究者在实验设计时，并不完全知道实验过 程中的许多非实验因素，随机误差干扰在所难免， 因此有必要采用随机化的办法抵消这些干扰因素的 影响。
数据分析及DPS数据处理系统
1
主要参考资料
DPS数据处理系统-实验设计、统计分析及数据挖掘, 第2版，唐启义著，科学出版社，2010 • 试验应用统计：设计、创新和发现，
第2版，George E. P. Box等著，张 润楚等译，机械工业出版社，2010 • 试验的设计与分析：王万中主编， 高等教育出版设，2004. • 试验设计与分析及参数优化，吴建 福(美)等著(张润楚等译)，中国统计 出版社，2003
23wk.baidu.com
实验研究(例子) 新农药防治某作物害虫的效果
• 首先假设该农药可以杀死害虫。 • 在田间划分几个随机区组，区组内随机设置小区，
必要时各个小区接入害虫卵块。 • 将农药配制成不同的浓度，再加一个空白(清水)对
照。在害虫防治适期施药、处理。 • 处理(施药)后24小时、72小时、…，调查各个小区
的虫量(观察指标)，并对数据进行方差分析，看各 处理间有无显著差异，进而得出该农药是否具有对 该害虫防治效果的结论。
19
实验设计与统计分析
20
21
1 实验设计
• 实验设计特点 • 实验设计基本原则 • 实验设计基本内容和步骤 • 常用实验设计方法
22
1、实验设计Experiment Design 的特点
• 试验研究和调查研究主要区别：对研究对象 是否进行干预。
• 试验研究特点：根据研究目的(或假设)主动 加以干预措施，观察结果，回答研究假设所 提出的问题。
因此，研制、推广适合国内需要的统计软件，是 势在必行的事；我们通过近20多年的努力，开发成功 了功能完整的DPS数据处理系统，其功能已接近ＳＡＳ、 SPSS的水平。
4
DPS数 据处理 系统开 发历程
• 1988年开始，历时10年，1997年推出DOS版本第1 版，同时出版配套专著第1版(4000册)；
10
DPS的应用
• 用户数已超过10000； • 遍及国内各个省市，包括港、台，各个行
业和领域； • 美国宾州大学林共进博士的实验室用于工
业实验设计（大样本实验设计）； • 成为赴国外攻读博士、或访问学者的工具。
11
DPS使用(类似Excel电子标的操作)
12
数据统计分析基本步骤
• (1) 将数据输入到DPS的电子表格里。数据 一般是一行为一个记录(样本)，一列一个指 标（变量）。
• (2) 用鼠标选中待分析的数据。 • (3) 进入菜单选择相应的统计功能项。 • (4) 系统对选中的数据进行分析，并将分析
结果返回到另一电子表格。
13
14
15
某县植保站，调查4个水稻品种上稻纵卷叶螟 卷叶率(%) ,结果列于下表。
水稻 品种
A1 A2 A3 A4
合计
31.9 24.8 22.1 27.0
响 –抵消实验环境的其它因素的干扰
27
常见的对照
• 空白对照(如农药药效实验中用清水处理，
卷叶率（%）
27.9 25.7 23.6 30.8
31.8 26.8 27.3 29.0
28.4 27.9 24.9 24.5
合计 平均
35.9 155.9 31.18 26.2 131.4 26.28 25.8 123.7 24.74 28.5 139.8 27.96
=550.8
16
数据转换：如数值相 差几个数量级，可用 对数转换;如许多小区 值为0，则可用平方根 转换;如指标是百分数, 且大部分数值大于70 ％或小于30％，可用 反正弦平方根转换。
一般用Tukey法和 LSD法。但注意：目 前国内目前的农药实 验要求Duncan 法。
17
18
学会思考
• 在您目前从事或涉及到的研究领域，在实验设 计或进行数据分析时，您最有可能碰到哪些统 计学方面的问题？
• 在试验设计与数据处理分析中，您有可能用到 工具软件（如DPS）中的哪些功能、或数据分 析方法来解决您的问题，以及使用这些方法时 的注意事项。
• 1998年完成Window版(第2版)，2002年和2007年分 别出版配套专著3000册；2010年再次出版配套专著 3500册（165万字)；目前软件版本12.01版。
5
出版教材：
唐启义《DPS数据处理系统－实验设计、统计分析及 数据挖掘》第2版， 科学出版社，2010年。
唐启义 冯明光《DPS数据处理系统－实验设计、统 计分析及数据挖掘》 科学出版社，2007年。
• 随机化原则包括两方面 – 随机分配：把实验处理对象随机分到各个区组 内，以增强可比性(区组内小区随机设置)。 – 随机抽样：总体中的每一个观察单位都有同等 的机会被选入到样本中来(如实验结果的调查)。
26
2.2 对照原则
设置对照小区，除实验处理不同外， 实验过程中的实验条件和辅助措施都 应相同，以便比较所研究对象存在的 真实差异。 –抵消害虫、病害自身消长趋势的影