大数据分析系统中的统计学理论应用
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
大数据分析系统中的统计学理论应 用
内容提要
大数据：真的是大忽悠吗？ 科学研究与统计分析：从公式到范式。 统计之道：频率贝叶斯---回归自然！
大数据分析系统中的统计学理论应 用
科学研究与统计分析：从公式到范式。
大数据分析系统中的统计学理论应 用
2009
千年前
日心说
百年前
三大定律
十年前
模拟仿真
目前
[2] 大数据指不用随机分析法（抽样调查）这样的捷径，而采用 所有数据进行分析处理。
[3] 大数据的4V特点：Volume（大量）、Velocity（高速）、 Variety（多样）、value（价值）
大数据分析系统中的统计学理论应 用
大数据：最形象的定义
大数据分析系统中的统计学理论应 用
大数据：最容易理解的定义 明道副总裁 许维
Bradley Efron ：Future of Indirect Evidence
2010
大数据分析系统中的统计学理论应 用
Bradley Efron ：Future of Indirect Evidence
JAMES–STEIN ESTIMATION
大数据分析系统中的统计学理论应 用
LARGE-SCALE MULTIPLE INFERENCE
大 数据与统计学思考
大数据分析系统中的统计学理论应 用
内容提要
大数据：真的是大忽悠吗？ 科学研究与统计分析：从公式到范式。 统计之道：频率贝叶斯---回归自然！
大数据分析系统中的统计学理论应 用
大数据：定义辨析 （大忽悠？）
大数据（巨量资料（IT行业术语））
[1] 大数据技术(big data)，或称巨量资料，指的是所涉及的资料 量规模巨大到无法通过目前主流软件工具，在合理时间内达到 撷取、管理、处理、并整理成为帮助企业经营决策更积极目的 的资讯。
H. G. Wells
大数据分析系统中的统计学理论应 用
统计思维：统计与科幻
➢《时间机器》 （The Time Machine, 1895年）
➢《隐形人》 （The Invisible Man，1897年）
➢《星际战争》 （The War of the Worlds，1898年）
➢《最早登上月球的人》 （The First Men in the Moon，1901年）
社会科学的复杂性
大数据分析系统中的统计学理论应 用
摸 着 石 头 过 河
统计：最黄色（SEX）的专业
Statistical thinking
三 “白骨精” 的第 种能力
大数据分析系统中的统计学理论应 用
统计思维：至理名言
"Statistical thinking will one day be as necessary for efficient citizenship as the ability to read and write!"
大数据分析系统中的统计学理论应 用
东西方思维 的差距
大数据分析系统中的统计学理论应 用
贝叶斯统计思维：中西方的融合
大数据分析系统中的统计学理论应 用
科学与统计
2013年6月
Bayes' Theorem in the 21st Century
Bradley Efron
Department of Statistics, Stanford University, Stanford, CA 94305, USA. E-mail:
只要1000个字文科生也能理解大数据
大数据分析系统中的统计学理论应 用
1000字从这里开始—— 水这个东西大家都见过。 当你有一杯水的时候，你可以喝它。 当你有一盆水的时候，你可以用它洗脸。 当你有一浴缸水的时候，你可以用它泡澡。 当你有一游泳池水的时候，你可以用它游泳。 当你有一西湖水的话，你可以用它划船泡妹子。 当你有一运河水的时候，你可以用它运粮食。 当你有一长江水的时候，你可以来往于中国的西部和东部。 当你有一大西洋水的时候，你就可以发现新大陆了！
用的人越来越简单；（傻） 做的人越来越复杂。（智慧）
云计算
大数据分析系统中的统计学理论应 用
一进：计算机摆放的位置 脸上-？？
掌上-手机
腿上—笔记本
桌上– 台式机
大数据分析系统中的统计学理论应 用
一退：人类手指的功能
毛笔– 4个指头
钢笔—3个指头 屏幕-2个大拇指
无指办公-语音识别
大数据分析系统中的统计学理论应 用
大数据分析系统中的统计学理论应 用
科学研究与统计分析：从公式到范式。
上上个世纪-B时代– 贝叶斯
上个世纪-F时代– 频率学派 本世纪--- B-F时代– 经验贝叶斯
2010
大数据分析系统中的统计学理论应 用
内容提要
大数据：真的是大忽悠吗？ 科学研究与统计分析：从公式到范式。 统计之道：频率贝叶斯---回归自然！
大数据分析系统中的统计学理论应 用
自然科学的确定性
最美的公式
数
欧拉
学
L·Euler
百度文库
1707—1783
最残忍的公式
物
爱因斯坦
理
Albert Einstein
(1879-1955)
E = MC2
有规律 发现规律
大数据分析系统中的统计学理论应 用
经济问题的不确定性
没有规律 创造规律
大数据分析系统中的统计学理论应 用
The term "controversial theorem" sounds like an oxymoron, but Bayes' theorem has played this part for two-and-a-half centuries. Twice it has soared to scientific celebrity, twice it has crashed, and it is currently enjoying another boom. The theorem itself is a landmark of logical reasoning and the first serious triumph of statistical inference, yet is still treated with suspicion by most statisticians. There are reasons to believe in the staying power of its current popularity, but also some
内容提要
大数据：真的是大忽悠吗？ 科学研究与统计分析：从公式到范式。 统计之道：频率贝叶斯---回归自然！
大数据分析系统中的统计学理论应 用
科学研究与统计分析：从公式到范式。
大数据分析系统中的统计学理论应 用
2009
千年前
日心说
百年前
三大定律
十年前
模拟仿真
目前
[2] 大数据指不用随机分析法（抽样调查）这样的捷径，而采用 所有数据进行分析处理。
[3] 大数据的4V特点：Volume（大量）、Velocity（高速）、 Variety（多样）、value（价值）
大数据分析系统中的统计学理论应 用
大数据：最形象的定义
大数据分析系统中的统计学理论应 用
大数据：最容易理解的定义 明道副总裁 许维
Bradley Efron ：Future of Indirect Evidence
2010
大数据分析系统中的统计学理论应 用
Bradley Efron ：Future of Indirect Evidence
JAMES–STEIN ESTIMATION
大数据分析系统中的统计学理论应 用
LARGE-SCALE MULTIPLE INFERENCE
大 数据与统计学思考
大数据分析系统中的统计学理论应 用
内容提要
大数据：真的是大忽悠吗？ 科学研究与统计分析：从公式到范式。 统计之道：频率贝叶斯---回归自然！
大数据分析系统中的统计学理论应 用
大数据：定义辨析 （大忽悠？）
大数据（巨量资料（IT行业术语））
[1] 大数据技术(big data)，或称巨量资料，指的是所涉及的资料 量规模巨大到无法通过目前主流软件工具，在合理时间内达到 撷取、管理、处理、并整理成为帮助企业经营决策更积极目的 的资讯。
H. G. Wells
大数据分析系统中的统计学理论应 用
统计思维：统计与科幻
➢《时间机器》 （The Time Machine, 1895年）
➢《隐形人》 （The Invisible Man，1897年）
➢《星际战争》 （The War of the Worlds，1898年）
➢《最早登上月球的人》 （The First Men in the Moon，1901年）
社会科学的复杂性
大数据分析系统中的统计学理论应 用
摸 着 石 头 过 河
统计：最黄色（SEX）的专业
Statistical thinking
三 “白骨精” 的第 种能力
大数据分析系统中的统计学理论应 用
统计思维：至理名言
"Statistical thinking will one day be as necessary for efficient citizenship as the ability to read and write!"
大数据分析系统中的统计学理论应 用
东西方思维 的差距
大数据分析系统中的统计学理论应 用
贝叶斯统计思维：中西方的融合
大数据分析系统中的统计学理论应 用
科学与统计
2013年6月
Bayes' Theorem in the 21st Century
Bradley Efron
Department of Statistics, Stanford University, Stanford, CA 94305, USA. E-mail:
只要1000个字文科生也能理解大数据
大数据分析系统中的统计学理论应 用
1000字从这里开始—— 水这个东西大家都见过。 当你有一杯水的时候，你可以喝它。 当你有一盆水的时候，你可以用它洗脸。 当你有一浴缸水的时候，你可以用它泡澡。 当你有一游泳池水的时候，你可以用它游泳。 当你有一西湖水的话，你可以用它划船泡妹子。 当你有一运河水的时候，你可以用它运粮食。 当你有一长江水的时候，你可以来往于中国的西部和东部。 当你有一大西洋水的时候，你就可以发现新大陆了！
用的人越来越简单；（傻） 做的人越来越复杂。（智慧）
云计算
大数据分析系统中的统计学理论应 用
一进：计算机摆放的位置 脸上-？？
掌上-手机
腿上—笔记本
桌上– 台式机
大数据分析系统中的统计学理论应 用
一退：人类手指的功能
毛笔– 4个指头
钢笔—3个指头 屏幕-2个大拇指
无指办公-语音识别
大数据分析系统中的统计学理论应 用
大数据分析系统中的统计学理论应 用
科学研究与统计分析：从公式到范式。
上上个世纪-B时代– 贝叶斯
上个世纪-F时代– 频率学派 本世纪--- B-F时代– 经验贝叶斯
2010
大数据分析系统中的统计学理论应 用
内容提要
大数据：真的是大忽悠吗？ 科学研究与统计分析：从公式到范式。 统计之道：频率贝叶斯---回归自然！
大数据分析系统中的统计学理论应 用
自然科学的确定性
最美的公式
数
欧拉
学
L·Euler
百度文库
1707—1783
最残忍的公式
物
爱因斯坦
理
Albert Einstein
(1879-1955)
E = MC2
有规律 发现规律
大数据分析系统中的统计学理论应 用
经济问题的不确定性
没有规律 创造规律
大数据分析系统中的统计学理论应 用
The term "controversial theorem" sounds like an oxymoron, but Bayes' theorem has played this part for two-and-a-half centuries. Twice it has soared to scientific celebrity, twice it has crashed, and it is currently enjoying another boom. The theorem itself is a landmark of logical reasoning and the first serious triumph of statistical inference, yet is still treated with suspicion by most statisticians. There are reasons to believe in the staying power of its current popularity, but also some