大数据应用基础培训课件

– 比如，有两家公司的年均增长率都相同，但是其中
一家每年增长率很稳定，而另一家的每年的增长率
不断上下波动，那么显然，两家公司的资金需求就
截然不同了。
12
重视组间差异
• 如果组间存在差异，就应该 把几个组分开，而不应合并 起来统计。
• 不同的组有时是不具有可比 性的。
13
不要过分在意小概率事件
• 不要过分在意小概率事件：遭遇空难和中彩 票其实都是小概率事件，发生的可能性很小， 所以不必为了活命而惧怕坐飞机，也不必为 了赚钱而玩彩票。在个体遇到医疗健康相关 的问题，或者企业家遇到经营管理问题的时 候，都容易以偏概全，认为个人体验到的就 是总体的全局的情况。
• 以先后论因果：A在B之后发生，不见 得说明A会导致B
• 很多事情发生的原因其实不止一个 • 不应盲目以结果好坏判断决定的优劣 • 分析的结论不一定只有一个
6
证据与信息源
• 发言者有时把个人经历、典型个案、 专家意见作为证据。这些证据都可靠 吗？
• 发言者是否省略了重要的数据 • 信息源可靠吗？ • 发言者所引用的数据是否来历不明
42
T检验与方差分析的区别
• T检验一次只能检验两个总体，即两 个组。
• 而方差分析一次能检验多个总体的均 值是否相等。
43
回归分析
• 回归分析（Regression analysis） 用来确定因变量和自变量之间的相互 依赖关系。
• 它有两种用途：
– 用来挑选能够影响因变量的自变量 – 生成一个等式，从而能用自变量的值来
•
安全象只弓，不拉它就松，要想保安 全，常 把弓弦 绷。20 .11.24 20:28 :0620 :28N ov-20 24-No v-20
•
重于泰山，轻于鸿毛。20:28:0620: 28:06 20:28 Tuesd ay, November 24, 2020
•
不可麻痹大意，要防微杜渐。20.11. 2420. 11.24 20:28: 0620: 28:06 Nove mber 24, 2020
– 这种检验有助于说明运营活动是否明显提升了用户 的访问活跃度。
40
方差分析
• 方差分析用来检验多个总体的均值是否相等。换言 之，它可以确定各总体的均值之间是否存在差异。
• 它用来研究分类型自变量对数值型（连续型）因变 量的影响。
• 它可看成是t检验的扩展。t检验用于两组连续型因 变量的比较；而方差分析则用于三组或更多组的连 续型因变量的比较。
28
A/B测试服务商的出现
• 有些公司帮助网站或移动应用更便捷地做A/B测试： Optimizely、Leanplum、Splitforce、 Predictive Edge等。
• 这种工具可以帮助小白用户测试网站的不同版本。 用户可以轻松地测试不同版本的对比效果，从而选 择出效果最好的网页版本，或者选出最适合某种特 定访客的网页版本。
统计学
1
目录
• 批判性思维 • 统计学思维 • A/B测试 • 统计学方法分类
2
懂统计学有什么用？
• 能更好地辨别各种分析。
3
熟悉一下常见的批判性思维
4
歧义
• 语言经常是模糊的。有些词是多义 词。
–听众要结合上下文弄明白发言者的 每个词的确切意思。发言者要界定 清楚那些多义词的确切含义。
5
因果关系
• 对于app来说： Amazon Appstore、 Google Play
34
网页推送领域的A/B测试服务
• Facebook Parse增加了一 项全新的功能--Parse Push Experiments。
35
网页推送领域的A/B测试服务
• 在Parse Push Experiments功能下，开发者 可轻松地创建用于推送通知的A/B测试，这样 他就能对数据进行分析然后了解怎样的内容以 及怎样的时机才是最有效的。
预测因变量的值。这种用法其实是一种 有监督学习。
44
•
踏实，奋斗，坚持，专业，努力成就 未来。 20.11. 2420. 11.24 Tuesd ay, November 24, 2020
•
弄虚作假要不得，踏实肯干第一名。 20:28: 0620: 28:06 20:28 11/24 /2020 8:28:06 PM
• 你是否纠缠于沉没成本？为什么我 们试过衣服后一般就会买下来？为 什么经验有时让人变蠢？为什么拿 锤子的人会把一切看成钉子？为什 么自己做的菜吃起来更香？为什么 我们会认为现状最好？
9
分析一下发言者的背景和目的
• 应该试图了解发言者的背景、并判断其可 能想要达到的目的。
• 发言者是否试图转移别人的注意力，回避 真正的问题。为什么推销员说出产品缺陷 时，我们也须谨慎？显眼的不一定等于是 重要的
– OLS回归：适于因变量是连续值的情形。 – 广义线性模型（generalized linear models）：主要
包括逻辑回归（logistic regression）和泊松回归 （poisson regression）。它们适于因变量不是连续 值的情形。 – 生存分析（survival analysis）
• 为什么我们不要购买包装过于精美的产品？ 为什么要忽略讨人喜欢的推销员？
10
典型的统计学思维
11
重视变异性
• 应高度关注变异性，不要用平均数来掩盖异常 值。在社会上，对平均值的滥用随处可见。平
均值就像安眠药，把你催眠，但你没有注意到
变异性，就有可能带来损失。
– 比如，一个富翁走入一家坐满了穷人的酒吧，酒吧 里人均收入将迅速提升，但每个穷人并没有因此致 富。
36
网页推送领域的A/B测试服务
• 开发者可在测试结束之后通过数据分析选择反 响更好的那组通知内容进行推送。
37
统计学方法
38
常见的统计方法
• 描述性统计：这是最基本的一类统计方法。 • 方差分析（ANOVA） • 因子分析（factor analysis） • 回归（regression）：这是最常用的一种。
• 这种测试工具能帮助营销人员测试和优化网站，非 常适合销售、市场、公关等人员使用。有了这种工 具，营销人员不一定要求助于公司IT人员。
• 这种公司的收费依据可以是：参加测试的用户数量
29
A/B测试服务商的出现
• Optimizely、Predictive Edge都是2010年前 后成立的，成立之初都是帮网站做A/B测试的。 近来才开始帮app做测试。将来的趋势是，它 们还会帮可穿戴设备、实体零售店做测试。
就是说它们的特征要相同。否则，组间的转化 率的差异到底是由于用户本身的差异造成的， 还是真的由于A和B两种方案的不同而造成的， 就很难说清楚了。
25
你可以对比不同标题或文案的效果
26
你还可以对比不同图片的效果
27
你可以对比不同按钮设计的效果
• 例如，“立即购买！（Buy Now！）”按钮在 某个主页上效果不佳。我们可以尝试改变按钮 的形状、大小、颜色或者位置。
• 接下来分别统计两个页面的用户转化率， 即可清晰的了解到两种设计的优劣。
22
A/B测试怎样识别用户
• 它通过Cookie或用户名识别用户。 • 它对同一个用户展现同一个版本。所以，同一
个用户不会发现不同的测试版本。不过，如果 你换台电脑，可能就会发现网站的不同版本。
23
A/B测试的局限性
• 必须在有大量被测用户的前提下，才是有 意义的。很多用户少的网站不适合做这种 测试。
• 另一方面，如果你觉得奇迹的发生是天意， 你就错了。几乎不可能发生的事件也有发生 的必然性。
14
尽量提高预测精度
• 在有监督学习中，应努力减少假阴 性和假阳性，两者都要尽量减少。 –比如，在通过分析网上数据识别 恐怖分子时，如果宁可错杀三千， 不可放过一个，那么很可能会冤 枉很多好人。
15
重视随机对照试验和回归分析
• 谷歌连工具栏上的颜色选择也要A/B 测试。
21
A/B测试的步骤
• 使用A/B测试首先需要建立一个测试页面 （variation page），这个页面可能在标 题字体、背景颜色、措辞等方面与原有页 面（control page）有所不同。
• 然后将这两个页面以随机的方式同时推送 给所有浏览用户。
• 判别分析（discriminant analysis）
39
T检验
• 它往往用于比较两个组的转化率、访问次数等 是否有明显差异。具体有两种：
1. 对照组和干预组这两个组的用户群体的对比： 采用独立组样本T检验。
– 比如，可以看看两组用户的转化率是否有明显差异。
2. 比较同一组用户在运营活动的前后的访问活跃 度的差异：采用配对组样本T检验。
• 《看穿一切数字的统计学》 • 《赤裸裸的统计学》 • 《数据统治世界》
19
A/B测试
• A/B测试是互联网产品设计人员最熟悉的 网页优化方法，能够对比不同版本的设 计，选取更吸引用户眼球的那一款，以 便增加用户点击、回访、购买等行为， 或者增加转化率注册率等。
• 为了搞清楚哪个功能或设计更好，每个 网站或移动应程序的数据科学家都离不 开A/B测试工具。
• A/B测试有点类似于统计学里面的随机对 照实验。
20
A/B测试的重要性
• 不少互联网巨头都是A/B测试的忠实 信徒，这其中就包括Google、 Amazon、Bing、Netflix等。
• 搜索引擎、有推荐系统的网站、大型 门户网站往往非常倚重A/B测试。这 种公司的网站设计很多时候是数据驱 动的。
• 每个分类型自变量称作一个因素，它的每个可能取 值称作“水平”或treatment。例如，每种促销方 式就是不同的treatment。