大数据分析方法精选ppt

总结
总结
大数据和新方法只是新的资源和工具 挖掘数据价值的还是人
我们还会继续沿用此前的哲学思想和逻辑方法：
谨慎思考、仔细观察 – Deep Understanding 大胆假设、小心求证 – Insight 实践产出理论、理论指导实践 – Prospect
Thanks
此课件下载可自行编辑修改，此课件供参考！ 部分内容来源于网络，如有侵权请与我联系删除！感谢你的观看！
话标准、表现情感等相似的定量评分
注：部分研究问题已经明显定量化，部分则需要人工确定 量化标准
步骤6：运用数据分析方法产生结论
内容：套用各种数据方法产出结论
形式：数值、概率值、图表
分析软件和语言
SPSS、SAS、Matlab、smartPLS Python、R等等
分析方法：
常规统计方法：T检验、方差分析、相关分析、回归分析 、因子分析、时间序列分析、结构方程模型等，参考任 意一本统计学教材。
大数据分析方法交流
关于分析思想、流程与工具的探讨
主要内容
引言 数据分析的工作框架 数据分析的实施流程 总结
引言
引言
言数据必称“大” 的时代
交通大数据、旅游大数据、网购大数据
2011年开始的各种各样的“V”：
Volume、Variety、Velocity（Value、Veracity-真实性）
想做什么 能做什么 怎样做
数据分析的工作框架
工作框架
需要的结论：既想要也想得到的
需要得到 的结论
数据分析可以 解决的内容
数据资源和分析方法大量扩充 — 右半边扩张 分析对象理解和问题思考有所不足 — 左半边停滞
最重要的还是商业思维
大数据 数据资源 分析方法
商业思维 理解 Deep Understanding 洞察 Insight 前瞻 Prospect
工作框架
充分扩展两个部分，首先代表：
理解宏观问题 给出系统假设 将假设化简至可被数据分析
其次，两项工作无法忽视：
充分研究了解对象 — 我们想要知道什么 （发现问题）
判断我们想要研究的问题是否有意义 （减少人力损耗）
工作框架
数据分析的六个阶段
1、对研究对象主观的和客观的、整体的和局部的认识 2、提出希望探索的宏观的问题（自由的或是有明确的） 3、探讨分析这些问题并产生结论的价值 4、为选出的研究问题提出充分的假设。 5、将研究假设进行拆解、划分成为可定量分析的单元。 6、结合数据资源和数据分析方法产生结论，验证假设及
陈述事实多，推理结论少 展示效果好，实践应用差
总结：大数据更多是一种新的数据观
充分认识数据的价值（潜力与局限） 正确选择分析的方法
引言
零售数据分析：我们的优势
1、拥有最精华的数据，产出结论有说服力 （大而全不一定是长处：收集成本高、筛选困难）
2、时间长涵盖面广，便于比较分析
我们需要仔细分析的是：
例子：顾客对购物中心服务的满意度的影响因素
假设1：服务人员对待客户的态度 假设2：购物中心提供的额外服务的种类 假设3：购物中心的环境 验证假设来分析真实的影响因素及其影响程度
步骤5：将对象分解为可测量数据
内容：将各项假设提到的元素定量化 以假设1：服务人员对待客户的态度为例：
数据库中数据：出勤记录、日常考核记录、投诉记录 问卷调查数据：服务效率、服务意识、用词方式、普通
等易于描述的、可变因子不超过一个的问题。
反面例子：不同业态对不同年龄段顾客的影响
1、业态和年龄段范围太广 2、“影响”未指明具体内容 导致此调查耗费资源、失去重点 可改成：餐饮区域面积占比对顾客到店数目的影响（划
定业态、指明影响内容、排除掉年龄因素）
步骤3：探讨阐述结论的价值
相同的结论对不同的对象价值不同
理论的扩展性。
工作框架
两个重要问题 产生的结论要有理论解释
反面例子：消费额和停车场大小正相关 （相关性需要结合背景）
机器学习方法解释性差、往往模型拟合数据，由于现实 世界太复杂，参数太多，因此使用效果并不好
认真思考提出问题的操作性
反面例子：不同客户的消费偏好分析、竞争力比较
我们将结合六个步骤，分别讨论完成 它们的方法和一些重点问题
例：火车票订票信息：增开列车？疏导客流？市政服务？
思考分析结果对各种对象的可能价值
正面例子：男女性消费者对购物中心环境设计的不同偏好 反面例子：为不同地域的客户设计不同会员礼品 - 成本 反面例子：周边办公楼客流对销售影响 - 无法采取措施
步骤4：对宏观问题提出充分假设
内容：将大问题提出各种各样的小问题
机器学习方法：聚类、分类、神经网络、决策树等等， 参考《机器学习导论》。
补充
需要认真防范的致命错误：
1、与环境（背景）的结合 例：突发事件的影响
2、认真思考逻辑关联 例：历年节日的“同比”
3、“见所未见” 例：飞回的战斗机往往机舱损坏ቤተ መጻሕፍቲ ባይዱ重
专门提出：“相关”的欺骗性
“万物皆相关” 数据相关 ≠ 逻辑相关
数据分析的具体流程
步骤1：建立对对象的整体认知
内容：对对象建立主观印象 意义：产生新问题；产生对问题的合理假设 着手点：
观察现状；例子：购物中心的消费习惯转变 观察数据；例子：消费数据分析暗示的消费群体变化 此外，闻者有心：例子：外卖数据暗示房价
步骤2：提出希望探索的宏观问题
内容：提出大目标 形式：“A对B的影响”、“A未来一年的销售额”
各种全新的配套手段：
存储（云）；处理（并行）； 保护（安全性）；分析（数据挖掘、机器学习）
潜力无限 vs 言过其实？ 创新为主 vs 传承为主？
引言
思考1：“大”数据，到底应该多大？
量级不严格、范围不严格
思考2：新方法，到底有多新？
大多数传承传统方式 新方法解决面窄
思考3：新结论，到底多有价值？