大数据与数据挖掘精品PPT课件
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
✓ 2017.6.3 菜鸟和顺丰在中国邮政局主持下和解。
背后数据之争
①顺丰：我的快递业务以商务件为主，不完全依赖淘宝件，且我从 未放弃过电商，顺丰优选仍然是生鲜电商中的领导者，我不愿意 将数据拱手让人。
②阿里(菜鸟)：我已经拥有巨大的电商数据积累，要物流数据是为了 客户服务体验和数据商业化，没有数据我这种轻资产公司就什么 都不是了。
大数据是什么?
大数据(Big Data):
指无法在一定时间范围内用常规 软件工具进行捕捉、管理和处理的数 据集合，是需要新处理模式才能具有 更强的决策力、洞察发现力和流程优 化能力的海量、高增长率和多样化的 信息资产。
简单一点的说，就是用现有一般技术 难以管理的数据。
大数据的典型特征
✓ Volume（容量） 数据量大，包括采集、存储和计算的量都非常大。
✓ Variety（多样性） 种类和来源多样化。包括结构化、半结构化和非结构化数据，具体表现为网络日
志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了 更高的要求 ✓ Velocity（速度）
数据增长速度快，处理速度也快，时效性要求高。数据产生和更新的频率 ✓ Value （价值）
数据做什么？
能干的太多了，用户画像、精准营销、用户体验提升、决策辅助等 等，我们就说说个简单的： 用户画像 上面整个过程中，系统已经给用户做了画像。 姑娘A，家住北京，电话，地址，25-35岁，女性，消费能力中等， 资产情况好，准备生姑娘下次打开淘宝的时候（手机/PC），系 统页面自动会将下面产品放在首页： 母婴用品，中高端（孕妇装、儿童装、纸尿裤、奶 粉统统来一套）服装，中高化妆品，国内知名品 牌。。。。。。 剩下的事情你懂得，淘宝页面可是很有限的，为了 提高广告效率，你看把我家淘宝累成啥样了？所以 卖货的筒子，赶紧掏钱啊，引流效果很好的。。。。 还可以这样： 当姑娘A登陆虾米音乐的时候，阿里就直接给他推 送25-35岁女性的歌曲，顺便把A常听的歌曲也加入 数据库。。。 打开支付宝的时候，顺手推荐下理财产品，反正A 也有闲钱，放着多浪费啊，来看看这些。。。 顺手还能推荐一下儿童的0岁保险^_^.
数据价值密度相对较低，或者说是浪里淘沙却又弥足珍贵 ✓ Veracity（真实性）
数据的质量
大数据的纬度
数据
技术
创意
个人数据
比如A用户通过菜鸟从北京给远在上海的朋友B寄了一箱樱桃，首先最直观的就 是发件/收件人的姓名、电话、住址，这个就锁定了两个人的基本数据。 然后通过用户淘宝消费明细，我们发现A经常在某女装店买衣服，那么就出现第 二个信息，A可能是女性。通过大量淘宝订单，阿里会发现，这个姑娘A经常购 物的店是针对25-35女性的，可以得出结论A年龄为25-35岁。 再通过电话反向检索淘宝/天猫数据库，发现姑娘A每月淘宝消费2000以上，可 以基本判断出这是个中等收入小资。 然后，再搜索余额宝，发现姑娘A还有18万块放在余额宝里面，哦哦，阿里现在 知道这姑娘有闲钱。继续检索，发现姑娘A最近浏览了很多婴幼儿产品页面，都 是针对新生儿童的，得出结论姑娘要生宝宝了其他。。。。。。
大数据与数据挖掘
华艺园林股份有限公司 2017.6.23
阿里(菜鸟)与顺丰之争
✓ 2017.3-4月 菜鸟要求顺丰返回所有快递柜(丰巢)包裹信息，即所有的快递柜信息的触发必须通过菜鸟裹裹，取 件码信息要无条件给菜鸟，丰巢要返回所有包裹信息给菜鸟，无论此件是否来自淘宝系平台，顺丰 不同意
✓ 2017.5.27 菜鸟邮件通知顺丰自 5.31 日停用数据接口，下线顺丰接口。 （5月31日晚上6点，接到顺丰发来的数据接口暂停告知。6月1日凌晨，顺丰就关闭了自提柜的数据 信息回传）
✓ 2017.6.1 菜鸟称收到顺丰发来数据接口暂停通知（顺丰突然关闭了物流数据接口）
✓ 2017.6.1 顺丰称丰巢接口信息是菜鸟方面于 6 月 1 日 0 点下线的。（菜鸟之所以封杀顺丰，背后原因是 阿里方面希望顺丰放弃使用腾讯云改用阿里云。）
✓ 2017.6.2 顺丰连发两条告示，指责菜鸟未披露实情
谢谢
学习并没有结束，希望继续努力
Thanks for listening, this course is expected to bring you value and help
为方便学习与使用课件内容，课件可以在下载后自由编辑， 请根据实际情况调整
各种来 源数据
数据库
或者数 据仓库
数据
挖掘 引擎
模式
用户
评估
界面
知识库
数据挖掘做什么
概念性描述：用户画像；
高度自动化地分析，做出归纳性的推 理，从中挖掘出潜在的模式，可以帮 助企业、商家、用户调整市场政策、 减少风险、理性面对市场，并做出正 确的决策。
统计学
数据库 技术
数据挖 掘
机器学 习
信息科 学
数据挖掘（英语：Data mining），又译为资料探勘、数据采矿。它是数据 库知识发现（KDD)中的一个步骤。数据挖掘一般是指从大量的数据中通过算 法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统 计、在线分析处理、情报检索、机器学习、专家系统和模式识别等诸多方法 来实现上述目标。
对用户： 不用打电话不用发问卷，不用骚扰用户，通过大数 据抓取的信息我都清楚，用户想到想不到的，通通 替用户想到，只说一句：您就掏钱吧，搁哪儿都要 买，不是么。。。 对商家： 我知道谁需要你的产品，谁出的钱多，我就把谁的 产品展示给用户，赶紧麻利掏钱，别跟我BB。那边 的穷鬼死一边去。。。
数据挖掘是什么
可视化
大数据不是最终答案，而是参考答案，千万不要神化了大数据。往 往从神化到妖魔化只有一线之隔。记住，更大的数据是人类本身， 在使用这一科技资源时要怀有谦恭之心，时刻铭记人性之本。
芝麻信用的数据来源
芝麻信用的数据来源
芝麻分
芝麻分
未来信用商业生态
华艺大数据
1.收集数据，收那些数据？ 2.数据收集完，怎么用？ 3.能否用这些数据解决问题？
背后数据之争
①顺丰：我的快递业务以商务件为主，不完全依赖淘宝件，且我从 未放弃过电商，顺丰优选仍然是生鲜电商中的领导者，我不愿意 将数据拱手让人。
②阿里(菜鸟)：我已经拥有巨大的电商数据积累，要物流数据是为了 客户服务体验和数据商业化，没有数据我这种轻资产公司就什么 都不是了。
大数据是什么?
大数据(Big Data):
指无法在一定时间范围内用常规 软件工具进行捕捉、管理和处理的数 据集合，是需要新处理模式才能具有 更强的决策力、洞察发现力和流程优 化能力的海量、高增长率和多样化的 信息资产。
简单一点的说，就是用现有一般技术 难以管理的数据。
大数据的典型特征
✓ Volume（容量） 数据量大，包括采集、存储和计算的量都非常大。
✓ Variety（多样性） 种类和来源多样化。包括结构化、半结构化和非结构化数据，具体表现为网络日
志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了 更高的要求 ✓ Velocity（速度）
数据增长速度快，处理速度也快，时效性要求高。数据产生和更新的频率 ✓ Value （价值）
数据做什么？
能干的太多了，用户画像、精准营销、用户体验提升、决策辅助等 等，我们就说说个简单的： 用户画像 上面整个过程中，系统已经给用户做了画像。 姑娘A，家住北京，电话，地址，25-35岁，女性，消费能力中等， 资产情况好，准备生姑娘下次打开淘宝的时候（手机/PC），系 统页面自动会将下面产品放在首页： 母婴用品，中高端（孕妇装、儿童装、纸尿裤、奶 粉统统来一套）服装，中高化妆品，国内知名品 牌。。。。。。 剩下的事情你懂得，淘宝页面可是很有限的，为了 提高广告效率，你看把我家淘宝累成啥样了？所以 卖货的筒子，赶紧掏钱啊，引流效果很好的。。。。 还可以这样： 当姑娘A登陆虾米音乐的时候，阿里就直接给他推 送25-35岁女性的歌曲，顺便把A常听的歌曲也加入 数据库。。。 打开支付宝的时候，顺手推荐下理财产品，反正A 也有闲钱，放着多浪费啊，来看看这些。。。 顺手还能推荐一下儿童的0岁保险^_^.
数据价值密度相对较低，或者说是浪里淘沙却又弥足珍贵 ✓ Veracity（真实性）
数据的质量
大数据的纬度
数据
技术
创意
个人数据
比如A用户通过菜鸟从北京给远在上海的朋友B寄了一箱樱桃，首先最直观的就 是发件/收件人的姓名、电话、住址，这个就锁定了两个人的基本数据。 然后通过用户淘宝消费明细，我们发现A经常在某女装店买衣服，那么就出现第 二个信息，A可能是女性。通过大量淘宝订单，阿里会发现，这个姑娘A经常购 物的店是针对25-35女性的，可以得出结论A年龄为25-35岁。 再通过电话反向检索淘宝/天猫数据库，发现姑娘A每月淘宝消费2000以上，可 以基本判断出这是个中等收入小资。 然后，再搜索余额宝，发现姑娘A还有18万块放在余额宝里面，哦哦，阿里现在 知道这姑娘有闲钱。继续检索，发现姑娘A最近浏览了很多婴幼儿产品页面，都 是针对新生儿童的，得出结论姑娘要生宝宝了其他。。。。。。
大数据与数据挖掘
华艺园林股份有限公司 2017.6.23
阿里(菜鸟)与顺丰之争
✓ 2017.3-4月 菜鸟要求顺丰返回所有快递柜(丰巢)包裹信息，即所有的快递柜信息的触发必须通过菜鸟裹裹，取 件码信息要无条件给菜鸟，丰巢要返回所有包裹信息给菜鸟，无论此件是否来自淘宝系平台，顺丰 不同意
✓ 2017.5.27 菜鸟邮件通知顺丰自 5.31 日停用数据接口，下线顺丰接口。 （5月31日晚上6点，接到顺丰发来的数据接口暂停告知。6月1日凌晨，顺丰就关闭了自提柜的数据 信息回传）
✓ 2017.6.1 菜鸟称收到顺丰发来数据接口暂停通知（顺丰突然关闭了物流数据接口）
✓ 2017.6.1 顺丰称丰巢接口信息是菜鸟方面于 6 月 1 日 0 点下线的。（菜鸟之所以封杀顺丰，背后原因是 阿里方面希望顺丰放弃使用腾讯云改用阿里云。）
✓ 2017.6.2 顺丰连发两条告示，指责菜鸟未披露实情
谢谢
学习并没有结束，希望继续努力
Thanks for listening, this course is expected to bring you value and help
为方便学习与使用课件内容，课件可以在下载后自由编辑， 请根据实际情况调整
各种来 源数据
数据库
或者数 据仓库
数据
挖掘 引擎
模式
用户
评估
界面
知识库
数据挖掘做什么
概念性描述：用户画像；
高度自动化地分析，做出归纳性的推 理，从中挖掘出潜在的模式，可以帮 助企业、商家、用户调整市场政策、 减少风险、理性面对市场，并做出正 确的决策。
统计学
数据库 技术
数据挖 掘
机器学 习
信息科 学
数据挖掘（英语：Data mining），又译为资料探勘、数据采矿。它是数据 库知识发现（KDD)中的一个步骤。数据挖掘一般是指从大量的数据中通过算 法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统 计、在线分析处理、情报检索、机器学习、专家系统和模式识别等诸多方法 来实现上述目标。
对用户： 不用打电话不用发问卷，不用骚扰用户，通过大数 据抓取的信息我都清楚，用户想到想不到的，通通 替用户想到，只说一句：您就掏钱吧，搁哪儿都要 买，不是么。。。 对商家： 我知道谁需要你的产品，谁出的钱多，我就把谁的 产品展示给用户，赶紧麻利掏钱，别跟我BB。那边 的穷鬼死一边去。。。
数据挖掘是什么
可视化
大数据不是最终答案，而是参考答案，千万不要神化了大数据。往 往从神化到妖魔化只有一线之隔。记住，更大的数据是人类本身， 在使用这一科技资源时要怀有谦恭之心，时刻铭记人性之本。
芝麻信用的数据来源
芝麻信用的数据来源
芝麻分
芝麻分
未来信用商业生态
华艺大数据
1.收集数据，收那些数据？ 2.数据收集完，怎么用？ 3.能否用这些数据解决问题？