大数据挖掘应用前景案例分析

将文字进行分类
• Yahoo! Mail决定接收的信息是不是垃 圾邮件，
– 基于先前邮件和用户的垃圾邮件报告，以 及邮件的特性。 – 一些信息被分类为垃圾邮件
聚类分析刷卡数据
• Cardlytics：解析你的刷卡足 迹
• “她去了McDonald，然后Target，再 是Babies R Us”可能是一个已婚妈 妈 • “„他的消费地点都是酒吧和Taco Bell”这可能是个单身汉
•
Mahout虽然相对年轻，但开源、支持 MapReduce 的集群实现
– 在处理数据规模很大，需要聚类、分类或 推荐内容时，Mahout是一个很好的选择
17
谢
谢
– 美国的Blue CRUSH项目为警员提供情报 ，关于哪些地方更容易发生犯罪事件，什 么时候更容易逮到罪犯。
大数据挖掘可以帮助执法部门更好地分配其 有限的资源。
预测传染病
采用大数据挖掘方法，处理海 量网络搜索记录。
– 例如：谷歌针对来自全球超 过30亿条的搜索指令，采用 上亿个挖掘模型进行处理， 发现了45条检索词条的组合 ，准确的提前预测了H7N9。
电影节目推荐
在线电影租赁公司Netflix公司，四分 之三的新订单都来自推荐系统。推 荐产品、内容及相关的信息
大数据挖掘总结
• 大数据挖掘为探索未知世界提供了一个工 具！
• 数据已经成为了一种优质商业资本，
– 传统行业结合大数据和大数据挖掘技术， 可以发现无限的商机，能够预测未来，激 发新产品和新型服务，创造新的经济利益 。
市场产品预测
• 利用大数据挖掘，准确 预测价格波动周期，实 现农业生产的精细管理 • • 减少价格波动的影响
– 细化每头猪生长情况、饲 养状态、健康情况 – 挖掘预期收益、预测对接 商超
预测警务
基于现有的视频、安保等海量大数据，采用 数据挖掘方法，实现 “预测警务”决定 哪些街道、群体需要更严密的监控。
1
大数据挖掘的应用前景 各行各业的应用
2
1) 影视业应用 2) 银行卡分析 3) 犯罪预警
向用户推荐电影
Netflix每天会对2700万和3600万 注册用户的
3000万次“动作”（包括播放、暂 停、倒退和快进等动作）、 400万次评级、 300万次搜索， 用户观看视频的时间和设备进行分 析
• 挖掘用户的喜好，向用户推荐 节目
机票价格预测
• 搜索引擎Bing的Farecast 。采用大数据 挖掘，实现了机票价格预测和Fare Guard最低价格保证模式
个性化售书推荐
Amazon通过网上售书，从每 一个客户身上捕获了大量的 数据。幵基于这些数据实现 个性化售书推荐
例如：他们购买了什么书籍？ 哪些书他们只浏览却没有购买？ 他们浏览了多久？哪些书是他 们一起购买的？
– 刷卡数据经过聚类处理为多类人 群，然后可以提供给Groupon，银 行，商家等。
BBP
BBP（The Billion Prices Project） 美国劳工统计局的人员每个月都要公布消 费物价指数（CPI），用来测试通货膨 胀率
• 为得到这些数据，之前需要从全美90个城 市的商店、办公室收集各种各样的价格信 息8万种，每年需花费两亿五千万美元。
这些数据也不是完全精确的，且结果的公
PriceStats
• MIT的一个名为PriceStats的大数据方案， 通过一个软件在互联网上收集信息，每天 可以收集到50万种商品的价格。
– 收集到的数据很混乱，也不是所有数据都能轻 易比较。 – 但是把大数据和数据挖掘方法相结合，该项目 可以实时发现通货紧缩趋势
收集到的价格信息多，而且是即时的，目前 被70多个国家的银行和经济决策人用到。
蛋挞与飓风
世界上最大的零售商沃尔玛对wk.baidu.com 史交易数据进行了挖掘
记录中包括每一个顾客的购物清 单以及消费额，甚至购买当日的 天气。 采用挖掘算法处理后，沃尔玛发 现飓风来临前，POP Tarts蛋挞 的销量会增加。
预报监测海洋环境
• 为监测海洋环境，感知海表的高度和 温度变化
– 每150平方海里海洋部署1个传感器，每 个传感器都以每秒10次的速率传回数据 – 每次传送的是4字节数据，每天产生的数 据量为3.5MB – 环美洲的海洋需要100万个传感器，每天 传回的数据3.5TB – 全球海洋面积3.6亿平方海里，需要360 万个，每天传回10T以上的数据