电商经济形态背景下的数据挖掘、大数据分析技术及实用案例

•
• • • • • • • •
电信：客户流失
银行：客户细分；交叉销售 百货公司/超市：购物篮分析 保险公司：客户细分；流失 信用卡：欺诈探测；客户细分 税务部门：偷税漏税行为探测 医学：医疗保健 电子商务：网站日志分析 物流行业：货物追踪
典型的商业应用领域包括：市场营销，
交叉销售与交叉营销，客户关系管理，个 性化推荐与服务，风险分析与控制，欺诈 行为检测和异常模式的发现，供应链库存 管理，以及人力资源管理等。
低
按要求而定
战略影响 工作表 每月情报简报 形势 分析
中
每月一次
中 中-高
每月一次 按要求而定
特别情报汇总
高
高级管理人员
按要求而定
15
第二篇 行动实践篇
如 何 操 作 ？
16
我 们 应 该
Contents目录
数据挖掘与分析的基本概念
数据挖掘与分析的流程及方法
数据挖掘与分析系统框架的设计
17
第一部分
电子邮件 • 从上世纪70年开始，平均的通讯量以每年几倍的速度增长。
阶段 • 从1995年起，以WEB技术为代表的信息发布系统，爆炸式地成长起来，成为目前 Internet的主要应用。
信息发布 阶段
电子商务 阶段
• 1997年底召开的APEC会议中提出各国共同促进电子商务发展的议案，引起全球 的关注。1998年被称为电子商务年。
集来的大量资料、数据进行分析，
提取有用信息并形成分析结论，把 隐没在一大批看似杂乱无章的数据 中的信息集中，萃取和提炼出来，
以找出所研究对象的内在规律；对
数据、资料等加以详细研究和概括 总结的过程，帮助人们作出判断， 以便采取适当行动。
数据挖掘与分析流程
数据是企业核心业务处理的中心内容，决定 着企业的未来发展。但是在面对这些海量数据时， 需要通过一个系统的流程来处理。成功的数据挖 掘是让数据产生商业价值，而不是简单运营特别 算法或工具。 根据1999年由欧盟机构联合起草的“跨行 业数据挖掘过程标准” CRISP-DM，一个数据挖 掘项目生命周期可以分为商业理解、数据理解、 数据准备、建立模型、模型评估及模型发布6个
利用数据挖掘产生了3000个最可能得顾
客模式，对这些数据进行进一步分析后再加以 精选，产生了更小的数目。而这个更小的数据 会产生12%的回报率。 结果表明，该银行只需发出200万份邀请 函即可获得20万名新用户。 数据挖掘与分析技术瞄准了那些最适合梅隆银行服务项目的顾客，不仅削减成本，
还提高了每位新开户顾客的平均利润率，其利润要比通常高3倍。
报告种类 描述
包括来源于内部和外部的战略 及战术方面的信息。包括：已 印刷出版或未印刷出版的信息
战略价值 水平
低
目标客户
一线销售人员 市场推广/销售管理 人员 其他管理人员 市场推广/销售管理 人员 前线销售人员 其他管理人员
市场推广/销售管理 人员 其他管理人员 高级管理人员 其他管理人员 高级管理人员 其他管理人员
数据挖掘分析 后，会产生几个不 同类型的交付形式 。可能是一个报表 或充满图标和图形 的简报。 例如：当我们 的目的是提醒销售 惊雷时，产生一个 营销测试的客户列 表是不够的。
例如： • 主动向高风险或高 价值的客户提供一个 优惠，挽留他们 • 研究渠道方式，以 利于那些能带来最忠 实客户的渠道 • 如果停止某类产品 ，列出处于销售风险 的产品 • 根据当前市场营销 策略，预测未来三年 的客户数量
22
自动预测趋势和行为
数 据 挖 掘 与 分 析 的 功 能
• 在大型数据库中寻找预测性信息；例如市场预测问题，数据挖掘使用过去有关促销的数据 来寻找未来投资中回报最大的用户，其它可预测的问题包括预报破产以及认定对指定事件 最可能作出反应的群体。
关联分析
• 数据库中存在的一类重要的可被发现的知识；若两个或多个变量的取值之间存在某种规律 性，就称为关联；找出数据库中隐藏的关联网。
24
Pop-Tarts和飓风
分析人员发现，每次飓风来临，一种袋装小
食品“Pop-Tarts”的销售量都会明显上升。手电 筒、电池、水，这些商品的销量会随着飓风的到来 而上升，很容易理解，但“Pop-Tarts”的上升是
不是必然的呢？
研究人员后来发现，这也是一个有用的规律： Pop-Tarts的销量上升，一是因为美国人喜欢甜食， 二是因为它在停电时吃起来非常方便。此后，飓风 来袭之前，沃尔玛也会提高“Pop-Tarts”的仓储 量，以防脱销，并把它和水捆绑起来销售。 如果没有进行数据挖掘与分析，“Pop-Tarts”
报告的频率
新闻公告
每月一次或每周 一次
竞争对手简介
包括竞争对手的基本情况，通 常是放在一个文件夹或可供随 时检索的数据库内，并可经常 进行更新
和新闻公告近似，但会确认对 企业战略和战术有影响的事件 包括主要的战略新闻和影响因 素，以高度浓缩的形式报告 汇总主要的战略问题，并包括 支持汇总的详尽分析 关于某一确认情况或问题的一 到两页长度的报告。汇总主要 的支持性分析，并提供相应行 动的建议
数据挖掘与分析的基本概念
定义
历史
特点
功能
重要性
18
我们身边的数据挖掘与分析
如今，网上购物已成为大部分人的消
费趋势与习惯，而大家在网上购物时，经 常会收到系统做出的个性化推荐。 比如：亚马逊会推荐你可能会喜欢看 的图书，淘宝会根据你的购物和浏览记录 推荐你可能感兴趣的商品。 所有这些推荐结果都来自于各式各样 的推荐系统，它们依靠计算机算法运行， 根据顾客的浏览、搜索、下单和喜好，为 顾客选择他们可能会喜欢、有可能会购买
和颶风的微妙关系就难以被发现。
25
第二部分
数据挖掘与分析方法
目的 流程 方法
26
27
在处理海量数据时，我们常常遇到类似的苦
恼，数据库越来越大，数据爆炸，不能制定合适的 决策，那么我们如何更好的利用挖掘出的数据，通 过分析获取到有价值的数据成为非常重要的课题。
数据挖掘与分析目的：
用适当的统计分析方法对收
常用分析模型
水平比较分析 趋势分析 定标比超 九宫图分析法 SWOT分析 波士顿矩阵 竞争态势矩阵 竞争者分析 竞争者标杆 核心竞争力分析 差距分析 麦肯锡7S框架 组织和个性评估 组合分析 产业/行业分析 价值链 组合管理和调整战略 波特一般竞争战略 波特价值链 波特——产业五种力 量分析 产品生命周期 经验曲线 营销技术矩阵 比率分析 国家风险分析 分销战略分析 研发、产品和制造分析 方向政策矩阵 战略设想和联盟分析 曲线分析 持续增长率分析 商业筛选 宏观环境分析 ……
如何使用结果
如何交付结果
32
选择合适的数据
什么数据可以用
对数据的探索的前 期工作
多少数据才足够
分析需要多久的时间 数据必须包含什么
认识 数据
判断字段，含义， 是否有用，是否缺 失，是否有问题等 一系列问题
33
构建分析模型
数据分析模型（方法论）：主要是用来指导分析人员进行一个完整的数据分析，更多是指导数 据分析的思路。如：主要从哪几方面开展分析？各方面包含什么内容或者指标之类？
架，人力资源（能力）相当于肌肉。
传导≠动作反应
信息情报≠管理决策
9
渠 道
情报的多渠道来源——不同渠道的情报内容不同
•国家经济指标
•房地产 •消费水平 •股市资讯 •信息收集 •信息分析
时效
•情报储存 •信息情报传递
经济来源分支
销售 人员
提 炼
竞争 对手
情报圈
甄 别
技术来 技术来源分支 源分支
同行合 作伙伴
点与现状，希望能对如何利用当前数据资源开展数据挖掘工作及有效的
进行数据收益分析做一些有益的探讨。
2
第一篇 思维模式篇
要想上战场杀敌，你首先得让自己成为一个士兵！
找准定位
视角
效果
精准
定位
责权
渠道
4
视 角
视 角
视 角
8
责 权
如何理解信息情报的功能性——
企业的决策结构相当于中枢神经系统，情 报系统相当于神经系统，资金管理相当于 血液，知识管理（方法、工具）相当于骨
销售人员 顾客 行业期刊 公司的促销材料 营销研究人员 对竞争对手产品的分析 公司的年度报告 会议、贸易展会 分销商 供应商 96% 92% 89% 84% 83% 81% 77% 74% 70% 65%
效 果
如何应用情报的？——
• 谁在用？ • 为什么用？
• 谁没有用情报？为什么？
• 在什么情况下用？
聚类
• 数据库中的记录可被化分为一系列有意义的子集，即聚类。 • 聚类增强了人们对客观现实的认识，是概念描述和偏差分析的先决条件。聚类技术主要包 括传统的模式识别方法和数学分类学。
概念描述
• 对某类对象的内涵进行描述，并概括这类对象的有关特征。 • 分为特征性描述和区别性描述，前者描述某类对象的共同特征，后者描述不同类对象之间 的区别。
• 通过什么方式？ • 使用者是如何获得情报的？ • 他们获得情报的意愿如何？
13
效 果
情报工作中可能出现的问题——
工作重点不明确：
确定 需求 最佳分配 搜集 情报 识别 筛选 研究 整理 沟通 说服 提供 传播
5%
10%
30%
15%
20%
20%
实际使用
5%
5%
20%
50%
5%
25%
14
效 果
阶段。
29
欧盟“跨行业数据挖掘过程标准”
• 构建模型不是项目的终 点。在模型建立并验证之 后，还需要一个“部署— 监控—更新”的过程，以 使模型的作用最大化。
商业理解
数据挖掘的第一个阶段； 理解项目的目标和从业务的角度理解需 求，并将这个知识转化为数据挖掘的定 义和完成目标的初期计划。
模型发布
• 将模型输出的结果与现 实生活中发生的结果进行 对比，从而进一步评估模 型准确性。 • 合理性、简单性、稳定 性、预测能力
全程电子 商务阶段
• 随着SaaS (Software as a service)软件服务模式的出现，延长了电子商务链条， 形成了当下最新的“全程电子商务”概念模式。
21
数据挖掘与分析的重要性：
在银行、保险、电信、零售等行业，
激烈的市场竞争环境下，数据挖掘及数据 分析的作用尤为重要，并已开始广泛应用。 通过挖掘出的数据，对其进行适当的 数据模型分析，使公司对客户了解更精细 化，从而改善其市场、销售和客户支持运 作。
公司分支
客户
广告宣传 活动 朋友
人力资源分支
网络
分析报表、CEOS
渠 道
内部信息
• • • • • • 公司战略 营销政策 产品服务数据 财务报表 市场分析报告 销售人员业绩
外部信息
• 媒体新闻
•
• •
行业统计
股市资讯 同行网站
•
分销商报表
11
渠 道
信息情报来源真实性评估
据美国308家公司的调查结果显示：
引 言
随着云计算、物联网、社交网络等新兴服务的兴起，人类社会的数 据种类和规模正以前所未有的速度增长，大数据时代正式到来。数据从
简单的处理对象开始转变为一种基础性资源，如何更好地管理和利用数
据，从已有的数据资源中挖掘出更大的价值已经成为普遍关注的话题。 本课程从数据挖掘以及数据分析讲起，结合大数据背景时代行业特
30
如何构建一个有指导的数据挖掘与分析模型
评估模型 构建模型 适用性
结论
选择合适
的数据 把业务 问题转
换为数
据问题
31
把业务问题转换为数据挖掘问题
把广泛的目标具体化，细化，深入观察客户行为可能变成具体的目标；
取决于对要解决的业务问题的理解程度。没有正确的理解业务问题就没办法把数据
转化为挖掘任务。
偏差检测
• 数据库中的数据常有一些异常记录，从数据库中检测这些偏差很有意义。偏差包括很多潜 在的知识，如分类中的反常实例、不满足规则的特例、观测结果与模型预测值的偏差、量 值随时间的变化等。
23
美国梅隆银行（Bank of NewYork Mellon）
梅隆银行设定争取20万新户头的目标， 为此计划向1000万可能得顾客邮寄邀请函。
数据理解ຫໍສະໝຸດ Baidu
• 熟悉数据、发现 数据的内部属性，识 别潜在的特征, • 检查数据是否完 整、正确，是否存在 缺失值等等
模型评估
数据准备
建立模型
• 为了特定的数据挖掘目的作出假设， 运用适当的数据挖掘工具建立模型； • 利用模型解释特定的现象和预测对 象的未来状况。
• 将原始数据处理成 最终建模需要的数据。 该过程可能多次执行， 且非常耗时。
的商品，从而增加潜在的销售。
19
定义 —— 数据挖掘分析是什么？
海量数据 • 技术层面：探查和分析大量数据以发现有意义的
模式和规则的过程。
数据挖掘
•
商业层面：是一种商业信息处理技术，特点是对 大量业务数据进行抽取，转换，分析和建模处理 ，从中提取辅助商业决策的关键性数据。
知识库
20
数据挖掘分析的发展历史