数据仓库基础培训

HLR
集团规范定义的三户模型
客户与客户关系
1..* 1..* 客户与用户关系 客户 1 1..* 1 0..* 帐户
用户与用户关系 1..* 1..* 用户 1 1..* 1 1..* 1..* 0..* 1..* 帐务关系
品牌
0..1
1..* 订购信息 0..*
0..*
1 产品与品牌关系 1..* 产品 1 帐目
国内BI行业前景
烟草：各地烟草企业已经建立很多商业智能系统，但是还有更大的空白市场。烟草公司项 目建设难度低、利润大，应用前景不错。 政务：商业智能在电子政务中的应用，更多的涉及到报表填制、数据统计，需要报表系统 能很好的满足中国特色报表的要求。一般采用自上而下的市场推广手段会前景广阔。 航空：国内的航空公司，也在逐步深入BI系统的建设。 制造：制造业的企业信息化水平参差不齐，有些大中型企业已经成功使用商业智能技术， 但是大部分企业基础信息化水平仍未达到，随着这些企业的信息化水平逐步提高，建设商 业智能系统的需求也会随之而来。随着金融危机的度过和国内经济的恢复，制造业将是未 来商业智能新的增长点。 零售：一些大型的超市、百货、电器、手机等销售企业，绝大部分已经实现了连锁，基础 信息化建设程度高，商业智能技术已经应用较广泛，未来还有进一步的应用空间 据ChinaBI预测，未来商业智能在各行业均稳定发展，新的利润增长点主要 集中于金融和制造业。
① 上市业务公告 ② 企业管理决策 ③ 市场战略调整 ④ 绩效考核
⑤ 市场反应和主动营销
帐务
其它
数据
运营
移动经分建设背景
业务发展快，系统林立，数据分散缺
呼叫中心
乏统一标准，数据存在大量的不一致
大客户
由于信息不准确，不完整，无法实现
精确营销理念； 缺乏企业内部的信息共享架构，从整
BOSS
VGOP
1...* 0...* 设备信息 客户 1...* 1...* 0...* 用户
0...* 普通客户 大客户 集团客户
帐户
帐户域模型
用户
1
1...*
帐务关系
1...*
1
帐目
1...* 1 客户 帐户 1 1...* 账本
1...*
0...*
数据业务分类
按用户划分
个人数据业务
短信，彩信，彩铃，飞信，GPRS,手机报，来电显示，来电提醒，语言信箱，手机邮箱，pushmail,语音杂志 ，号簿管家，随E行，WLAN业务等。
Teradata
Sybase SAP SAS 奥威智动 尚南 润乾 探智
Teradata，主要是数据仓库领域
SybaseIQ，主要是数据仓库领域 BusinessObjects、CrystalReports，主要是OLAP和报表领域 SAS，数据挖掘领域领先 Power-BI，主要是OLAP和报表领域，行业解决方案 BlueQuery，主要是OLAP和报表领域（已被用友华表收购） 润乾报表，主要是OLAP和报表领域 Trinity，主要是数据集成领域
数据仓库基础培训
山西项目组 2010.6
Agenda
1 2 3 4
BI概要介绍 山西移动业务介绍 山西移动经营分析系统
山西移动经分关键主题域
BI是什么？
BI(Business Intelligence)即商业智能，是一种以计算机为工具，应 用决策科学及有关学科的理论与方法，以人机交互方式辅助决策者解决 半结构化和非结构化决策问题的信息系统。 最早在1996年提出，初期BI定义为一类由数据仓库（或数据集市）、 查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的、以帮 助企业决策为目的技术及其应用。目前，BI通常被理解为将企业中现有 的数据转化为知识，帮助企业做出明智的业务经营决策的工具。 商业智能能够辅助的业务经营决策，既可以是操作层的，也可以是战术 层和战略层的决策 BI是数据仓库(DW)、联机分析处理(OLAP)和数据挖掘(DM)等技术的 综合运用，可看做一种解决方案。 在中国移动系统建设中，BI系统称之为经营分析系统。
国内BI厂商关注度
BI发展趋势
企业并购和重组仍将继续
操作型BI应用得到发展
MDM将在大型企业中逐步应用
数据分析从简单走向深入
BI企业将在垄断中不断新生
BI发展 趋势
数据集成应用得到重视
SAAS BI将得到快速发展
中小企业BI应用逐渐扩大市场份额
职业技能要求
技术人员Βιβλιοθήκη Baidu
业务人员
1、Teradata数据库使用 2、熟练编写SQL及SQL优 化 3、ETL 4、OLAP 5、JAVA
1、熟练掌握移动业务 2、业务分析方法 3、沟通表达能力 4、文档能力
Agenda
1 2 3 4
BI概要介绍 移动业务介绍 山西移动经营分析系统
山西移动经分关键主题域
营业总体数据流图
实时帐务 信用管理 欠费提醒 业务受理 用户 业务变更 缴费 积分管理 销帐 帐单 三户资料 订单管理 黑名单管理 统一开通
BI涉及技术-DM
数据挖掘(Data Mining)是从数据中自动地抽取模式、关联、变化、异 常和有意义的结构。 数据挖掘大部分的价值在于利用数据挖掘技术改善预言模型。
关联 分类 聚类 决策树 神经网络
BI发展方向
第一阶段： 第二阶段： 第三阶段 第四阶段：
第五阶段：
内蒙BOSS的三户模型
客户与用户关 系
客户
帐户账本 帐户 账本冲销
资源占用
默认帐务关系 用户 业务信息 账本帐目
帐务关系
定购信息
用户域模型
用户信息扩展
品牌
用户群 产品定购
业务信息扩展
业务定购
用户 0...*
0...*
0...* 资源占用 1...*
帐务关系
客户
客户域模型
客户与客户关系
客户与用户关系
CSD信道 CSD手机上网
无线数据业务信道 GPRS/EDGE/3G
WLAN/WiMAX
Wlan、随e行、企业随e行、wlan无线互联网等。
GPRS无线互联网、WAP手机上网、彩信(MMS)、手机报、飞信、pushmail、手机邮箱等，无线DDN等。
数据业务分类(续)
按合作运营方式
个企业范围来看，存在信息孤岛的隐患
数据->信息->知识的有效转化较少， 并且分析结果不能有效地反馈回操作环
财务
门户系统
境中去。
网管
移动经分建设目标
提供数据标准，统一数据格式，建立企业级数据仓库，形成统一数据平 台，实现信息共享。 按主题域组织数据，实现信息统一，增强数据的相关性，减少信息歧 义，为统计分析提供大量的数据准备，降低分析的难度。 用专业分析工具提供丰富的分析手段和数据展现，缩短数据查看的反应 时间，提高数据质量。为管理决策、业务分析提供依据。 对海量的、历史的数据进行深加工，实现精细化营销，提升企业的运营 水平和竞争力，提高企业决策的准备性和及时性，为企业运营服务。
BI厂商列表
下表列出了截止到2009年中国大陆地区的主要BI厂商
厂商
IBM Oracle Microsoft Informatica
产品及简介
DB2以及Cognos、SPSS、DataStage，覆盖BI全部领域 Oracle、Hyperion，覆盖BI全部领域，数据挖掘领域有待加强 SQLServer，覆盖BI全部领域，适合中小型企业，性价比高 Informatica，主要是数据集成领域
BI涉及技术-DW
数据仓库(DataWarhouse)是一个面向主题、集成、时变、非易失的数据集合,是支持管
理部门的决策过程。
面向主题(Subject Oriented)
1
集成(Integrated)
数据仓库通常是结合多个异种数据源构成的，异种数据源可能
数据仓库通常围绕一些主题，如“产品”、 “销售商”、“消费者”等来进行 组织。
硬件：2*4855，磁盘/数 硬件：10*5380，磁盘/数 硬件：2*5380+6*5450 据容量2.88TB/2TB 据容量新增20TB/15TB ，磁盘/数据容量新增 30TB/22.5TB
OLAP(联机分析处理) 是使分析人员、管理人员或执行人员能够从多种 角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反 映企业维特性的信息进行快速、一致、交互地存取，从而获得对数据的 更深入了解的一类软件技术。
切片和切块(Slice and Dice) 钻取(Drill) 旋转(Rotate) ROLAP/MOLAP/HOLAP
BI概要介绍 山西移动业务介绍 山西移动经营分析系统
山西移动经分关键主题域
山西移动策略
市场为导向
山西移动策略
客户为中心
效益为目标
经分系统辅助完善业务策略制定以及业务策略执行
中国移动运营发展
移动经分建设背景
需要确定业务原因
企业运营需要
•周期冗长
新 的 报 表 要 求
失 去 •报表繁多 时 •信息不完整 间 意 •无法核对 义 数据上报
集团数据业务
集团彩信、无线PBX、集团VPMN、企业信息机、BLACK Berry、IDC、企业随E行、农信通、银信通、航信通 、校信通等。
按通讯信道划分
语音增值业务
彩铃、来电显示、来电提醒、主叫隐藏、电话会议、语音信箱、语言秘书、语言杂志(IVR)
SMS信道
短信，梦网短信，银信通/航信通/校信通等
希望发生什么?
发生了什么? 为什么会发生? 将会发生什么?
正在发生什么?
战略与战术的结合
主要是批处理 统计查询
动态查询 分析功能 逐渐增加
分析预测 挖掘模型
持续数据更新及 快速响应查询
事件驱动
BI的建设是一个过程，而不是一个项目
统计 分析查询 分析预测 持续数据更新和 快速查询 事件驱动
国内BI行业应用
数据仓库总是与操作环境下的实时应用数据物理地分离存放，
因此不需要事务处理、恢复和并发控制机制。数据仓库里的 数据通常只需要两种操作：初始化载入和数据访问，因此其 数据相对稳定，极少或根本不更新。
据，而不仅仅是某一个时刻的数据
3
BI涉及技术-ETL
ETL是什么？
数据抽取（Extract）、转换（Transform）、装载（Load）
移动自营运营
点对点短信、点对点彩信、飞信、手机报中的新闻早晚报、彩铃平台、GPRS上网、中央音乐平 台、手机上网
移动与SP合作运营
梦网短信、非中央音乐平台下载的手机铃音和彩铃、12530(IVR)、其他SP提供的手机报、梦 网彩信。
用户
中国移动
SP
CP
手机报 中央音乐平台 飞信
Agenda
1 2 3 4
目的
将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供 分析依据。
关注
数据是从几个业务系统中来，业务系统是省集中还是市集中，数据的抽取周 期，增量还是全量。
数据提供端
文件 文件
数据接收端
业务系统
接口服务器
接口服务器
ETL 服务器
数据仓库 数据库
加载临时区
BI涉及技术-OLAP
BI行业应用
制造、零售行业 保险、能源、烟草、政务行业 金融、电信
40%
30%
30%
国内BI行业前景
金融：在BI领域投资稳步增长，每年均有大量的BI需求，操作型BI应用越来越广泛，尤其 是信贷评审领域。中小型银行BI需求也不断涌现，未来将是金融行业BI市场的主要增长 点。在未来5年时间里，BI应用在金融行业仍将高速发展。 电信：电信行业信息化程度很高，对信息化依赖很强，积累了大量的数据，具有实施商业 智能项目的基础条件和资金实力。电信行业对于BI深入应用是最渴望的，在话费套餐设 置、客户潜力分析等都需要数据挖掘技术来提供决策依据。在这些行业，实力雄厚的BI厂 商已占据有利的地位。 保险：大型保险公司中基本已经建立商业智能相关系统，并发挥了一定的作用。但是随着 新业务的推出，系统地后期开发和维护仍然需要大量的投资。据ChinaBI了解，中小型保 险公司也还有待加强商业智能系统的建设。 能源：石油和电力等能源行业的企业，均是国有大型企业，基本上已经实施了商业智能系 统，但是还有待深入挖掘商业智能的价值。这些企业的省市分公司，将会不断有新的需求 涌现，发展潜力较大。
包括关系数据库、面向对象数据库、文本数据库、Web数据库、
2
数据仓库关注的是决策者的数据建模与分析， 一般文件等 而不针对日常操作和事务的处理。因此，数
据仓库提供了特定主题的简明视图，排除了 对于决策无用的数据
4
DW特点
时变(Time Variant)
非易失(Nonvolatile)的数据集合
数据存储从历史的角度提供信息，数据仓库中 包含时间元素，它所提供的信息总是与时间相 关联的。数掘仓库中存储的是一个时间段的数