数据仓库基础培训

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
数据仓库基础培训
山西项目组 2010.6
Agenda
1 BI概要介绍 2 山西移动业务介绍 3 山西移动经营分析系统 4 山西移动经分关键主题域
BI是什么?
BI(Business Intelligence)即商业智能,是一种以计算机为工具,应 用决策科学及有关学科的理论与方法,以人机交互方式辅助决策者解决 半结构化和非结构化决策问题的信息系统。
最早在1996年提出,初期BI定义为一类由数据仓库(或数据集市)、 查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的、以帮 助企业决策为目的技术及其应用。目前,BI通常被理解为将企业中现有 的数据转化为知识,帮助企业做出明智的业务经营决策的工具。
商业智能能够辅助的业务经营决策,既可以是操作层的,也可以是战术 层和战略层的决策
对海量的、历史的数据进行深加工,实现精细化营销,提升企业的运营 水平和竞争力,提高企业决策的准备性和及时性,为企业运营服务。
硬件:2*4855,磁盘/数 硬件:10*5380,磁盘/数 硬件:2*5380+6*5450
据容量2.88TB/2TB
据容量新增20TB/15TB ,磁盘/数据容量新增
1 集成(Integrated)
数据仓库通常围绕一些主题,如“产品”、 “销售商”、“消费者”等来进行 组织。 数据仓库关注的是决策者的数据建模与分析, 而不针对日常操作和事务的处理。因此,数
数据仓库通常是结合多个异种数据源构成的,异种数据源可能
包括关系数据库、面向对象数据库、文本数据库、Web数据库、
30TB/22.5TB
硬件:6*5450+(3+1)* 5500c,磁盘/数据容量新 增46TB/32.5TB
厂商
IBM Oracle Microsoft Informatica Teradata Sybase SAP SAS 奥威智动 尚南 润乾 探智
产品及简介
DB2以及Cognos、SPSS、DataStage,覆盖BI全部领域 Oracle、Hyperion,覆盖BI全部领域,数据挖掘领域有待加强 SQLServer,覆盖BI全部领域,适合中小型企业,性价比高 Informatica,主要是数据集成领域 Teradata,主要是数据仓库领域 SybaseIQ,主要是数据仓库领域 BusinessObjects、CrystalReports,主要是OLAP和报表领域 SAS,数据挖掘领域领先 Power-BI,主要是OLAP和报表领域,行业解决方案 BlueQuery,主要是OLAP和报表领域(已被用友华表收购) 润乾报表,主要是OLAP和报表领域 Trinity,主要是数据集成领域
业务人员
1、熟练掌握移动业务 2、业务分析方法 3、沟通表达能力 4、文档能力
Agenda
1 BI概要介绍 2 移动业务介绍 3 山西移动经营分析系统 4 山西移动经分关键主题域
营业总体数据流图
用户
信用管理 业务受理
实时帐务
欠费提醒
黑名单管理
订单管理
统一开通
三户资料 HLR
业务变更
缴费 积分管理
山西移动策略
市场为导向
山西移动策略
客户为中心
效益为目标
经分系统辅助完善业务策略制定以及业务策略执行
中国移动运营发展
移动经分建设背景
需要确定业务原因
•周期冗长 失
新 的
•报表繁多
去 时

•信息不完整 间
表 要
•无法核对
意 义

数据上报
运营 帐务 数据 其它
企业运营需要
① 上市业务公告 ② 企业管理决策 ③ 市场战略调整 ④ 绩效考核 ⑤ 市场反应和主动营销
BI是数据仓库(DW)、联机分析处理(OLAP)和数据挖掘(DM)等技术的 综合运用,可看做一种解决方案。 在中国移动系统建设中,BI系统称之为经营分析系统。
BI涉及技术-DW
数据仓库(DataWarhouse)是一个面向主题、集成、时变、非易失的数据集合,是支持管
理部门的决策过程。
面向主题(Subject Oriented)
移动自营运营
点对点短信、点对点彩信、飞信、手机报中的新闻早晚报、彩铃平台、GPRS上网、中央音乐平 台、手机上网
移动与SP合作运营
梦网短信、非中央音乐平台下载的手机铃音和彩铃、12530(IVR)、其他SP提供的手机报、梦 网彩信。
用户
中国移动
SP
CP
手机报 中央音乐平台
飞信
Agenda
1 BI概要介绍 2 山西移动业务介绍 3 山西移动经营分析系统 4 山西移动经分关键主题域
关注
数据是从几个业务系统中来,业务系统是省集中还是市集中,数据的抽取周 期,增量还是全量。
数据提供端
文件
业务系统
接口服务器
数据接收端
文件
接口服务器
ETL 服务器
数据仓库
数据库
加载临时区
BI涉及技术-OLAP
OLAP(联机分析处理) 是使分析人员、管理人员或执行人员能够从多种 角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反 映企业维特性的信息进行快速、一致、交互地存取,从而获得对数据的 更深入了解的一类软件技术。
客户与用户关 系
资源占用
业务信息
定购信息
客户 用户
帐户 默认帐务关系
帐务关系
帐户账本 账本冲销 账本帐目
用户域模型
业务信息扩展
用户信息扩展
品牌
产品定购
用户群
业务定购 资源占用
用户 0...*
0...*
1...* 客户
0...* 帐务关系
客户域模型
客户与客户关系
客户与用户关系
设备信息
1...* 0...*
1...* 客户
1...*
0...* 用户
0...*
帐户
普通客户
大客户
集团客户
帐户域模型
用户
帐务关系
帐目
1
1...*
1...*
1
1...* 1
客户
1...*
0...*
帐户
1 1...*
账本
数据业务分类
按用户划分
个人数据业务
短信,彩信,彩铃,飞信,GPRS,手机报,来电显示,来电提醒,语言信箱,手机邮箱,pushmail,语音杂志 ,号簿管家,随E行,WLAN业务等。
BI的建设是一个过程,而不是一个项目
统计
分析查询
分析预测
持续数据更新和 快速查询
事件驱动
事件驱动
国内BI行业应用
Fra Baidu bibliotek
制造、零售行业
BI行业应用
保险、能源、烟草、政务行业
金融、电信
40%
30%
30%
国内BI行业前景
金融:在BI领域投资稳步增长,每年均有大量的BI需求,操作型BI应用越来越广泛,尤其 是信贷评审领域。中小型银行BI需求也不断涌现,未来将是金融行业BI市场的主要增长 点。在未来5年时间里,BI应用在金融行业仍将高速发展。
销帐
帐单
集团规范定义的三户模型
客户与客户关系 客户与用户关系
1..*
1..* 客户
1
1..*
用户与用户关系
品牌 0..1 0..*
1..* 0..* 1..* 用户
1
1
1..*
1..* 订购信息
0..*
产品与品牌关系
1..*
1
产品
0..*
帐户 1
1..*
帐务关系 1..*
1..*
1 帐目
内蒙BOSS的三户模型
集团数据业务
集团彩信、无线PBX、集团VPMN、企业信息机、BLACK Berry、IDC、企业随E行、农信通、银信通、航信通 、校信通等。
按通讯信道划分
语音增值业务
彩铃、来电显示、来电提醒、主叫隐藏、电话会议、语音信箱、语言秘书、语言杂志(IVR)
SMS信道
短信,梦网短信,银信通/航信通/校信通等
包含时间元素,它所提供的信息总是与时间相 关联的。数掘仓库中存储的是一个时间段的数 据,而不仅仅是某一个时刻的数据
数据相对稳定,极少或根本不更新。
3
BI涉及技术-ETL
ETL是什么?
数据抽取(Extract)、转换(Transform)、装载(Load)
目的
将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供 分析依据。
能源:石油和电力等能源行业的企业,均是国有大型企业,基本上已经实施了商业智能系 统,但是还有待深入挖掘商业智能的价值。这些企业的省市分公司,将会不断有新的需求 涌现,发展潜力较大。
国内BI行业前景
烟草:各地烟草企业已经建立很多商业智能系统,但是还有更大的空白市场。烟草公司项 目建设难度低、利润大,应用前景不错。
切片和切块(Slice and Dice) 钻取(Drill) 旋转(Rotate) ROLAP/MOLAP/HOLAP
BI涉及技术-DM
数据挖掘(Data Mining)是从数据中自动地抽取模式、关联、变化、异 常和有意义的结构。
数据挖掘大部分的价值在于利用数据挖掘技术改善预言模型。
一般文件等
2
DW特点 据仓库提供了特定主题的简明视图,排除了
对于决策无用的数据
时变(Time Variant)
4 非易失(Nonvolatile)的数据集合
数据存储从历史的角度提供信息,数据仓库中
数据仓库总是与操作环境下的实时应用数据物理地分离存放, 因此不需要事务处理、恢复和并发控制机制。数据仓库里的 数据通常只需要两种操作:初始化载入和数据访问,因此其
政务:商业智能在电子政务中的应用,更多的涉及到报表填制、数据统计,需要报表系统 能很好的满足中国特色报表的要求。一般采用自上而下的市场推广手段会前景广阔。
航空:国内的航空公司,也在逐步深入BI系统的建设。
制造:制造业的企业信息化水平参差不齐,有些大中型企业已经成功使用商业智能技术, 但是大部分企业基础信息化水平仍未达到,随着这些企业的信息化水平逐步提高,建设商 业智能系统的需求也会随之而来。随着金融危机的度过和国内经济的恢复,制造业将是未 来商业智能新的增长点。
移动经分建设目标
提供数据标准,统一数据格式,建立企业级数据仓库,形成统一数据平 台,实现信息共享。
按主题域组织数据,实现信息统一,增强数据的相关性,减少信息歧 义,为统计分析提供大量的数据准备,降低分析的难度。
用专业分析工具提供丰富的分析手段和数据展现,缩短数据查看的反应 时间,提高数据质量。为管理决策、业务分析提供依据。
CSD信道 CSD手机上网
无线数据业务信道 GPRS/EDGE/3G
GPRS无线互联网、WAP手机上网、彩信(MMS)、手机报、飞信、pushmail、手机邮箱等,无线DDN等。
WLAN/WiMAX
Wlan、随e行、企业随e行、wlan无线互联网等。
数据业务分类(续)
按合作运营方式
零售:一些大型的超市、百货、电器、手机等销售企业,绝大部分已经实现了连锁,基础 信息化建设程度高,商业智能技术已经应用较广泛,未来还有进一步的应用空间
据ChinaBI预测,未来商业智能在各行业均稳定发展,新的利润增长点主要 集中于金融和制造业。
BI厂商列表
下表列出了截止到2009年中国大陆地区的主要BI厂商
移动经分建设背景
呼叫中心
大客户
BOSS
VGOP
财务
门户系统
网管
业务发展快,系统林立,数据分散缺 乏统一标准,数据存在大量的不一致 由于信息不准确,不完整,无法实现 精确营销理念; 缺乏企业内部的信息共享架构,从整 个企业范围来看,存在信息孤岛的隐患 数据->信息->知识的有效转化较少, 并且分析结果不能有效地反馈回操作环 境中去。
国内BI厂商关注度
BI发展趋势
企业并购和重组仍将继续 MDM将在大型企业中逐步应用 BI企业将在垄断中不断新生 SAAS BI将得到快速发展
操作型BI应用得到发展
BI发展 趋势
数据分析从简单走向深入 数据集成应用得到重视
中小企业BI应用逐渐扩大市场份额
职业技能要求
技术人员
1、Teradata数据库使用 2、熟练编写SQL及SQL优 化 3、ETL 4、OLAP 5、JAVA
关联 分类 聚类 决策树 神经网络
BI发展方向
第一阶段: 第二阶段: 第三阶段 发生了什么? 为什么会发生? 将会发生什么?
第四阶段: 正在发生什么?
第五阶段:
希望发生什么?
战略与战术的结合
主要是批处理 统计查询
动态查询 分析功能 逐渐增加
分析预测 挖掘模型
持续数据更新及 快速响应查询
电信:电信行业信息化程度很高,对信息化依赖很强,积累了大量的数据,具有实施商业 智能项目的基础条件和资金实力。电信行业对于BI深入应用是最渴望的,在话费套餐设 置、客户潜力分析等都需要数据挖掘技术来提供决策依据。在这些行业,实力雄厚的BI厂 商已占据有利的地位。
保险:大型保险公司中基本已经建立商业智能相关系统,并发挥了一定的作用。但是随着 新业务的推出,系统地后期开发和维护仍然需要大量的投资。据ChinaBI了解,中小型保 险公司也还有待加强商业智能系统的建设。
相关文档
最新文档