BI项目过程介绍

• 需求分析
需求定义 需求范围 需求分解 需求分析方法 需求分析模板
http://hi.baidu.com/fjcsx/home
BI的实施工艺和过程
• 设计原则
– – – – – – – – – – – 统一规范 灵活性 可扩展性 高效性 使用性 存储空间合理性
• 数据建模
– 数据建模的思想
• 对现实世界进行分析、抽象、 并从中找出内在的联系，进而 形成数据结构
– 数据建模的规范 – 数据建模工具
• • • • • • Power Designer ERWin Rational Rose Visio Professional Dezign ERD Tool List
• 需求分析
需求定义 需求范围 需求分解 需求分析方法 需求分析模板
http://hi.baidu.com/fjcsx/home
• ETL(Extract-Transform-Load)
– 数据抽取、转换、装载的过 程。
• OLTP(联机事务处理)
– 是传统关系型数据库的主要 应用、主要是基本的、日常 的事务处理、例如银行交易。
• DW(数据仓库)
– 案例:尿布+啤酒(沃尔玛)
SOA(面向服务体系结构)
– 将应用程序的不同单元,定义 成良好的接口和契约联系起 来。
• BI应用集成商
– 国外
• • • • • • •
• • • • • • • •
IBM Oracle SAP NCR HP SAS Mcrosoft
– 国内
东南融通 先进数通 宇信易诚 高伟达 神州数码 中科软 安硕科技
http://Leabharlann Baidui.baidu.com/fjcsx/home
概述
1 BI概念 2 应用BI的意义 3 BI应用的现状 4 BI实施之 工具 实施之ETL工具 实施之 5 BI实施之报表工具 6 BI实施之调度工具 7 BI实施工艺和过程 8 元数据管理 9 指标概念 10 案例讲解
6 BI实施之调度工具 7 BI实施工艺和过程 8 元数据管理 9 指标概念 10 案例讲解
http://hi.baidu.com/fjcsx/home
• 模型的设计思想 • 建行ODS
– ODS主题划分
• • • • • • • • 客户主题 存款主题 贷款主题 银行卡主题 中间业务主题 渠道主题 总帐主题 公用主题
• 高度的数据可用性
减少数据冗余 存储分步策略 公用数据提炼 各环节数据功能切分
http://hi.baidu.com/fjcsx/home
概述
1 BI概念 2 应用BI的意义 3 BI应用的现状 应用的现状 4 BI实施之ETL工具 5 BI实施之报表工具 6 BI实施之调度工具 7 BI实施工艺和过程 8 元数据管理 9 指标概念 10 案例讲解
– BI初级应用模式
• 数据查询和生成报表，这是BI 的初级应用。
– BI 高级应用模式
• (OLAP)联机分析处理 ，是BI带 来的一种全新的数据观察方式， 是BI的核心技术之一 。 • 数据挖掘，通过对于大数据量 的分析，找出数据之间潜在的 规律和知识，并且以一种通俗 的方式呈现给用户 。
– 知识类
http://hi.baidu.com/fjcsx/home
• Informatic
– – – – Client Reposity Server Reposity Database Informatic Server
BI实施之ETL工具-Data Stage实例
BI实施之ETL工具-Data Stage实例
• ODS(操作型数据存储)h
http://hi.baidu.com/fjcsx/home
BI概念
• BI的分类
– 信息类
• 通过原始的数据进行加工形成 报表、图例、多维分析、数据 可视化等应用，即将数据转换 为决策者可接受的信息，例如 将银行的ATM、POS等交易数 据转换为财务报表。
• BI的应用模式
http://hi.baidu.com/fjcsx/home
ETL过程之调度工具
• • • • • • • CCB的ODS简版调度 BMC的Ctrl-M SAP的 CPS Adtec的Moia调度。 BO 的Data Services调度 。 Data Stage 调度 东南融通ETLPLUS调度。
• Hyperion(Oracle)
– Hyperion Intelligence Explorer – Hyperion Intelligence Designer – Hyperion Intelligence Web 客 户端查看器
• MSTR(MicroStrategy公司) • BRIT(eclipse插件)
• 水晶报表(SAP)
http://hi.baidu.com/fjcsx/home
概述
1 BI概念 2 应用BI的意义 3 BI应用的现状 4 BI实施之ETL工具 5 BI实施之报表工具 6 BI实施之调度工具 实施之调度工具 7 BI实施工艺和过程 8 元数据管理 9 指标概念 10 案例讲解
6 BI实施之调度工具 7 BI实施工艺和过程 8 元数据管理 9 指标概念 10 案例讲解
http://hi.baidu.com/fjcsx/home
指标概念
• 标定义：是某个度量的汇总，或基于两个或更多度量计算 得出的相对值。前者如贷款余额，后者如日均贷款余额 （∑每日贷款余额÷天数）、收入增长率（本月收入÷上 月收入）、本月新增存款量（本月存款余额－上月存款余 额）。 • 指标维度：对指标进行限定性描述的量化属性。根据指标 使用的广泛性，分为公用维度和专用维度。 • 指标创建维：用于创建指标的维度，称为指标创建维；在 定义指标时，一个指标的创建维是预定义为某特定值的。 • 指标设计的基本要求：
• 通过数据挖掘的技术和工具， 把数据中隐含的潜在关系找出 来，通过计算机将数据加工成 知识展现给决策者。
http://hi.baidu.com/fjcsx/home
概述
1 BI概念 2 应用 的意义 应用BI的意义 3 BI应用的现状 4 BI实施之ETL工具 5 BI实施之报表工具 6 BI实施之调度工具 7 BI实施工艺和过程 8 元数据管理 9 指标概念 10 案例讲解
– – – – – – – – – – – 统一规范 灵活性 可扩展性 高效性 使用性 存储空间合理性
• 数据建模
– 数据建模的思想
• 对现实世界进行分析、抽象、 并从中找出内在的联系，进而 形成数据结构
– 数据建模的规范 – 数据建模工具
• • • • • • Power Designer ERWin Rational Rose Visio Professional Dezign ERD Tool List
–
–
在指标设计时，指标创建维＋关键词构成一个明确的指标，如定期存期 (创建维)+余额(关键词)，构成指标定期存款余额。 一个指标有一个明确的计算规则。
http://hi.baidu.com/fjcsx/home
1 BI概念 2 应用BI的意义 3 BI应用的现状 4 BI实施之ETL工具 5 BI实施之报表工具
http://hi.baidu.com/fjcsx/home
ETL过程之调度工具-moia
http://hi.baidu.com/fjcsx/home
ETL过程之调度工具-moia
http://hi.baidu.com/fjcsx/home
ETL过程之调度工具-Data Services
http://hi.baidu.com/fjcsx/home
http://hi.baidu.com/fjcsx/home
BI实施之ETL工具
• IBM Data Stage
– – – – DataStage Administrator DataStage Designer DataStage Director DataStage Manager
• SAP Data Services
http://hi.baidu.com/fjcsx/home
BI概念
• BI(Business Intelligence)
– 运用了数据仓库、在线分析 和数据挖掘等技术来处理和 分析数据，目的是要为决策 者提供决策支持 。
• OLAP(联机分析处理)
– 支持复杂的分析操作、侧重 决策支持，提供多维的概念 视图。
BI项目过程介绍
csx1998@163.com （收集于网络，有侵权请提出）
http://hi.baidu.com/fjcsx/home
概述
1 BI概念 概念 2 应用BI的意义 3 BI应用的现状 4 BI实施之ETL工具 5 BI实施之报表工具 6 BI实施之调度工具 7 BI实施工艺和过程 8 元数据管理 9 指标概念 10 案例讲解
BI实施之ETL工具-Data Services实例
BI实施之报表工具
• Cognos(IBM)
– Query Studio (自助报表生成 工具) – Report Studio(专有报表构筑 工具) – Analysis Studio(多维数据展 示工具) – Transformer(多维数据设计 工具) – Framework Manager(业务数 据组织工具)
1 BI概念 2 应用BI的意义 3 BI应用的现状 4 BI实施之ETL工具 5 BI实施之报表工具
6 BI实施之调度工具 7 BI实施工艺和过程 实施工艺和过程 8 元数据管理 9 指标概念 10 案例讲解
http://hi.baidu.com/fjcsx/home
BI的实施工艺和过程
• 设计原则
1 BI概念 2 应用BI的意义 3 BI应用的现状 4 BI实施之ETL工具 5 BI实施之报表工具
6 BI实施之调度工具 7 BI实施工艺和过程 8 元数据管理 9 指标概念 10 案例讲解
http://hi.baidu.com/fjcsx/home
元数据管理
• 元数据的定义 • 元数据管理的意义
– Data Services Designer – Data Services Reposity Manager – Data Services Server Manager – Data Services Management Console
Kettle
– Chef——工作(job)设计工具 (GUI方式) – Kitchen——工作(job)执行器 (命令行方式) – Spoon——转换(transform)设 计工具 (GUI方式) – Span——转换(trasform)执行 器 (命令行方式)
ETL过程之调度工具-Data Services
http://hi.baidu.com/fjcsx/home
ETL过程之调度工具-Data Stage
http://hi.baidu.com/fjcsx/home
ETL过程之调度工具-Control-M
http://hi.baidu.com/fjcsx/home
• 民生MDS
http://hi.baidu.com/fjcsx/home
BI应用的现状分析
• 产业和商品还不够精细化 • 竞争化比较激烈的当前， 需要正确的分析客户的消 费行为、方式通过不同的 视角 。
http://hi.baidu.com/fjcsx/home
BI应用的现状
• 应用行业
– – – – – – – – – – 银行 证券 移动、电信 保险 门户网站 支付平台 石油化工 销售平台 工业企业 其他
http://hi.baidu.com/fjcsx/home
应用BI的意义
• 统一的数据视图
– – – – – – – – 完整的数据 良好的数据组织 统一的数据解释 清晰的数据流向
• 为领导层或监管层决策支 持 • 以为目标提供服务为驱动 • 以客户为中心进行数据分 析和挖掘 • 提供个性化的数据支持服 务 • 解决信息孤岛问题
– – – – 血统分析 影响分析 变更管理 根据元数据的分析结果制定相应的决策
• 元数据管理的实施
– 利用J2EE的技术 – 对于数据结构进行分类汇总、整理
http://hi.baidu.com/fjcsx/home
1 BI概念 2 应用BI的意义 3 BI应用的现状 4 BI实施之ETL工具 5 BI实施之报表工具