数据仓库架构培训

合集下载

数据仓库培训课件

聚类分析
将相似的数据聚集成不同的群体，如客户分群、市场细分等。
数据展现技术
报表
通过报表展示数据的汇总和分析结果，如销售报表、财务报告等
。
图表
通过图表展示数据的趋势和关系，如折线图、柱状图、饼图等。
可视化大屏
通过可视化大屏展示数据的实时动态和全局信息，如监控大屏、
指挥中心等。
03
CATALOGUE
案例二：亚马逊的数据仓库实践
背景介绍：亚马逊作为全球最大的在线零售商之一，需要处理海量的销售数据和客户评价数据，为了更好地进行数据分析和决策，亚马逊建立了自己的数据仓库。
亚马逊的数据仓库实践采用了分布式计算平台，基于Hadoop平台进行构建，处理海量的销售数据和客户评价数据，同时采用了ETL工具进行数据清洗和整合，建立了自己的数据仓库模型，并进行了数据分析和挖掘，为公司的决策提供了有力的支持。此外，亚马逊还利用数据仓库进行了客户行为分析，为个性化推荐和精准营销提供了支持。
采用星型模型设计数据仓库，将数据分为事实表和维度表，适用于快速查询和报表生成。
雪花模型设计
采用雪花模型设计数据仓库，将数据按照层级进行划分，适用于需要高度扩展和稳定性的系统。
ETL工具的使用
采用ETL工具进行数据抽取、转换和加载，提高数据处理效率和准确性。
04
CATALOGUE
数据仓库实施
实施步骤
案例四：银行的数据仓库设计
背景介绍：银行作为金融行业的重要机构之一，需要处理大量的金融交易数据和客户信息数据，为了更好地进行风险管理和业务决策，银行进行了数据仓库设计。
银行的数据仓库设计采用了分布式计算平台，基于Hadoop平台进行构建，处理大量的金融交易数据和客户信息数据，同时采用了 ETL工具进行数据清洗和整合，建立了自己的数据仓库模型，并进行了数据分析和挖掘，为风险管理和业务决策提供了有力的支持。此外，银行还利用数据仓库进行了客户行为分析，为个性化服务和精准营销提供了支

数据仓库体系培训(内部)

前端软件（BIEE、Congnus、BO、Microstrategy）
管
库外集市
库外集市
控
DB（TD、DB2、Oracle）
平
台
缓冲层
模型层
汇总层
集市层
ETL软件 Datastage Powercenter 文本脚本
SASB
文思信息版权所有，内部保密材料
YHT
CMS
PMS
。。。
Control-M Automation ETL_PLUS
访问特征 • 批量插入-很少的更新 • 频繁的复杂查询
优劣势对比 • 解决企业的决策需求 • 不能满足实时监控和实时业务需求
EDW
ODS层模型
• 简单处理 • 不考虑整合 • 考虑保留策略
• 偏源系统模型 • 部分数据保留全量 • 少量数据保留短暂历
史
12
文思信息版权所有，内部保密材料
基础层模型 VS. 汇总层模型
文思信息版权所有，内部保密材料
应用集市层模型
文思信息版权所有，内部保密材料
数据仓库体系规划
从数据体系、技术体系、应用体系、运维体系和管控体系五个方面阐述数据仓库规划。
组
织
架
管管控控
组织构管控
体体架流系系构程
管
控
内
容
·
·
数据体系
数据架构· ODS·基础层·汇总层·集市层
技术体系
统一交换·统一监控·统一调度·统一发布·统一管控
分析为什么会发生
预定义报表
随机查询, BI Tools
操作智能
ACTIVATING MAKE it happen!

临床数据仓库的架构与搭建步骤

临床数据仓库的架构与搭建步骤作为一位现代互联网思维老师，我一直致力于将互联网思维的理念应用于各个领域，包括医疗健康领域。

在医疗健康领域，临床数据的积累和分析对于提高医疗质量和效率至关重要。

而临床数据仓库的架构和搭建步骤则成为了实现这一目标的关键。

一、临床数据仓库的架构临床数据仓库是指将来自临床实践的各种数据进行整合、存储和分析的系统。

其架构主要包括数据抽取、数据清洗、数据集成、数据存储和数据分析等环节。

1. 数据抽取：临床数据来源广泛，包括电子病历、医学影像、实验室检查、生理参数等。

数据抽取是将这些数据从不同的源系统中提取出来，为后续的数据清洗和整合做准备。

2. 数据清洗：由于临床数据的来源多样性和数据质量的不确定性，数据清洗是非常重要的环节。

在数据清洗过程中，需要对数据进行去重、去噪、格式转换等操作，确保数据的准确性和一致性。

3. 数据集成：临床数据来自不同的源系统，数据集成是将这些数据整合到一个统一的数据模型中。

在数据集成过程中，需要进行数据映射、数据转换等操作，以确保数据的一致性和可用性。

4. 数据存储：临床数据仓库需要一个稳定可靠的存储系统来存储海量的数据。

常见的数据存储方式包括关系型数据库、非关系型数据库、分布式文件系统等。

5. 数据分析：临床数据仓库的最终目的是为了进行数据分析，从中发现规律、提取知识。

数据分析可以采用统计分析、机器学习、数据挖掘等方法，以帮助医疗机构做出科学决策。

二、临床数据仓库的搭建步骤搭建一个临床数据仓库需要经过一系列的步骤，包括需求分析、系统设计、数据建模、系统开发、系统测试和系统部署等。

1. 需求分析：在搭建临床数据仓库之前，需要明确医疗机构的需求和目标。

这包括确定需要整合的数据类型、数据分析的目的和方法、用户的需求等。

2. 系统设计：在需求分析的基础上，进行系统设计。

系统设计需要考虑到数据的抽取、清洗、集成、存储和分析等各个环节，以及系统的可扩展性和可靠性。

数据仓库架构培训共39页

数据仓库架构培训
36、“不可能”这个字(法语是一个字 )，只在愚人的字典中找得到。--拿破仑。 37、不要生气要争气，不要看破要突破，不要嫉妒要欣赏，不要托延要积极，不要心动要行动。 38、勤奋，机会，乐观是成功的三要素。(注意：传统观念认为勤奋和机会是成功的要素，但是经过统计学和成功人士的分析得出，乐观是成功的第三要素。
▪
27、只有把抱怨环境的心情，化为上进的力量，才是成功的保证。——罗曼·罗兰
▪
28、知之者不如好之者，好之者不如乐之者。——孔子
▪
29、勇猛、大胆和坚定的决心能够抵得上武器的精良。——达·芬奇
▪
30、意志是一个强壮的盲人，倚靠在明眼的跛子肩上。——叔本华
谢！
39
39、没有不老的誓言，没有不变的承诺，踏上旅途，义无反顾。 40、对时间的价值没有没有深切认识的人，决不会坚韧勤勉。
▪
26、要使整个人生都过得舒适、愉快，这是不可能的，因为人类必须具备一种能应付逆境的态度。——卢梭

数据仓库的基本架构

数据仓库的基本架构数据仓库是一种面向主题、集成、非易失、相对稳定和历史数据的数据集合。

它采用了一种特定的架构来存储和管理数据，以便支持企业的决策和分析需求。

数据仓库的基本架构由以下几个主要组件组成：数据源、ETL过程、数据存储和访问层。

1. 数据源(Data Sources)数据源是数据仓库的起点，它包括企业内部的各个业务系统、外部数据提供商和第三方数据供应商等。

数据源可以是关系数据库、平面文件、Web服务等各种数据存储形式。

数据源中的数据通常以不同的格式和结构存在，这就需要进行数据整合和转换。

2. ETL过程(Extraction, Transformation and Loading)ETL是数据仓库的核心过程，它包括数据的抽取、转换和加载。

数据抽取是指从数据源中提取需要使用的数据，可以使用不同的技术和工具来实现，如SQL查询、文件导入等。

数据转换是指对抽取的数据进行清洗、整合、转换和规范化等处理，以满足数据仓库的要求。

数据加载是指将转换后的数据加载到数据仓库中，可以采用增量加载或全量加载的方式。

3. 数据存储(Data Storage)数据存储是指将经过ETL处理后的数据存储到数据仓库中。

数据仓库通常采用分层的存储结构，包括原始数据层、中间数据层和目标数据层。

原始数据层存储从数据源中抽取的原始数据，中间数据层存储经过转换和整合后的数据，目标数据层存储已经满足分析和查询需求的数据。

4. 数据访问层(Data Access)数据访问层是用户和数据仓库之间的接口，它提供了各种查询、分析和报表功能，以满足用户对数据的不同需求。

数据访问层可以通过各种方式进行数据查询，例如使用SQL查询语言、OLAP分析工具、报表生成工具等。

它还可以提供更高级的分析功能，如数据挖掘、机器学习和数据可视化等。

除了以上的基本架构组件，数据仓库还需要考虑数据安全性、性能优化、数据质量管理和元数据管理等问题。

数据安全性要求对数据进行权限控制、数据加密和数据备份等操作，以保证数据的安全和完整性。

数据仓库培训文档(2)

to_location dollars_cost units_shipped shipper
shipper_key shipper_name 22 location_key shipper_type
Measures
数据仓库概念与体系结构
度量
• 数据的实际意义，即描述数据是“什么”。一般情况下，变量总是一个数值度量指标，如：话务量、掉话次数、拥塞率等
• 焦点是为决策者进行数据建摸和分析，而不是为
了日常的事务处理
• 通过把对决策支持没有用的数据隔离，对特殊的
主题提供了一个简单明了的视图
8
数据仓库概念与体系结构
与传统数据库的区别：集成的
• 需要集成多个、异构的数据源
–原始数据文件 –网管数据库 –客服数据库
• 数据清洗和数据集成
9
数据仓库概念与体系结构
location
location_key street city_key
location_key units_sold dollars_sold avg_sales Measures
city
city_key city province_or_state country
21
星系模型
item
time
time_key day day_of_the_week month quarter year
与传统数据库的区别：集成的
操作型环境应用A 应用B 应用C 应用D M，F 1，0 X，Y 男，女数据仓库 M，F
操作型环境应用A 应用B 应用C 应用D 管道-Cm 管道-Inches 管道-m 管道-yds
数据仓库
Cm
10
数据仓库概念与体系结构

数据仓库架构培训

财务指标生产指标销市售场指标
库存分析物流
…… ……
管理系统：元数据管理
元数据数据源业务指标/需主数求据数据中心
ODS
EDS
DDS
DM
ADS OLAP
应用系统 ETL
元数据存储平台
业务元数据业务指标
维度
技术元数据
维度 ETL信息应用系统信息
管理元数据
ETL日志应用系统日志
权限
元数据应用平台
目录
1
厂商的数据仓库架构
2
公司的数据仓库架构
3
数据存储与ETL
4
前端业务应用与管理系统
5
实施过程
6
案例
厂商的数据仓库架构
IBM数据仓库架构
NCR数据仓库架构
SAP的数据仓库
两级数据仓库架构
公司的数据仓库架构
系统总体架构图
数据仓库应用平台
应用层（Portal）
…
对外接口
报表决策支持查询
ETL设计开发
集成测试
系统上线
运行维护系统演进
应用设计开发
实施案例
数据中心-案例1
数据仓库应用平台
应用层（Portal）
…
对外接口
报表决策支持查询
应用服务层
元数据访问服务
数据挖掘与分析系统
其它应用
BI工具引擎 ……
数据交换平台
元
数
据
数据存储平台 DM
OLAP
ADS
管
理
主数据
DDS EDW
向对象的设计方法扩展性：其体系结构应该能够适应客户今后业务的发展高效性：应该注意不要使对象之间的关系过于复杂，导致在实际查询时

深入浅出数据仓库平台统一架构

序访问数据的方法，必须使用Ａｉｌ函数调用，以保ｌｑ的ｓ
图１数据仓库建设所需要解决和克服的问题
经过多年实践的积累，为了适应快速企业应用的变持编写的代码与数据库无关，这样做可以为数据仓库提化、快速部署新增应用和进行系统扩展，我们建设了一供完整的数据平台，为将来的可扩展数据提供了灵活的
经过几年Ｂ系统建设，我们慢慢摸索出了自ｌ己的一套Ｂ行业解决方案，来支持大型数据仓库Ｉ建设，经过归纳，Ｂ行业解决方案可以分为下面ｌ
八个部分。
・数据分发中心方案：Ｇａａｅ系统。・底层的解决方案：混合数据仓库模式、自
深入浅出数据仓库平台统一架构
一文，蒋杰
随
作者简介：
蒋杰．支付宝Ｂ首席架构Ｉ师，主要研究方向为分布式数据库行业数据建模、高并发查询系统架构设计实时数据仓库。个人博客ｈｔ：／ｔ／ｗｗｗ．ｐ
运仔时．元数据曩务
图２混合模式数据仓库架构图
了解底层具体是什么数据库，同时也不需要了解具体数
丫
一
据库之间差异问题。
・统一的代码管理机制，有利于元数据管理。Ａｉｌｌｑ技术设计特点包括以下方面。ｓ・为了支持业务系统数据的可扩展性和灵活性，程
・数据抽取数据快，完全基于源数据ＡＩ。Ｐ实现
・流水化作业方式— — 抽取和转载。・功能权限控制。・配置元数据管理接口。

数据库OCM认证培训大纲(oracle认证大师)

数据库OCM认证培训大纲（oracle认证大师）Oracle DBA大师班（10g OCM方向）1. 超过90%的Oracle认证专家认为Oracle认证增加了他们的专业可信度2. 超过90%的认证专家认为Oracle认证提高了他们的工作效率3. 89%的认证专家认为Oracle认证使他们有能力提供更高水准的客户服务4. 超过88%的认证专家认为Oracle认证使他们更有实力承担复杂的IT任务5. 92%的认证专家认为Oracle认证使他们的事业得到了更好的发展OCM培训介绍Oracle Certified Master (OCM) -Oracle认证大师，是Oracle认证的最高级别，是对数据库从业人员的技术、知识和操作技能的最高级别的认可。

Oracle OCM是解决最困难的技术难题和最复杂的系统故障的最佳Oracle专家人选，也是IT行业衡量IT专家和经理人的最高专业程度及经验的基准。

OCM不但有能力处理关键业务数据库系统和应用，还能帮助客户解决所有的Oracle技术困难，将成为企业内的资深专家和顾问。

通过这个课程使ORACLE数据库专家掌握了大型Oracle数据库在Linux/Unix平台上的网格、集群、灾备、调优、数据仓库、安全等高级维护技术，有资格成为大型数据中心行业权威。

OCM培训适合对象欲挑入年薪在15万-25万行业的在职者欲从事的Oracle 技术专家职位在校大学生（计算机相关专业）欲转行为企业ERP顾问的软件开发人员欲进入外企、银行、软件公司、国企从事IT信息技术职位的某职者OCM培训学习时间&培训班型OCM培训课程内容课程一：Oracle10g 服务器配置课程简介：通过本课程使的数据库工程技术人员能够了解OCM认证的考试形式、时间安排和注意事项，帮助学员掌握手工创建数据库和表空间，配置数据库监听器等任务。

课程内容：1. OCM考试简介2. 运用脚本创建数据库2. 确定和设置有关数据库架构的参数3. 条带化数据文件4. 创建与管理复用控制文件5. 大文件表空间管理6. 创建与管理多网络配置文件7. 监听器配置8. 共享数据库服务器的监听器配置9. 网络跟踪配置10. 管理Oracle 网络进程11．优化数据访问性能12. 临时、永久、UNDO表空间管理工具软件：Oracle 10g/11g Database 、Listener、SQL/PLUS课程二：Oracle10g网格计算与控制课程简介：Oracle网格计算使多组联网计算机能够组织到一起并按需进行共享，以满足不断变化的业务需求。

BW基础知识(介绍)专题培训课件

SAP 数据仓库（BW）与其它 SAP系统紧密集成开放的架构
主数据管理(MDM) 跨系统的主数据同步
SAP 集成平台（XI）与其它 SAP系统紧密集成信息映射多种接口实现方式
SAP Web Application Server 稳定的系统运行平台
ETL工具
BW是SAP系统整体报表工具一部分
结论性分析
BW
BW
LIS – FIS - HIS
标准报表 Report Writer Report Painter
R/3 ABAP Query
ABAP SAP R/3 数据字典 & 表格
交易性分析
BW将提供更深层次的分析报表，但是不会取代所有通过R3产生的报表。
数据仓库系统实施背景
背景介绍
ERP系统上线后，随着日常业务的开展，将产生大量的业务交易数据，如何充分利用这些数据，为各层经营管理人员提供有效的帮助，是一个即将面临的问题。
数据仓库系统实施背景成功实施R/3之后…
业务终于通过R/3规范了
库存准了
订单管起来了
财务结帐快了
业务和财务数据一致了
业务情景二执行层
？没有一个好的信息决策能预警销售数据就好了？我们有5年的销售数据，应该好好利用利用才
对,可是怎么整理这些数据好呢？怎么比较我的销售和竞争对手的销售
数据仓库系统实施背景业务情景三操作层
业务人员技术人员
？为什么现在系统速度变慢了？为什么有些报表运行要这么长时间
BW系统的整体定位
是面向企业中、高级管理进行业务分析和绩效考核的数据整合、分析和展现的工具；
是主要用于历史性、综合性和深层次数据分析；数据来源是ERP（SAP R/3）系统或其他业务系统；能够提供灵活、直观、简洁和易于操作的多维查询分析; 不是日常交易操作系统，不能直接产生交易数据；

数据仓库的基本架构

数据仓库的基本架构数据仓库是一个用于集成、存储和管理企业中各种数据的系统。

它提供了一个统一的视图，使得企业可以更好地理解和分析自己的数据。

数据仓库的基本架构是构建和维护一个可靠、高效的数据存储和处理环境，以支持数据仓库的功能和需求。

下面将详细介绍数据仓库的基本架构。

1. 数据采集层数据采集层是数据仓库的起点，它负责从各种源系统中提取数据。

这些源系统可以是企业内部的各个业务系统，也可以是外部的数据供应商。

数据采集层的主要任务是将数据从源系统中提取出来，并进行清洗和转换，以适应数据仓库的需求。

常用的数据采集工具包括ETL（Extract, Transform, Load）工具，它可以自动化地完成数据提取、清洗和转换的过程。

2. 数据存储层数据存储层是数据仓库的核心组成部份，它负责存储和管理从数据采集层获取的数据。

数据存储层通常采用关系数据库管理系统（RDBMS）来存储数据，例如Oracle、SQL Server等。

在数据存储层中，数据被组织成一系列的表，每一个表代表一个实体或者一个主题。

为了提高查询性能，数据存储层通常会进行数据分区和索引的设计。

3. 数据管理层数据管理层是数据仓库的管理和控制中心，它负责数据仓库的元数据管理、数据质量管理和安全管理等任务。

元数据是描述数据的数据，它包含了数据的定义、结构、关系和使用方式等信息。

数据管理层通过维护和管理元数据，使得数据仓库的数据能够被准确地理解和使用。

数据质量管理是保证数据仓库数据质量的过程，它包括数据清洗、数据校验和数据修复等操作。

安全管理是保护数据仓库数据安全的过程，它包括用户权限管理、数据加密和访问控制等措施。

4. 数据访问层数据访问层是数据仓库的用户接口，它负责向用户提供数据查询、分析和报表等功能。

数据访问层可以通过各种方式来实现，例如使用SQL查询语言、OLAP （Online Analytical Processing）工具或者BI（Business Intelligence）工具。

数据仓库基础知识培训教材(PPT38页)

数据仓库基础知识培训教材(PPT38页 )培训课件培训讲义培训ppt教程管理课件教程ppt
面向主题性
• 面向主题性表示了数据仓库中数据组织的基本原则，数据仓库中的所有数据都是围绕着某一主题组织的。
• 确定主题以后，需要确定主题应该包含的数据。
• 不同的主题之间可能会出现相互重叠的信息。
1.1从传统数据库到数据仓库(续)
• 传统的事务处理环境不适宜于决策支持应用
• 事务处理和分析处理的性能特性不同 • 数据集成问题 • 数据动态集成问题 • 历史数据问题 • 数据的综合问题
• 操作型环境和分析型环境的分离:数据抽取
现实生活中面临的问题
人们在日常生活中经常会遇到这样的情况： • 超市的经营者希望将经常被同时购买的商
• 随着市场竞争的加剧，信息系统的用户已经不满足于仅仅用计算机去处理每天所发生的事务数据，而是需要信息——能够支持决策的信息，去帮助管理决策。这就需要一种能够将日常业务处理中所收集到的各种数据转变为具有商业价值信息的技术，传统数据库系统无法承担这一责任。因为传统数据库的处理方式和决策分析中的数据需求不相称。这些不相称性主要表现在决策处理中的系统响应问题、决策数据需求的问题和决策数据操作的问题。
品放在一起，以增加销售； • 保险公司想知道购买保险的客户一般具有
哪些特征； • 医学研究人员希望从已有的成千上万份病
历中找出患某种疾病的病人的共同特征，从而为治愈这种疾病提供一些帮助； • ……
企业面临的问题
• 经过多年的计算机应用和市场积累，许多企业保存了大量原始数据和各种业务数据, 它是企业生产经营活动的真实记录
数据集成性
• 根据决策分析的要求，将分散于各处的源数据进行抽取、筛选、清理、综合等工作，最终集成到数据仓库中。

数据仓库的基本架构

数据仓库的基本架构数据仓库是一种用于集成、存储和管理大量结构化和非结构化数据的系统。

它是企业决策支持系统的重要组成部分，能够帮助企业从海量数据中提取有价值的信息和洞察，并支持业务决策和战略规划。

数据仓库的基本架构包括以下几个关键组件：1. 数据源：数据仓库的数据源可以包括企业内部的各种业务系统（如销售系统、采购系统、人力资源系统等），以及外部数据提供商和合作伙伴的数据。

数据源可以是结构化的数据库，也可以是非结构化的文本文件、日志文件、图像等。

2. 数据抽取（Extraction）：数据抽取是将数据从各个数据源中提取出来并进行清洗和转换的过程。

在这个阶段，可以对数据进行去重、过滤、格式转换等操作，以确保数据的质量和一致性。

3. 数据转换（Transformation）：数据转换是将抽取出来的数据进行加工和转换的过程，以满足数据仓库的需求。

在这个阶段，可以进行数据的合并、计算、聚合、标准化等操作，以便于后续的分析和查询。

4. 数据加载（Loading）：数据加载是将转换后的数据加载到数据仓库中的过程。

数据加载可以采用全量加载或增量加载的方式，全量加载是指将所有数据一次性加载到数据仓库中，而增量加载是指每次只加载新增或变更的数据。

5. 数据存储（Storage）：数据存储是数据仓库中最核心的组件，它负责存储和管理所有的数据。

数据存储可以采用关系型数据库、多维数据库、列式数据库等不同的技术和架构，以满足不同的数据需求和查询性能要求。

6. 元数据管理（Metadata Management）：元数据是描述数据的数据，它包括数据的定义、结构、关系、来源等信息。

元数据管理是数据仓库中的重要工作，它能够帮助用户理解和使用数据，并提供数据的可发现性、可重用性和可管理性。

7. 数据访问（Access）：数据访问是用户通过查询和分析工具对数据仓库进行数据查询和分析的过程。

数据仓库可以提供多种数据访问方式，包括在线分析处理（OLAP）、数据挖掘、报表和仪表盘等，以满足不同用户的需求。

BW培训以及学习大纲

SAP高端培训大纲本培训课时共计3个月，培训内容包括BW知识，ABAP与BW增强应用,项目实战，BO知识四大部分。

第一部分 BW知识（5周）1．1 BW基本知识(bw310)单元1： SAP Net Weaver 和BI：概述、定位和基础知识●数据仓储和Business Intelligence 的基础知识●SAP NetWeaver Business Intelligence (BI) 概览●SAP NetWeaver 解决方案交付：IT 实践、业务情景●SAP NetWeaver Business Intelligence：数据仓储概览单元2：BI 数据仓库层中的对象 Data Warehousing Workbench●InfoProvider：业务目的●InfoObject：特性●InfoObject：关键值●BI InfoCube：一种扩展的星型模式●创建InfoCube单元3：从SAP 源系统获取和转换数据●数据流：概览●从SAP 源系统加载主数据●从SAP 源系统加载交易数据●ETL 流程和加载层次结构单元4：从其他系统获取数据●非SAP 系统提取：概览●平面文件加载单元5：BI Content●BI Content 探索(Metadata Repository)●BI Content 激活单元6：其他InfoProvider●DataStore 对象●VirtualProvider 与实时数据获取●MultiProvider 和BI InfoSet单元7：数据目标管理●BI 中的系统管理任务：概览●InfoCube 的管理●DataStore 对象的管理●流程链单元8：查询性能优化简介●BI 中的查询性能优化介绍●BI 集合●BI Accelerator●统计概览1．2 数据建模和实施(bw330)单元1：企业数据仓库架构●简介—企业数据仓库(EDW) 架构●基本原则——企业数据仓库(EDW) 架构●企业数据仓库架构●数据库层●企业数据仓库层●运营数据存储层——数据加载层单元2：建模流程●概览●建模流程●逻辑数据模型●BI 数据模型单元3： BI 内容●BI 内容概览●比较模型与“BI 内容”●BI 内容分析器●BI 内容浏览器单元4：信息对象建模●SAP BI 中的技术实施●跟踪历史记录●InfoObject 特性●参考特性●关键值信息对象单元5：多维建模●SAP BI 星型模式概念●设计SAP BI 信息块的维度●性能功能●分区InfoCube（可选）1.3 数据获取(bw350)单元1： BI 概览●SAP NetWeaver 70 中的BI●BI 中数据获取概览●数据获取和流程链●BI Content单元2：数据获取期间的数据流●BI 中的数据流概览●转换流程●直接访问源系统数据●实时数据获取单元3：通过Service API 进行数据获取●将SAP 源系统与BI 系统连在一起●BI 服务API 的基础知识●BI Content DataSource 的传输●后勤数据提取●通用数据获取●增强BI Content DataSource单元4：增量管理●增量管理：概览●更新模式和增量流程●来自应用程序和源系统的示例●增量数据获取的其他功能单元5：平面文件的传输●平面文件的传输单元6：通过DB Connect 进行数据获取●利用DB Connect 获取数据单元7：通过通用数据集成进行数据获取●通用数据集成1.4 查询设计(bw305)单元1：介绍BI 企业报表●SAP BI 概览单元2：报表中的导航●报表中的导航单元3： BEx Query Designer 中的前几步●Query Designer●BEx Query Designer 中的InfoProvider单元4：关键值●限定的关键值●经运算的关键值●关键值的属性●结构和单元单元5：特征●特性属性●将层次结构集成到报表中●创建用户自定义的层次结构单元6：变量●变量单元7：例外和条件●例外●条件单元8： BEx Analyzer●BEx Analyzer单元9： BEx Web Analyzer●BEx Web Analyzer1.5 报表深化应用(bw306)单元1： NetWeaver 70 BI 报表工具概览●Business Explorer 工具和Visual Composer单元2：适用于业务专家的BEx Analyzer●Bex Analyzer 设计模式●集合Excel 公式和格式化单元3： BEx Report Designer●BEx Report Designer 入门●具体设置和格式化选项单元4： BEx Web Application Designer●Web 框架和一般设置●基本的Web 应用程序●增强Web 模板布局●其他Web 项目●图表与地图●命令向导●模块化Web 应用程序设计●XHTML 的高级功能单元5： BEx Broadcaster 高级功能●Broadcaster 关键功能的要点重述●更多的分配类型和输出格式●广播例外●计划广播单元6：门户集成●在门户中发布和组织BI 内容单元7：构建复杂的BI 报表●开发BI 解决方案●解决方案展示第二部分ABAP与BW增强应用（1周）2.1ABAP基本知识●定义变量●循环●使用内表2.2BW中开发及增强实际应用：●转换规则中应用实例●开始和结束例程中应用实例●数据源增强应用实例●报表变量增强应用实例第三部分业务模块知识讲解与项目实战（5周）3.1采购模块分析●采购需求分析●采购业务基本知识和模型设计3.2销售模块分析●销售需求分析●销售业务基本知识和模型设计3.3生产模块分析●生产业务需求分析●生产业务基本知识和模型设计3.4财务模块分析●财务业务需求分析●财务业务基本知识和模型设计第四部分BO（1周）4.1BO概论4.2水晶易表设计4.3Universe构建4.4WEBI设计。

数据仓库体系培训课件.pptx

数据存储·数据质量·元数据·安全
7
文思信息版权所有，内部保密材料
BI环境内的数据架构
IT人员
高级分析人员业务分析人员决策用户
集市层
应用集市层 •面向应用的个性化定制。
指标库:规模指标、客户指标、盈利指标、风险指标等
汇总层
机构汇总账户汇总
预连接/预处理产品汇总
交易统计汇总
渠道汇总客户汇总
管控平台
前端软件
前端软件
前端软件
前端软件
DM
信用卡集市
DM
信贷集市
DM
风险管理集市
DM 。。。
ETL软件
ETL软件
ETL软件
ETL软件
SASB
YHT
CMS
PMS
。。。
4
文思信息版权所有，内部保密材料
数据仓库典型体系架构（集中型－EDW）
前端软件（BIEE、Congnus、BO、Microstrategy）
4
应用用户、决策用户会访问特定应用
……
业务人员通过设定业务检查规则来 3 明确模型可用性
业务部门人员多数需要常规报表供日常呈报
…… 业务人员参考整合规则来验证业务 2 正确性
POWER USER通常需要访问第二层对数据进行深入分析
……
1 审计/风险管理等需要未经加工的业务原始数据
源数据质量检查规则、常规报告
EDW: •全部源系统的原始细节数据，不接入派生和汇总数据。
ODS: •状态类数据保存当前最新数据 •日志类数据保存3个月 • 针对及其特殊的需要可以考虑对数据保留一定时间段的历史
EDW: •一般最长在线保存7年。 •事件类数据在线保留时间会短一些，13个月左右。