浪潮烟草数据中心介绍资料讲解

是否国家名优烟
是否百牌号
是否重点工业企业
是否战略联盟企业
是否省主导品牌
是否省主推规格
源卷烟In编sp号ur group 2020/4/11
卷烟编号规格
ST_卷烟销售_月综合分析
月份ID
<pk,fk1>
公司编号
<pk,fk2>
销售部门编号
<pk,fk3>
Inspur group
浪潮烟草数据中心介绍
2020/4/11
刘永祥
2 内容
数据中心架构 数据中体系介绍 系统简介 题目
Inspur group 2020/4/11
3 数据中心和业务/管理系统的区别？
业务、管理系统
数据中心
使用对象
业务人员、普通管理人员
领导层、高级管理、分析人员
应用范围
基于特定业务应用领域范围内 可以处理跨部门、跨时间、跨业
数据源确认：确认数据的源系统（或文件）和结构、目标系统及结构 数据采集方法：针对每个数据源，定义抽取过程是人工抽取、自动触发、 还是基于工具抽取； 数据采集方式：
联机采集；对于关系型数据源，并且允许直接访问的，采用直接连 接数据源读取的采集机制； 中间表方式：对于关系型数据源，能够联机，但不允许直接访问的， 可以考虑采用中间表方式采集，即业务系统将需要提供的数据拷贝 到中间表中，然后从中间表采集数据； 数据离线导入：对于不能联机访问的，可以采用数据离线导入的方 式，即业务系统将数据定时导出（比如excel格式），然后采集系统 根据这些文件进行离线导入； 人工填报：对于原来没有计算机系统，只有纸介质数据的，可以采 用人工填报＋审核方式采集； 采集频率：对于每个数据源，确定数据抽取的频率，每天、每星期、每 季度，等等； 工作顺序：决定抽取任务中某项工作是否必须等到前面的工作成功完成， 才能开始； 异常处理：决定如何处理无法抽取的输入纪录。
在装载过程中，一般会用到四种方式：
装载：如果要装载的目标表已经存在，而且也有数据存在于表中，装载过程就会 抹去已有的数据，应用输入文件中新的数据。如果装载的目标是个空表，就直接 应用来自输入文件的数据。 追加：若表中已经存在数据，追加过程会无条件地增加输入数据，并在目标表中 保存已有的数据。当存在记录重复情况时，需要定义如何处理重复的输入数据的 记录副本（可以作为副本增加进去，也可以将其丢弃）。 破坏性合并：如果输入数据记录的主键与已有记录互相匹配，就对匹配的目标记 录进行更新，如果没有匹配的目标纪录，就将输入记录添加入目标表。 建设性合并：如果数据记录的主键与已有记录匹配，就保留已有记录，加入输入 的记录，并将增加的记录标记为旧记录的替代。
抽取过程示例
Inspur group 2020/4/11
12 数据仓库层次结构
展现层
决策信息展示 多维分析 自定义报表 即席查询 预定义报表 数据挖掘 外部访问
OLAP Cube
AD
元数据 MetaData Model
DDWW 层 OTDDS
StarSchema Model
Report Model
Inspur group 2020/4/11
7 信息标准管理平台
业务系统 业务系统
业务 数据
新系统
信息 标准
数据交换与服 务平台
数据仓库
规 则
格 式
标ຫໍສະໝຸດ Baidu准
信息发 布库
信息维 护库
8 数据集成与交换平台
抽取 转换 装载
Inspur group 2020/4/11
9 数据交换过程－数据源分析
数据源分析策略主要有：
适应管理策略的调整对数据分析 的需求变化及不断增长的查询和 报表需求
Inspur group 2020/4/11
4 方案概述－国家局实施意见
两级数据中心、五个体系、三级用户
Inspur group 2020/4/11
5 信息标准管理平台
Inspur group 2020/4/11
6 信息标准管理平台
的业务实现和信息集成，跨领 务、跨信息平台等复杂信息的集
域的信息无法集成。
成问题；
技术实现
对简单的事务，短期、少量、 对复杂的查询，集成的、历史的、 实时数据请求提供高速响应 大数据量的分析提供高速响应
实现的功能
日常业务操作处理； 满足相对固定的报表及有限的 业务分析需求。
提供灵活、直观的数据分析和信 息展示；
Inspur group 2020/4/11
10 数据交换过程－数据传输
数据传输方式
省内ETL日 采集数据
卷烟销售数据 卷烟购进数据 卷烟库存数据 烟叶收购数据 烟叶库存数据 烟叶调拨数据 许可证发放数据 案件结案数据
省内ETL 日更新数据
卷烟数据 供应商数据 卷烟价格 组织机构数据 零售户数据 坐席员数据 送货员数据 稽查员数据 客户经理数据 财务数据 烟叶基础数据
父公司编号 <fk>
ST_卷烟销售部门 : 3
销售部门编号 <pk>
公司编号
<fk1>
销售部门名称
父销售部门编号 <fk2>
0..*
0..*
ST_卷烟 : 2
卷烟编号
<pk>
卷烟名称
卷烟简称
卷烟统一规格描述
卷烟规格
卷烟源品牌名称
卷烟品牌
卷烟生产厂家
0..*
卷烟产地省份
卷烟产地类别
卷烟类型
卷烟档次
卷烟类别
webservice 即时同步数据
外部填报/导入 FTP/Excel
卷烟交易基础数据 卷烟交易协议数据 卷烟交易合同数据
烟叶购销合同 烟叶加工合同 工商协同信息 准运证信息 （国家局信息服务平台）
销售计划 采购计划 信息分类标准 绩效考核标准 社会经济基础数据 行业经济运行数据 工业产/存/价格 工业销售/价格/客户 工业销售合同数据 销售合同执行情况 辅料、原料消耗数量
DataMining Model
DataWareHouse Model
ODS Model
External Model
Inspur group 2020/4/11
数据源 Source Model（包括信息资源标准库）
13 星形模型
ST_卷烟公司 : 3
公司编号
<pk>
公司名称
合并公司名称
公司简称
合并公司简称
MQ异步传输
一号工程上报数据 打码到条数据
非格式化上报数据
Inspur group 2020/4/11
11 数据交换过程－数据装载
一般存在三种类型的数据装载：
初始装载：第一次对所有的数据仓库表进行迁移； 增量装载：根据需要定期装载应用运行过程中发生的变化； 完全刷新：完全刷新是指完全刷新一个或多个表的内容，并重新装载新的数据。