中国联通经营分析系统 数据模型培训
基于数据仓库的联通经营分析系统的设计和实现的开题报告
基于数据仓库的联通经营分析系统的设计和实现的开题报告一、项目背景随着信息化的进一步深入，各行业都面临着数据的爆炸式增长，而数据的管理、分析、应用已经成为企业发展的重要基石，尤其是在电信领域，随着4G网络的普及和5G网络的即将到来，移动通信业务的数据已经达到海量级别。
而数据分析已经成为移动通信运营商的关键能力之一。
联通公司是我国移动通信运营商之一，也是电信行业的重要代表，其经营情况一直备受关注。
企业决策者面临的问题主要是如何快速、准确地获取有价值的信息，以便对经营管理做出明智的决策，这是需要依托于数据仓库来实现的。
二、项目意义本系统的建设将直接帮助联通公司实现对经营情况的全方位地深入分析，包括市场、客户、收费以及的基站等方面，实现对业务的精细化管理，有效掌握市场动态，进行精确投资决策，以更好地满足国民的通信需求，同时提升企业的市场竞争力，为企业带来更大的经济价值和社会价值。
三、项目内容本系统采用数据仓库技术，对联通的各类数据进行采集和集成，并对采集的数据进行预处理、清洗、标准化等操作，确保数据的统一性和可靠性。
经过ETL操作，将处理后的数据存入数据仓库中，建立多维数据立方体，实现对数据的多角度分析。
同时，本系统提供基于Web的分析工具，支持用户自主分析和查询，为企业决策者提供数据化的支持。
系统设计流程如下图：四、技术方案(1) 数据采集和集成本系统通过引入抽象数据模型，封装底层技术以实现数据的快速集成、数据格式化和数据项映射等功能。
具体实现时可采用 Apache Flume 进行数据收集和处理，Apache Sqoop 进行数据的抽取和迁移。
(2) 数据处理和存储在数据获取和整合后，对数据进行清洗、过滤、标准化、转换等，确保数据规范化和一致性。
对清洗后的数据进行存储，并建立多维数据立方体以方便多维分析。
数据存储方案考虑使用 HDFS 或者 HBase。
中国联通公司基础知识培训资料
02
主要产品与服务介绍
移动通信业务
2G/3G/4G/5G移动网络
01
提供2G、3G、4G、5G移动网络服务，满足不同用户的需求。
移动套餐
02
提供多种移动套餐，包括流量套餐、语音套餐、短信套餐等，
供用户选择。
移动增值业务
03
提供移动音乐、移动视频、移动游戏等增值业务，丰富用户的
使用体验。
固定电话业务
员工反馈与建议
鼓励员工提出对关怀举措的意见和建议，及时了解员工的 诉求和需求，不断改进和优化关怀举措，提高员工的满意 度和归属感。
THANKS
谢谢您的观看
03
市场营销策略与渠道拓展
目标市场定位及客户群体分析
目标市场定位
明确公司的目标市场，包括行业 、地域、客户群体等，以制定针 对性的营销策略。
客户群体分析
深入了解目标客户的需求、偏好 、消费习惯等，以便为客户提供 更优质的产品和服务。
营销策略制定与实施效果评估
营销策略制定
根据目标市场和客户需求，制定相应 的营销策略，包括产品策略、价格策 略、渠道策略、促销策略等。
06
员工培训与发展计划
员工培训体系构建及实施效果评估
01
培训体系构建
建立完善的员工培训体系，包括新员工入职培训、岗位技能培训、领导
力培训等，确保员工在不同阶段都能获得相应的培训支持。
02
培训内容与方法
针对不同岗位和层级，设计相应的培训课程和教学方法，如在线学习、
现场授课、实践操作等，确保培训内容与实际工作紧密结合。
普通电话
提供普通固定电话服务，满足用户的 通话需求。
宽带接入
固定电话增值业务
中国联通数据模型培训材料
渠道 营销计划 营销活动
渠道
营销计划
营销活动
提纲
数据模型介绍
域划分
DWD层
DW层
DM层
76
DM主题域
业务发展 业务使用 业务收入 市场竞争 服务水平 资源
业务发展
业务使用
业务收入
市场竞争
服务水平
资源
提纲
体系架构
数据模型介绍
数据处理流程介绍
业务量-日
通话次数(万次) 本地通话次数(次) 本地区内通话次数(次) 本地长途通话次数(次) 漫游通话次数(次) 省内漫游通话次数(次) 省际漫游通话次数(次) 港澳台漫游通话次数(次) 国际漫游通话次数(次) 虚拟网通话次数(次)
通话时长(万分钟) 本地通话时长(分钟) 本地区内通话时长(分钟) 本地长途通话时长(分钟) 漫游通话时长(分钟) 省内漫游通话时长(分钟) 省际漫游通话时长(分钟) 港澳台漫游通话时长(分钟) 国际漫游通话时长(分钟) 虚拟网通话时长(分钟) 计费时长(万分钟) 被叫通话计费时长(分钟) 主叫通话计费时长(分钟) 本地通话计费时长(分钟) 本地区内通话计费时长(分钟) 本地长途通话计费时长(分钟) 漫游通话计费时长(分钟) 省内漫游通话计费时长(分钟) 省际漫游通话计费时长(分钟) 港澳台漫游通话计费时长(分钟) 国际漫游通话计费时长(分钟) 虚拟网通话计费时长(分钟)
缴费
帐务
优惠
储值方式
DWD服务使用域
DWD客服域
客户交互 订单 客户问题 俱乐部管理 维系管理 挽留管理 营业收费
客户交互
订单
客户问题
俱乐部管理
维系管理
挽留管理
营业收费
中国联通运营数据分析系统使用手册V2.0.1
中国联通运营数据分析系统使用手册V2.0.1北京中广瑞波科技股份有限公司Beijing ChinaRainbow Technology Co., Ltd.文档修订记录目录1引言 (1)2术语和缩略词 (1)2.1术语 (1)2.2缩略词 (2)3系统概述 (2)3.1系统简介 (2)3.2功能清单 (3)3.3角色分类 (3)4安装与使用 (3)5业务流程 (4)6操作方法 (4)6.1概述 (4)6.2登录 (5)6.3任务管理 (6)6.4数据分析管理 (15)6.5系统管理 (24)7常见问题 (29)附录A：南25省后付费用户状态编码 (30)附录B：南25省预付费用户状态编码 (31)附录C：北6省后付费用户状态编码 (31)附录D：北6省预付费用户状态编码 (33)附录E：用户流量套餐参数说明 (33)附录F：参考材料 (34)1引言本手册对中国联通运营数据分析系统的使用方法进行了说明，通过本手册可了解该系统的基本功能、业务流程和操作方法，可用于指导运营人员、测试人员、运维人员管理和维护本系统。
2术语和缩略词2.1 术语表2.1 术语说明2.2 缩略词表2.2缩略词说明3系统概述3.1 系统简介中国联通运营数据分析系统（以下简称：运营数据分析平台）是北京中广瑞波科技股份有限公司（以下简称：中广瑞波）为联通宽带公司建设的管理平台，该平台通过联通wo+能力共享平台查询总部枢纽平台提供的用户三户信息、用户品牌信息、用户漫游状态和用户流量套餐（以下简称：用户信息），提供相应的可视化界面。
3.2 功能清单表3.1 系统功能列表3.3 角色分类表3.2角色分类4安装与使用1、浏览器：系统采用BS架构设计，通过浏览器可直接访问本平台，推荐浏览器：谷歌浏览器、火狐浏览器、IE浏览器。
●生产环境访问地址：http://220.194.53.186/bssmanager●SIT环境访问地址：http://192.168.10.83:8099/BssManager/2、SecureCRT：SSH（SSH1和SSH2）的终端仿真程序，用于登录服务器后获取平台生成的用户信息文件，也可使用其他类似软件。
中国联通浙江分公司统一经营分析系统建设思路交流
，有些报表需要跨业务支撑系统的综合型数据，对 这类报表要求该方式无法满足； – 无法支持报表数据的动态探查功能，不能实现对业 务经营信息进行归纳和演绎地挖掘；
•
经营信息提供现状分析（3）
• 第三种经营信息提供方式 利用第三方报表工具从业务支撑系统中采集
•操作型数据和分析型数据是有区别的
•
经营分析系统数据架构
•1、信息量小、实时、经常改 变；
•2、包括业务资料、客户资料 、系统资料等。
•1、信息量大、准实时、不经常 改变； •2、包括帐单、详单、客户资料 等经营信息
•操作型数据 •数据
• 统计、查询型数 据
•数据
•查 询
•子系 统
•子系 统
•子系
•
统
统一经营分析系统建设的目标
• 建设一个不依赖于应用，而依赖于原始操作数 据的信息本质，从专业系统提取数据，组织、 存储、展现经营信息，构建统一经营信息服务 系统(UBIS)。
• 为经营信息的流通提供统一、流畅的传输通道 ，使企业经营信息在总部、省分、地市之间自 动、快速的上传下达，减少信息的中间处理环 节，提高信息的真实可靠性和及时性，保证经 营信息的质量和时效。
•分析人 员
•显示 •分析 •发现
•业务设 计
•信息管 理
•ETL
•T emplates
•探查 •发现 •理解
•操作 型数据
•分析 型数据
•
经营信息数据的形成
•操作型数据
•分析型数据
•年
•营业数据
•帐务数据
•月
•历史帐务数据
•CDR
面向应用 有限集成的 经常更新的 当前业务值 支持日常业务
联通BI基础培训
联通BI基础培训广东联通BI基础培训谢礼明目录广东联通经分系统介绍1数据仓库基础知识2广东联通业务介绍3developer快速上手4BI系统BI系统的是为业务部门提供数据分析，支撑数据应用。
Business intelligence，简称BI，商业智能。
KPI考核指标首页是图形界面个人认为一个优秀的BI 系统应包含以下功能：基本功能1，报表2，即席查询3，ETL4，指标监控及预警漂亮的界面1，图表结合2，UI 设计专业、简单、美观3，操作简单方便4，移动版1，基本功能优秀的数据分析1，单维/多维分析2，深入分析，数据可以层层深入3，数据内容充实，切合使用需要4，自动生成数据分析报告。
1，基本功能数据挖掘1，预测2，分类请在系统找出我们已经具备的功能？目录广东联通经分系统介绍1数据仓库基础知识2广东联通业务介绍3developer快速上手4数据仓库与数据库的区别数据库数据仓库1，用途不同OLTP系统，面向应用OLAP系统，面向主题分析2，使用的用户面向事物操作人员面向分析和决策人员3，库容量差异数据量小，十T级数据量大，百T级甚至P级4，数据量操作级别差距短的，简单性事务，只影响几条或几十条数据复杂的select和大数据的insert，动不动就百万级以上的数据。
5，数据结构数据分散，不同数据标准集成的（数据汇总、数据聚合）。
数据标准统一6，数据时间性要求当前的、最新的的数据反应历史变化的。
数据特点：历史数据，按周期存放的，冗余的数据。
7，DB设计基于E-R,遵循第三范式星形/雪花，可以不遵循第三范式8，优先考虑高性能，高可用性，高并发海量数据操作，响应时间分层设计应用层数据集市地市数据集市、数据挖掘应用层 KPI报表、cagnos、主题分析、指标库中间层 DWACBD：用户统一视图、3G用户统一视图、固话用户统一视图汇总数据：用户行为、增值业务、集团业务、国际业务DWD 清单汇总、用户属性聚合、费用汇总、集团客户汇总等接口层存储层接口备份、增量转全量、减少I/O(分常用数据和历史数据) 接口层日接口、月接口、增量接口、全量接口中间层是数据仓库最重要的一层。
联通数据培训基础教程_第1章__数据网络基础知识.docx
第1章数据网络基础知识课程目标•掌握数据通信网基木结构和数据通信系统组成• 了解数据传输的基本概念•熟悉信号和信道的基本概念•掌握数据传输的方式、形式和介质•掌握数据编码技术和数据传输中差错产生和基本控制方法•掌握多路复用的基木概念•掌握OSI参考模型的定义和每层功能•熟悉各类数据通信网对应OSI参考模型了解面向连接和无连接技术•熟悉数据通信中的寻址方式•掌握数据通信交换方式以及各种交换方式的特点及对比1.1数据通信概述1.1.1数据通信网结构1、拓扑结构根据实际应用需要，网络可根据需要连成多种拓扑结构，典型的拓扑结构有6种,如图1-4所示。
从拓扑结构來看，网络内部的主机、终端、交换机都可以称为节点。
图1-4网络拓扑结构总线结构通常采用广播式信道，即网上的一个节点(主机)发信时，其它节点均能接 收总线上的信息，如图l-4(a)所示。
环型结构采用点到点通信,即一个网络节点将信号沿一定方向传送到下一个网络节 点在环内依次高速传输，如图l-4(b)所示。
为了可靠运行，也常使用双环结构。
如图l-4(c)所示，星型结构中有一中心节点，执行数据交换网络控制功能。
这种结服务器工作站工作站工作站(a)总线结构 (b)环型结构O O O O O构易于实现故障隔离和定位，但它存在瓶颈问题，一旦中心节点出现故障，将导致网络 失效。
一次为了增强网络可靠性，应采用容错系统，设立热备用中心节点。
树型结构的连接方法象树一•样从顶部开始向下逐步分层分义，有吋也称其为层型结 构，如图14(d)所示。
这种结构中执行网络控制功能的节点常处于树的顶点，在树枝上 很容易增加节点，扩人网络，但同样存在瓶颈问题。
网状结构的特点是节点的用户数据可以选择多条路由通过网络，网络的可靠性高, 但网络结构、协议复杂，如图14(c)所示。
冃前大多数复杂交换网都采用这种结构。
当 网络节点为交换中心时，常将交换中心互连成全连通网，如图l-4(f)所示。
1.1.2数据通信系统组成数据通信是计算机与计算机或计算机与终端之间的通信。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
DW层 √ 扩展BSS核心业务实体（个人客户、集团客户、订购实例、 产品、渠道等）的衍生信息（行为、扩展属性） √ 数据预处理，提高性能 √ 支撑专题分析和数据挖掘 √ 同CRM、Billing互动，形成闭环 √ 按主题（实体）组织
√ 反范式设计（宽表、冗余、派生、标志位前移）
数据存储粒度 √ 对客户、订购实例、渠道、产品等数据的轻度加工
帐务
结算
DW
资源
客服
营销
客户视图
衍生数据
产品视图
渠道视图
合作伙伴视图 资源视图
……
明细数据层 (DWD)
客户域
产品域
帐务域 市场营销域 资源域 业务使用域合作伙伴域 客服域 地域域
STG CRM1 Billing PRM
SETT
客服
炫铃平台
中央音乐 平台
WAP网关
。。。
直接支持不同 应用
不跨域的、不 保留USER_ID 的汇总，常用 维度、指标支 持
数据存储周期
√ √
长期保留，大于12个月 详单类数据单独考虑
√ 统一数据字典（表名、字段名、数据类型、域等） 模型增加原则 √ 表名以DWD_XXX，XXX重新进行命名，代表明确的业务意义
（特殊的DIM、CFG、MON等）
注意 √ 编码转换、单位统一、相同含义的字段名称统一
8
DW层说明
作用
主题 数据模型
至经营分析系统。 ✓ 判定文件完成情况，有双方约定来确定。 ✓ 可以设定是否进行文件合法性校验 ✓ 将ETL转变为ELT，完成生产系统的数据加载至经营分析系统STAGE
层，为后续的数据处理做准备。 ✓ 完成编码统一转换。 ✓ 完成数据模型转换。 ✓ 适度的数据冗余（打上一些标签等）
✓ 核心业务实体的行为属性扩展处理。
√ 多维模型（维度、粒度选择）
数据存储粒度 √ 中度、高度汇总数据
数据存储周期 √ 视应用需求而定
模型增加原则
√ √
需求归并、性能考虑、分表策略选择 表名以DM_实体名_XXX，XXX重新进行命名。REP_XXX
注意
√ 需求梳理、归并和控制，性能考虑和分表策略选择
10
ETL说明
①ETL：EXP
②ETL：FTP ③ETL：LOAD ④ETL：TRANSFORM1 ⑤ETL：TRANSFORM2 ⑥ETL：GROUP
数据源
6
STG层说明
作用
主题 数据模型
STAGE层
√ 提供业务系统数据文件的临时存储 √ 数据稽核、数据质量保证 √ 屏蔽对业务系统的干扰 √ 屏蔽数据源的差异
√ 按照业务系统的数据模型组织 √ 与业务系统一致
数据存储粒度 √ 存储详单、客户、帐务资料等细节数据的原始粒度
数据存储周期 √ 临时性
√ 与生产系统表结构一致 模型增加原则 √ 表名以STG_XXX，XXX重新进行命名
客户信息
客户关系
客户评价
客户服务
竞争对手
DWD产品域
✓ 业务 ✓ 产品 ✓ 订购实例 ✓ 活动和活动订购
业务
产品
订购实例
活动和活动订购
DWD帐务域
✓ 缴费 ✓ 帐务 ✓ 优惠 ✓ 储值方式
缴费
帐务
优惠
储值方式
说明
✓ 由相应的业务源系统将数据卸载成相应的文本文件，存放相应的临时 文件存储区。
✓ 文件格式和约定遵从双方约定的规则。 ✓ 对于BILLING系统的二批话单，入库时将文件放在一个目录下，有经
营分析系统去取，然后加载至STAGE层，并调用后续的数据处理过程。 ✓ 有经营分析系统到业务系统制定的文件存储目录，将相应的文件FTP
①
CRM
PRM
Settle ment
Billin g
。。。
4
数据架构细分
指标数据
本地KPI指标 集团KPI指标
报表数据
本地报表数据
指标库
DM
发展类
集团报表数据
中度汇总
使用类
收入类
服务类
OLAP数据
CUBE数据
结算类 财务类
数据集市
专题数据集市 地市数据集市 部门数据集市
汇总数据
轻度汇总层 业务使用 (DWA)
ETL：GROUP
⑥
ETL：TRANSFORM2 ⑤
ETL：TRANSFORM1 ④
ETL：LOAD
③
crm-
prm-
set-
bill- cdr-
file
file
file
f源系统
crm-
prm-
file
file
set-
bill- cdr-
file
file file
ETL：EXP
中国联通经营分析系统 数据模型培训
路漫漫其悠远
少壮不努力，老大徒悲伤
提纲
体系架构 数据模型介绍 数据处理流程介绍 关键指标统计口径 主要维表编码说明
2
提纲
体系架构 整体介绍 分层说明 ETL说明
3
体系架构
前端应用
报表展现
即席查询 主题分析 专题分析
DSS应用
数据仓库
DM DW DWD STAGE
✓ 将数据转化为按照星型模型组织的数据。
11
提纲
体系架构 数据模型介绍 数据处理流程介绍 关键指标统计口径 主要维表编码说明
12
提纲
数据模型介绍 域划分 DWD层 DW层 DM层
13
数据模型域划分（DWD/DW）
提纲
数据模型介绍 域划分 DWD层 DW层 DM层
15
DWD客户域
✓ 客户信息 ✓ 客户关系 ✓ 客户评价 ✓ 客户服务 ✓ 竞争对手
不跨域的到 USER_ID的轻 度汇总，提高 性能
形成统一客户、 统一产品、统 一渠道的360 度视图，支持 深层分析
明细级数据， EDM落地，关 键统计口径下 移
和生产系统一 致
数据源情况说明
数据库 系统
Oracle
√ CRM（CRM1、CRM2） √ 帐务 √ 计费 √ 结算 √ PRM √ 结算
数据存储周期 √ 长期保留
模型增加原则
√ √
核心业务实体的把握 表名以DW_实体名_XXX，XXX重新进行命名
注意 √
9
DM层说明
作用
主题 数据模型
DM层 √ 面向分析类应用（报表、OLAP、KPI、专题等）所构建的数 据存储 √ 为主题分析提供数据 √ 为报表和指标体系提供数据支撑 √ 支持专题分析（注：根据专题所需数据粒度的不同，可以 分别来自DW层和轻度综合层。） √ 按分析类应用主题组织
√ 数据类型转化（VARCHAR、DATE）
注意 √ 增量/全量方式
7
DWD层说明
DWD层
作用
√ 提供BSS系统细节数据的长期沉淀 √ 为未来分析类需求的扩展提供历史数据支撑 √ 支撑轻度综合层数据生成
主题 √ 按EDM模型组织 数据模型 √ 3NF,与企业级数据模型一致
数据存储粒度 √ 存储详单、客户在、帐务资料等细节数据的原始粒度