数据中台解决方案

数据中台解决方案
数据中台概述
数据中台解决方案
数据中台实施骤实践成果
一.数据中台概述
01
信息化传统烟囱式架构
1. 响应慢
2. 成本高
传统企业数字化转型的阶段
数字化
链接渠道互通
数据化
数据采集沉淀
智能化
数据分析整理
生态化
互链互通融合
1. 数据治理
2. 用户画像
3. 精准营销
1. 渠道互通
2. 产品互通
3. 用户互通
1. 客户生态
2. 行业生态
3. 生态互链
1. 数据采集
2. 数据沉淀
3.
数据清洗
传统核心
业务中台
挖掘数据价值
辅助决策
通过工具和标准最大化利用数据 资产，为前台业务提供快速灵活 的数据服务，通过数据来支撑企 业的运营。

快速支撑灵活多变的
业务应用
支撑交易初级应用阶段 统计分析阶段 大数据智能分析阶段 数字化运营阶段
数据应用变迁
---------------------------.
以客户为核心，以全景
视角洞察需求和商机
---------------------------.
统一客户视图
统一产品视图
---------------------------.
线上线下场景和业务经
营决策无缝链接.----------------------------
全域数据采集和管理
全链路业务分析支持
.----------------------------
统一数据服务
统一数据管理
统一数据运维
.----------------------------
全域数据打通与链接
全业务流程打通与链接
•客户画像
•智能推荐
•精准营销
•
全渠道触达
•实时报表
•舆情监控
•智能运营
•
数据大屏
•差异化风险定价
•风险实时预测
•全流程风控闭环
•反洗钱、反欺诈引擎
满足营销、风控、产品、运营等多业务板块和职能部门的数据服务和应用需求
运营&
可视化应用
数据中台
全面、统一、融通
业务中台
系统重构和升级
•流程创新
•定价引擎
•需求预测
•产品工厂
营销和渠道
风险控制
产品创新
数据驱动业务
通
全
统
通
全
统
反哺
驱动
同
公众平台
交易中心
业务中台基础云平台
风险管控
属性分析
智能引擎
人群分析
企业中台整体架构
业务数据化、数据资产化、资产服务化、服务业务化
客户 研发 生产 供应链 ......
自助分析监控预警运营管理智能决策
回
数据中台
业务数据沉淀资产
数据服务业务创新
数据消费
数据消费
数据消费
服务交互
开放Api
产品中心运营门户
移动应用
流程中心客户中心用户行为
行业分析
数据模型
机器学习
服务交互
服务交互
服务交互
H5
PC
▲
大数据平台
“数据集”即服务
• 融合了结构化和非结构化数据
• 数据资源 “大集中”， 缩短报表开发时间• 海量异构数据计算， 支持实时数据处理• 面向BI 应用
“API”即服务
• 数据直接用于业务链路和交易场景，
服务更多业务• 覆盖全域数据
• 数据资产化， 数据共享
• 各类AI 、大数据技术， 赋能业务创新
随着从数据仓库、 数据平台向数据中台的演进， 数据逐步贴近业务， 彰显数据的驱动力
用数据经营
用数据管理
数据支撑业务
“分析报表”即服务
• 报表、 KPI 、简单的分析挖掘• 结构化数据、 历史性数据• 非全量数据
数据不能直接影响业务
数据仓库、 集市
数据赋能业务
数据中台
“数据来源业务，
数据服务业务”
• 数据集市面向业务部门管理需要
帮助企业的数字化平台 （客户体验平台， 生态系统平台， 物联网平台和信息系统） 的
业务用户做出更好的决策， 并在各个数字化平台的合作孵化下形成可复用的数据分析能力。

数据中台：
企业数字化的核心
中台建设贯穿始终
•数据中台不是一个标准化的产品，是一整套策略和解决方案的集合，因此中台能力的建设是一个长期过程
•数据中台分布式架构需要采用微服务、D evOps等解耦化、
组件化、敏捷的迭代方式进行
部署和运维
数据资产是基础
•数据资产化是将数据业务化的
前提
•通过数据资产确保数据准确、
合理共享、保护数据安全和隐
私
数据服务是目标
•数据中台对数据进行沉淀和
加工，面向业务场景建立数
据应用和数据服务，使得数
据可以更好地在场景中得到
应用，
体现数据价值
数据模型是本质
•通过数据中台将数据中心
化，对共性问题抽象出业
务规则，同时降低模块间
的耦合度“高内聚、低耦
合
”数据中台
资源共享能力
由数据中台提供平台共享能力，减少数据的下发和本地化存储；通过容器化与大数据结合，实现计算资源、存储资源、网络资源和应用的隔离与共享。

避免各个应用间抢占资源造成相互影响；应用间保证完整的安全管控机制。

数据资产管理能力
提供数据资产管理工具。

可以实现元数据管理、数据质量、安全管控等服务。

整合源业务系统、数据仓库、大数据平台的数据资产，通过数据资产管理与配套工具开放数据的使用。

开放服务能力
可以提供BI工具、大数据开发服务、A I建模工具、中间件等服务。

提供开放应用和工具、计算、存储服务，能够实现即开即用，提供数据资产的查询、获取与分析应用服务。

自助分析能力
对数据资产提供地图式搜索，工具层面的全流程串联，更快速灵活的进行数据探索和开发。

让业务更快速、敏捷的搜索数据、获取数据、使用数据。

整合和治理跨集群、跨平台数据，将数据封装成服务，提供给前台，创造业务价值数据中台目标
2
二.数据中台解决方案
业务需求分析 整体架构数据能力地图
决策支持 辅助决策 运营大屏
业务应用
创新应用
数字企业 数字政府 数字政府 数据服务体系
API 网关
数据资产管理
数据血缘 数据生命周期
数据体系
统一数仓 标签数据 数据开发
实时开发 算法开发
智能运维 监控告警 外部数据
拿 拿 拿
网络 5G 网络 多云平台 混合云资源 本地机房
面向合作伙伴
物联互通层
数据中台技术架构
数据安全体系
数据运营体系
数
据规范体系
数据中台
数据汇聚异构数据源 可视化配置云
平台
离线开发
智能调度
异构网络 实时接入
应
用
基础工具层
数据标准
环境隔离贴源数据数据质量
数据权限
应用数据
调用管理
离线同步面向客户
服务创建
服务授权面向
身份认证
数据
数据源元数据
……
……
……
……
基础服务
集群部署集群管理运维监控租户隔离日志分析
数据中台
业务中台
数据中台整体能力地图
消息队列 数据交换 FTP API 多级填报 AIoT 开放平台 RPA
…
私有云平台
MPP 推荐服务智能检索服务
智能BI
API 服务
阿里云平台知识图谱/问答
机器人
机器学习/深度
学习同步、交换
OCR/NLP 数据标注数据标准元数据管理主数据管理数据质量
分级分类数据脱敏数据水印
数据加密数据调度数据建模资产目录数据标签数据指标数据门户
采集、集成ETL
数据存储 数据计算数据运营 数据应用数据智能
数据服务
数据安全
数据资产
数据治理
数据汇聚
数据工厂
异构数据归集
支持市面几乎所有类型数据库交换； 支 持对文件系统文件归集； 支持非结构化 数据归集。

多采集服务方式
支持数据复制 、 ET L 采集 、 数据 接口 、 RPA 、 文件传输等采集方 式
数据采集与交换-数据的汇入与融通
自定义交换规则
支持自定义分组规则 、 交换规则 、 路由规则。

高稳定性和可靠性
支持跨域可靠数据交换 、 支持断 点续传等传输策略
01
04
02
03
数据 存储
数据计算
数据治理
安全控制
数据资产管理分布式 存储节点
实时数据分布式消息队列
Kafka
数仓建模
管理配置
数据存储与计算-源于开源优于开源
hadoop 体系
分布式关系型 数据库
服务支撑体系
指标管理体系 标签管理体系
实时计算 批量计算 并行计算 内存计算 GPU 计算
数据可视化实时数据异常告警
分析引擎
即席/交互式执行
交 数据交换 换
数据推送
机器学习挖掘实时数据时间窗口统计
账户管理 LDAP
安全审计
集群运维
服务监控
资源监控
异常告警用户认证 Kerberos
基于角色 访问控制
重要数据加 密存储
即席查询高并发数据检索
主数据管理元数据管理数据标准 管理
数据质量 管理
数据分布 统计探索离线统计分析
关系型数据库 数据抽取Sqoop
物联网数据接入 (天宫平台)
数据/服务 总线ESB
文件上传FTP Over HDFS
SQL/批处理执行
日志文件汇聚Flume 数据 整合
硬件 资源
数据 服务数据 分析
挖掘建模设计
计算 节点数据ETL
计 算
分 析
展 现
数据建模管理
数据源管理数据模型管理
代码生成
数据资产管理
资产目录 资产发布 资产订阅
数据治理-把数据变成资产
主数据管理
主数据建模主数据整合主数据服务主数据编码
数据质量管理
质量规则质量评估质量报告
元数据管理
元数据采集 元数据变更 数据血缘图谱
影响分析
标准管理 标准映射 标准分析
数据标准管理
数据 治理
全数据类型
支持文本、图像和视频等数据类型挖掘与分析。

支持离线和流式数据分析。

多智能算法
支持传统机器学习算法和深度学习算法。

默认支持超过30类文本处理、图像
处理、视频处理算法。

低开发成本
支持代码模式，同时支持无代码实现数据标注、数据管理、算法开发、模型训
练、服务生成和部署。

多组件服务
提供OCR、异常检测、票证识别、合同对比、知识图谱构建、智能问答等即开即用组件
查询服务
输入特定查询条件， 返回 满足该条件下的数据 。

分析服务
借助智能分析组件， 对数 据进行关联 、 挖掘分析 。

推荐服务
根据历史数据和实时数据 , 提 供 推 荐 服 务 。

筛选服务
基于标签组合筛选符合特 征条件的数据 。

可视化服务
基于数据进行可视化分析 和展示 。

API 接口
数据
推送
应用 数据库
数据服
务
数据
全生命周期管控
数据采集
数据存储
数据传输
数据处理
数据交换
数据销毁
身份认证访问控制授权管理数据加密动/静脱敏数据防泄漏
数据安全-数据安全保障
数据全生命周期覆盖，数据安全保障体系化
数据安全审计 基础安全 网络安全+主机安全+终端安全+多因子认证+自动化安全运维· · ·
应用安全 W EB 应用防火墙+代码安全检测· · ·
内、外人员 安全管理
用户认证鉴权人员操作审计数据权限隔离应用权限隔离存储权限隔离数据操作权限隔离
管理工作
数据脱敏防恢复数据加密流程审核
数字水印
暗数据发现
数据分级分类
数据加密存储数据传输加密数据备份恢复
数据防泄漏防勒索
身份鉴别
安全感知和 风险监控
制度
管控
巡检
监管
安全策略体系
全手段数据归集 全生命周期安全保护
全体系数据建模 全可视分析挖掘
全维度数据服务
全工具数据治理
能力亮点
三.数据中台实施方案
03
建设步骤实施步骤
建设原则主题库建设过程中， 坚持数据资产第一， 流程第原则； 采用面向面向对象的设计过程， 把业务数据 资源经过整合、分 类、清洗， 加工最终沉淀为数据资产。

采用先进的架构开发方法； 参考军工数据资源管理体系项目成果， 参考央企大数据资产建设经验； 采用业界主题库建设的方法。

平台要根据不同的业务场景 （监管、国资监管、智慧企业等） 不同的服务类型； 平台建设过程中考虑不同角色权益诉求， 通过数据确权保障不同角色的权益诉求。

规范设计是保证数据主题建设、数据中心建设、门户建设用一种“语言说话”。

资产为导向原则参考先进成果原则共享服务原则
规范指导项目建设原则
工作方法与原则
上线持
需求调研央企建设案别 成
果
业务调研
让企业看清现状， 明确引入数据中台到底想优先解 决什么业务问题。

数据勘探
快速定位企业数据资产现状 、 数据驱动业务能力 、 数据资产管理体系现状等
场景挖掘
选择合适的业务场景， 通过提供数据建模理论 、 数 据架构设计 、 应用架构设计等方法， 快速帮助企业 确立业务赋能场景
资产梳理
进行数据梳理并按照垂直数据分析 、 公共数据抽取 和萃取数据主题等多个层级次， 通过不同层次之间 的加工过程实现从数据向从数据资产的转化
应用创新
让数据真正能够 「用起来」， 基于业务找到最优方 法进行求解， 确立数据应用主体功能
价值创造
让企业管理者能看到数据给业务的改变， 帮助企业 进行数据驱动的业务创新
数据中台建设步骤
03
02
05
04
06
01
传感器、RFID 阅读器、导航 终端等非传统IT 设备
视频(地理信息、监控录像等)
数据采集： 数据从“端”到“仓”的汇聚
互联网、第三方数据中心数据人流数据，用户行为数据
智能终端、流媒体数据
业务应用系统
实时数据 流数据 批数据
↓Spark Streaming
HBase
内存计算
flink
实时
/历史 数据
统一资源调度 YARN 数据交换： 数据从“池塘”到“湖泊”的融通
分布式文件系统 HDFS
MPP 数据库
实时同步 数据抽取工具Golden Gate Kettle
文件上传FTP over HDFS
分布式消息队 列 （Kafka)日志文件汇 聚Flume
消息/服务总 线ESB
批量计算 MapReduce
关系数据库抽 取(Sqoop)
核心平台
!
↓
分布式文件系统
HDFS
关系型MPP 数据
库
统一资源调度 YARN
数据中台建设实施步骤--数据存储与计算
数据仓库Hive
流计算flink
Spark Streaming
内存计算 Spark
分布式内存列式存储
存储计算： 数据从“源”到“仓”的落地
批量计算 MapReduce
全局/全文/组合索引支
持
分布式在线数据库
HBase
数据
计算数据 存储
数据开发：从“数据”到“知识”的沉淀
管得了， 控得住
数据资产： 家底清、 底数明
数据治理： 从“数据”到“资产”的积累
标准规范的、可连接共生的大数据平台
数据目录 数据增长
清晰数据架构
合理可依
有序
提升
数据安全
可控
可申请、 可服务
无序数据中心
数据标准
数据质量
查询服务
输入特定查询条件， 返回满足 该条件下的数据 。

分析服务
借助智能分析组件， 对数据进 行关联 、 挖掘分析 。

推荐服务
根据历史数据和实时数据， 提 供推荐服务 。

筛选服务
基于标签组合筛选符合特征条 件的数据 。

应用 数据库
数据服务：
从“资产”到“价值”的升华
API 接口
数据
推送
数据服
务
统一战略
搭建组织
打造氛围
实践创新
数据中台建设实施步骤--数据运营
数据中台不是产品， 而是一个让数据持续用起来的机制
B
C
A
D
四.实践成果
04
技术团队完善
包括咨询策划、方案架构、项目管理、产品研发、实施运营等方向，技术方向涵盖人工智能、区块链、大数据、边缘计算等。

项目经验丰富
自主知识产权
所有软件产品 10 0% 拥有源代码，完全自主可控开发能力；1 0 0% 自主知识产权；可进行业务定制服务。

服
务
体
系
科学管理机制
A\B\C\D\E
人工智能、区块链、云计算
、大数据、边缘计算
前沿技术
a m
规划
设计
持续
优化
调研
评估
项目
部署
咨询
服务
能力
数字化转型服务
场景
应用
服务
能力
数据
治理
能力
开发
部署
与集
成能
力
运营
运维
服务
能力
服
务
流
程
服
务
能
力
以客户为中心，提供
定制化解决方案
客户关系
管理理念
客
户
价
值
智慧中心
构建
“三位一体”
技术平台
AI 平台
构建
“三位一体”技术平台， 结合领域知识，
打造行业智慧中心
行业智慧中心
应用开发平台
数据平台
管理规范
技术规范
管理流程数据资产管理规范咨询与建设
数据管理➢规范化 ➢标准化 ➢流程化 ➢
制度化
业 务 支 撑 技 术 支
撑项目管理系统经营分析管理低代码平台
ETL
生产管理系统安全管理系统CAS 统一认证Echarts
风险管理系统培训管理系统MQ 消息队列web service
干部管理系统物资管理系统ESB 数据总线数据库
OA 管理党建、 档案管理
redis ......
统一数据管理数据标准主数据管理元数据管理
数据质量管理数据服务管理数据指标管理
产融合 、 物理环境层 （机房 、 网络 、 存储备份 、 无线网络）
XXXX 新能源有限公司一体化工作平台
数字新能源--新能源一体化解决方案
安
全 运 维 体
系
标 准 规 范 体
系
集成服务数据传输服务封装
服务日志注册发布接口规范
服务调用应用互联
可视化报表
企业门户
工作台
服务中介统一服务管理
服 务 支 撑
展 示
数据归集
数据供应链
数据目录
数据智能治理……
数据资产管理
网 络 安 全 体
系
组 织 保 障 体
系
标准规范体系
政策制度体系
离线、实时大数据计算引擎
物理网服务
云计算服务
两掌 （两端） 浙政钉 浙里办
金华市政务云
应用支撑体系 空间治理 业务中台 可信身份认证 电子签章 公共信用 物联感知
数字政务--政务数据平台解决方案
数据安全
数据开放 用户系统 数据模型 数据资源 融合计算 开放算法库 数据脱敏系统
物联网接入、物联网管理、物联网边缘计算
弹性计算、云数据库、云存储、云负载均衡、云完全数据探索 机器学习视频分析 （综治、交通、城管、应急）
党政机关整体 智治综合应用党建引领数字驾驶舱
数字经济综合应用数字社会综合应用
数字法治综合应用数字政府综合应用
自然语言处理知识图谱 …
监控预警
数据交换分析挖掘工具数据溯源
态势感知
访问控制数据审计
数据集成工具
乡镇街3
数据仓 …
…
部门3
数据仓 …
…
数据质量
数据共享算法模型
数据服务数据桥接
“最多跑一次”“一件事”基础 能力 平台
业务支撑体系
未来社区、数字乡村
产业大脑、数字经济
基层治理、法治中心
乡镇街2 数据仓乡镇街1 数据仓
共享 交换智能 分析
部门2 数据仓
部门1 数据仓省级 专题库区县 主题库数据仓
数据共享与交换服务
• 大屏可视化•
决策分析• 数说
•
小鲜日报• 小鲜机器人• 员工画像• 跨业务数据共享• 管理和监控大屏• 统一数据报送• 其它数据应用
数据标准元数据主数据数据质量管理管理管理管理数据资源权限
数据安全服务权限数据服务管理
管理
管理
流程管理
数据交换与共享服务组件
文档数据
文档资料电子档案影音存档
集成接口
API/ODBC/H TTP/FTP
数据仓库
标签体系
指标体系
数据资产服务
ODS
数据推送服务
数据目录服务
物联网采集 数据互联网数据产业云数据
财务共享合同管理ERP 人工录入
RPA 采集
AIoT 平台
批量采集实时采集数据治理与安全
分析模型预测模型评价模型财务模型
服务模式
适配器模式消息模式
其他模式
ETL 模式合同绩效
应用领域
数据服务
数据开发
数据采集
大数据平台
人力资源全面风险资产设备
……
安全
时间业务项目阶段主题数据库
材料员工
组织业务数据模型数据图片档案风控客户人力
财务维度
...
将散乱的数据进行治理，丰 富数仓维度
将抽象的逻辑进行梳理，建 立员工画像、组织画像以标签为维度，进行HR 业务 运用
以标签为维度，进行HR 业务 数据分析
静态标签 动态标签
图员工基础特征 员工职业特征 员工办公特征
员工考评特征
数据清洗、数据字典、数据运算、数据模型
应用场景
招聘
JD 发布
岗位标签人员甄别工作/技能标签
仓培训
技能提升技能标签素质提升基础信息标签
非HR 系统
差旅信息 纪检信息 办公信息 党建信息
员服
员工活动员工互评员工兴趣小组
员工兴趣标签
HR 系统
基础信息 考勤信息 绩效信息
员工画像标签
模型
五维模型 积分模型
人才构成人才梯队人才工作状态
人才搜索
人才提拔 人才调动
员工信息
逻辑运算
人才盘点
数字地铁--轨道交通数据治理解决方案
物联感知设施统一规划建设 ，互联共 享 ，避免重复建设
所有行业应用物联感 知信息须统一接入城 市物联感知中枢
应用系统： 接口 统一标准
公安安智平台
（雪亮工程）
城市指挥中心应急指挥中心
（消防监控平台）
数据中台
社区运营服务平台
（COSS ）
智慧交通应用平台
视频监控管理平台
微单元数管平台
多设备接入 多网络混合接入 多协议支持 高性能并发
城市时空信息平台
近距离通信无线网
络
Wi Fi ， ZigBee
物联网存储服务SCP
设备管理平台DMP
连接管理平台CMP
园区环境检测
垃圾分类低功耗广域网LoRa 、 NB-IoT
有线通信网络 以太网，RS485
蜂窝网络2G/3G/4G/5
G
边缘节点
（工厂）
边缘节点
（园区）
边缘节点
（街道）
边缘节点
（楼宇）
边缘节点
（。

）
1
2
3
城市神经网络
社区服务 停车
窨井安全 视频监控路灯 消防
畜牧
楼宇
供水
水质
农业
……
景区运营 管理平台
系统管理
活动运营
运营分析
信息发布
服务管理
景区智能 应用系统
票务系统
酒管系统
零售系统
导视系统
物联设施
公共
数据平台
景区运营分析 平 台
景区经营全感知大屏
景区营收数据分析
数据交换
数据共享
数据安全
数据采集
数据治理
谢谢聆听。