大数据架构规划PPT课件

开发管理服务中台
组件管理服高务优先组级件市场服务 产品管理服务 权限管理服务
公共服务 指标计算服务
服务运维管理 日志&监控
明细数据表 （SOR层）
数据模型层
分业务模型 （轻度汇总）
统一视图高优先级 （高度汇总）
应用指标库 （DM层）
5
高速数据查询引擎
Spark SQL Kylin
高优先级
运营后台系统
公共服务 指标计算服务
服务运维管理 日志&监控
指标审核 指标管理服务
明细数据表 （SOR层）
数据模型层
分业务模型 （轻度汇总）
统一视图 （高度汇总）
应用指标库 （DM层）
4ቤተ መጻሕፍቲ ባይዱ
高速数据查询引擎
Spark SQL Kylin
指标库模型
数据模型元数据 定义
建设优先级
诸葛前端门户
主页配置 高优先级 产品专区
生态运营管理
组件控件开发
控件开发
组件开发
权限管理
产品页面开发
组件实例化 页面组装
数据服务平台
指标计算服务 API
服务开发与封装 服务管理
服务运维与监控
数据查询引擎
路由管理
Hbase RK
Kylin
Hive SQL
Spark SQL
指标服务管理系统
指标审核 指标管理服务 指标库模型
元数据管理平台
3
指标服务开发与封装
非标指标服务维护 衍生指标服务维护 组合指标服务维护
组件维护 组件发布上架 组件版本管理
组件装配 验证测试
性能监控
指标服务性能监控 组件性能监控
页面产品性能监控
开发者前台
元数据管理平台
后端系统
数据封装平台
12
产品管理
页面产品浏览 页面产品发布 页面产品下线
开发管理中台
标签分类
管理者后台功能明细
指标服务浏览
会员
流量
销售
物流
金融
财务
数据模型开发
SOR层模型
DPA层模型
统一视图
服务 ……
应用指标库
整体应用架构图
产品运行能力 开发及运营能力 数据服务能力
主页配置
诸葛前端门户
产品专区
社区交流
产品展示前端
产品页面
产品展示前端
产品页面
开发者前台
指标管理
指标服务管理
组件管理
产品组装
产品管理
监控分析
自助分析开发管理平台
管理者后台
分类标签管理
指标服务浏览
组件市场管理
产品市场管理
监控分析
权限管理
开发管理服务中台
组件管理服务 组件市场服务 产品管理服务 权限管理服务
运营后台系统
监控分析 用户分析 社区管理 组件、产品性 能监控服务
元数据管理平台
开发管理 指标服务浏览 指标服务开发 服务测试验证
数据封装平台
数据封装服务
标准指标服务 组合指标服务
社区交流
产品展示前端
产品页面
低优先级
产品展示前端
产品页面
开发者前台
指标管理
指标服务管理
组件管理 高优先级 产品组装
产品管理
监控分析
自助分析开发管理平台
管理者后台
分类标签管理
指标服务浏览
组件市场管理
产品市场管理
监控分析
权限管理
指标服务浏览
开发管理 指标服务开发
数据封装平台
数据封装服务 服务测试验证高优先标级准指标服务 组合指标服务
优点 开发模式比较简单，容易掌握 小规模数据分析产品开发有优势
6
数据分析产品开发新生态
标准数据服务的开发流程
标准数据服务发布
数据分析产品开发流程
组装产品及发布
构建标准指标数据服务
页面组装：组件的数据实例化
引用标准数据服务
非标数据服务
构建统一业务视 图
构建标准指标库
数据组件库：基于控件开发和封装
目录
一、产品需求理解和整体规划 二、数据服务能力 三、开发及运营能力 四、产品运行能力
11
数据源管理
数据源引入 数据浏览
开发者前台功能明细
指标管理
指标服务管理
组件管理
产品页面装配
指标库浏览
指标服务查询
组件浏览
组件市场浏览
指标明细查询
标准指标服务维护
组件新增
页面模板引入
标准指标维护申请 非标指标维护
大数据应用架构和演进路线
1
目录
一、产品需求理解和整体规划 二、演进路线 三、开发及运营能力 四、产品运行能力
2
可视化能力视图分析
平台能力构建
数据开发、可视化产品开发
PC产品门户
可视化APP
诸葛
决策支持
鹰眼
……
开发者前台 可视化产品组
装
可视化产品开发管理平台
管理者后台 控件、组件、
产品管理
公共中台服务
汇总模型的建设
控件：数据表达的最小元素
监控与数据采集
后端管理与运营
用户交流反馈
需求与数据分析
7
产品优化与改进
目录
一、产品需求理解和整体规划 二、数据服务能力 三、开发及运营能力 四、产品运行能力
8
标准指标设计
1
标准指标ID
标准指标定义
1
指标名称/业务口径描述
分析维度组合1 分析维度组合2
指标的技术口径A 指标的技术口径B
落在Hive、或者DBMS中 数据封装平台：（系统新建）
1. 开发管理，基于指标技术元数据封装为标准指标服务，并在此基础上定义组合指标服务 2.提供数据封装服务，响应组件调用 3.公共服务，指标计算服务 4.运维管理服务，性能监控，日志管理等 元数据管理平台： （功能扩充） 1.指标库模型定义及数据存储 2.指标库管理服务，如新增、删除、修改；指标库查询服务 3.指标库管理前端功能，指标库新增审核 高速数据查询引擎： （系统新建） 对大量数据进行多维度聚合查询的技术组件，追1求0 高性能、高并发量、高扩展性
分析维度组合n
输入
指标ID 分析维度组合 指标计算参数
标准指标服务
输出
指标名称
业务口径 技术口径
数据描述/ 指标值列表
9
数据仓库
指标库高度聚合表 轻度汇总表 数据明细表
指标计算服务
一、按ID、分析维度读取元数据服务 二、按指标参数组合查询SQL 三、调用数据计算引擎
系统及平台定位
数据模型层： （持续建设中） 经过梳理和规整的数据表，数据描述实体和属性在元数据管理平台进行清晰而准确的管理；数据存储可以
组件市场管理
产品市场管理
分析&管理
权限管理
元数据管理平台
管理者后台
数据封装平台
后端系统
13
运营后台系统
开发管理中台
系统及平台定位
自助分析开发管理平台：（系统新建） 开发者前台：为授权开发者提供指标服务开发、组件开发、产品组装和发布的集成开发环境 管理者后台：对产品开发使用的资源，指标服务、组件、页面产品进行管理，如授权、上下架、分类等 服务中台：对开发者和管理者前端使用到的共同的中台服务功能集合
监控分析 用户分析 社区管理 组件、产品性 能监控服务
元数据管理平台
指标审核
指标管理服务 高优先级
指标库模型
数据模型元数据 定义
当前数据分析产品开发模式
产品部署和发布 页面产品开发
数据开发
缺点： 数据开发缺少元数据平台支撑，指标的口径管理比较孤立 不同数据分析产品定制数据指标，数据指标没有服务化，无法共享； 导致数据在不同产品间的一致性差异 页面展示没有组件化，页面模块无法重复利用 产品优化通道没有建立，缺少持续改善和提升的输入意见