大数据应用架构和演进路线

性能监控
指标服务性能监控 组件性能监控
页面产品性能监控
开发者前台
元数据管理平台
后端系统
数据封装平台
产品页面装配
组件市场浏览 页面模板引入
组件装配 验证测试
产品管理
页面产品浏览 页面产品发布 页面产品下线
开发管理中台
管理者后台功能明细
标签分类
指标服务浏览
组件市场管理
产品市场管理
分析&管理
权限管理
元数据管理平台
控件：数据表达的最小元素
监控与数据采集
后端管理与运营
用户交流反馈
需求与数据分析
产品优化与改进
目录
一、产品需求理解和整体规划 二、数据服务能力 三、开发及运营能力 四、产品运行能力
标准指标设计
1
标准指标ID
标准指标定义
1
指标名称/业务口径描述
分析维度组合1 分析维度组合2
指标的技术口径A 指标的技术口径B
管理者后台
数据封装平台
后端系统
运营后台系统
开发管理中台
系统及平台定位
自助分析开发管理平台：（系统新建） 开发者前台：为授权开发者提供指标服务开发、组件开发、产品组装和发布的集成开发环境 管理者后台：对产品开发使用的资源，指标服务、组件、页面产品进行管理，如授权、上下架、分类等 服务中台：对开发者和管理者前端使用到的共同的中台服务功能集合
分析维度组合n
输入
指标ID 分析维度组合 指标计算参数
标准指标服务
输出
指标名称
业务口径 技术口径
数据描述/ 指标值列表
数据仓库
指标库高度聚合表 轻度汇总表 数据明细表
指标计算服务
一、按ID、分析维度读取元数据服务 二、按指标参数组合查询SQL 三、调用数据计算引擎
系统及平台定位
数据模型层： （持续建设中） 经过梳理和规整的数据表，数据描述实体和属性在元数据管理平台进行清晰而准确的管理；数据存储可以
大数据应用架构和演进路线
目录
一、产品需求理解和整体规划 二、演进路线 三、开发及运营能力 四、产品运行能力
可视化能力视图分析
平台能力构建
PC产品门户
可视化APP
开发者前台 可视化产品组
装
可视化产品开发管理平台
管理者后台 控件、组件、
产品管理
公共中台服务
生态运营管理
数据服务平台
指标计算服务 API
会员
流量
销售
服务
物流
金融
财务
……
wk.baidu.com
数据模型开发
SOR层模型
DPA层模型
统一视图
应用指标库
整体应用架构图
产品运行能力 开发及运营能力 数据服务能力
主页配置
诸葛前端门户
产品专区
社区交流
产品展示前端
产品页面
产品展示前端
产品页面
开发者前台
指标管理
指标服务管理
组件管理
产品组装
产品管理
监控分析
自助分析开发管理平台
运营后台系统：（系统新建） 指标服务、组件、页面产品的使用情况分析；组件、产品的用户体验，口碑分析 后端社区管理功能 组件、页面产品的性能监控服务，数据统计和分析服务
目录
一、产品需求理解和整体规划 二、数据服务能力 三、开发及运营能力 四、产品运行能力
系统及平台定位
诸葛前端门户：（系统新建） 主页配置：菜单、导航配置 产品专区： 社区交流：经验分享和交流
主页配置 高优先级 产品专区
社区交流
产品展示前端
产品页面
产品展示前端
产品页面
开发者前台
指标管理
指标服务管理
组件管理 高优先级 产品组装
产品管理
监控分析
自助分析开发管理平台
管理者后台
分类标签管理
指标服务浏览
组件市场管理
产品市场管理
监控分析
权限管理
指标服务浏览
开发管理 指标服务开发
数据封装平台
数据封装服务 服务测试验证高优先标级准指标服务 组合指标服务
产品展示前端：（产品开发完毕后发布） 链接至各从产品专区，实现页面访问流量的落地，随着数据分析类产品的新建而增加系统
产品开发流程
指标开发
指标服务封装
控件素材准备
组件开发
产品开发流程概要
产品页面开发 （组件实例化
）
测试和验证
产品发布申请
指标服务管理
查询
审核
组件市场管理
产品市场管理
指标服务开发P流ublic 程
优点 开发模式比较简单，容易掌握 小规模数据分析产品开发有优势
数据分析产品开发新生态
标准数据服务的开发流程
标准数据服务发布
构建标准指标数据服务
构建统一业务视 图
构建标准指标库
汇总模型的建设
数据分析产品开发流程
组装产品及发布
页面组装：组件的数据实例化
引用标准数据服务
非标数据服务
数据组件库：基于控件开发和封装
标准指标
标准指标服务 （多分析维度组合）
非标指标
Private
非指标服务
（固定分析维度、多指标 ）
Private
衍生指标服务
（固定分析维度、多指标 ）
Private
组合指标服务
（固定分析维度、多指标 ）
组件数组件据数据源源
来自标准指标库
标准指标服务 （单一指标）
来自自定义SQL、外来 数据服务
非标指标服务 （多指标）
衍生指标服务A （多指标）
如环比、同比、占比
组合指标服务 （多指标）
相同维度拼接
组件视图
名词解释
标准指标：
标准指标服务： 组合指标服务：
分析维度组合：多分析维度组合，固定分析维度 指标计算参数： 指标计算服务：
控件：数据表现层的最小素材，在实现上提供了展示外形，一系列编程接口，控件无法直接使用 组件：对控件进行的封装和实现 ，基于数据可视化分析思路的抽象，对页面展现的样式、交互、联动、布局进行 了实现，组件需要接入分析数据源 产品页面： 将多个组件按页面布局模板进行组装，组件的产品实例化 页面装配：
落在Hive、或者DBMS中 数据封装平台：（系统新建）
1. 开发管理，基于指标技术元数据封装为标准指标服务，并在此基础上定义组合指标服务 2.提供数据封装服务，响应组件调用 3.公共服务，指标计算服务 4.运维管理服务，性能监控，日志管理等 元数据管理平台： （功能扩充） 1.指标库模型定义及数据存储 2.指标库管理服务，如新增、删除、修改；指标库查询服务 3.指标库管理前端功能，指标库新增审核 高速数据查询引擎： （系统新建） 对大量数据进行多维度聚合查询的技术组件，追求高性能、高并发量、高扩展性
开发管理服务中台
组件管理服高务优先组级件市场服务 产品管理服务 权限管理服务
公共服务 指标计算服务
服务运维管理 日志&监控
明细数据表 （SOR层）
数据模型层
分业务模型 （轻度汇总
）
统一视高图优先级 （高度汇总
）
应用指标库 （DM层）
高速数据查询引擎
Spark SQL Kylin
运营后台系统
监控分析 用户分析 社区管理 组件、产品性 能监控服务
监控分析 用户分析 社区管理 组件、产品性 能监控服务
元数据管理平台
指标审核
指标管理服务
明细数据表 （SOR层）
数据模型层
分业务模型 （轻度汇总
）
统一视图 （高度汇总
）
应用指标库 （DM层）
高速数据查询引擎
Spark SQL Kylin
指标库模型
数据模型元数据 定义
建设优先级
低优先级
高优先级
诸葛前端门户
元数据管理平台
指标审核
指标管理服务 高优先级
指标库模型
数据模型元数据 定义
当前数据分析产品开发模式
产品部署和发布 页面产品开发
数据开发
缺点： 数据开发缺少元数据平台支撑，指标的口径管理比较孤立 不同数据分析产品定制数据指标，数据指标没有服务化，无法共享 ；导致数据在不同产品间的一致性差异 页面展示没有组件化，页面模块无法重复利用 产品优化通道没有建立，缺少持续改善和提升的输入意见
管理者后台
分类标签管理
指标服务浏览
组件市场管理
产品市场管理
监控分析
权限管理
开发管理 指标服务浏览 指标服务开发 服务测试验证
数据封装平台
数据封装服务
标准指标服务 组合指标服务
开发管理服务中台
组件管理服务 组件市场服务 产品管理服务 权限管理服务
公共服务 指标计算服务
服务运维管理 日志&监控
运营后台系统
汇报完毕 感谢聆听
服务开发与封装 服务管理
服务运维与监控
数据查询引擎
路由管理
Hbase RK
Kylin
Hive SQL
Spark SQL
指标服务管理系统
指标审核 指标管理服务 指标库模型
元数据管理平台
数据开发、可视化产品开发
诸葛
决策支持
鹰眼
……
组件控件开发
控件开发
组件开发
权限管理
产品页面开发
组件实例化 页面组装
指标服务开发与封装
目录
一、产品需求理解和整体规划 二、数据服务能力 三、开发及运营能力 四、产品运行能力
开发者前台功能明细
数据源管理
指标管理
指标服务管理
数据源引入
指标库浏览
指标服务查询
数据浏览
指标明细查询
标准指标服务维护
标准指标维护申请
非标指标服务维护
非标指标维护
衍生指标服务维护 组合指标服务维护
组件管理
组件浏览 组件新增 组件维护 组件发布上架 组件版本管理