数据服务总线DSB方案介绍

数据开放平台架构
数据开放门户
数据能力开放
自助数据分析
自助服务开发
数据应用产品
位置类应用
个人客户偏好
…….
应用开发工具
仪表盘
多维分析
地图组建
……
Open API
数据服务总线
服务输出 用户位置服务
客户信用度服务
用户满意度服务
客户偏好标签
……..
服务开发
服务开发 服务测试
服务上线 服务下线
服务管理
服务查找 服务注册
问题1：烟囱式的开发模式造成 资源浪费
诸如各个地市平台等应用系统 都是从省公司获取明细数据， 自行进行数据处理。对相同数 据进行重复加工，造成了系统 的重复建设、资源的浪费。
各种各样的 小系统
问题2：烟囱式的开发导致最佳 实践难以复制
诸如地市平台这种最佳实践在全省 推广过程中，会遇到因为各系统环 境不一致、数据结构不一致等问题， 造成最佳实践难以复制或者复制成 本非常高，只能集中建设。
构建新的数据产品
用
Open API
行
运营商数据直接开放给第三方使 用，如景区客源数据服务
业
计算能力开放
大数据平台计算能力开放给移动 的业务部门、厂商、合作伙伴
企业客户
政府、金融 等行业客户
第三方合作 伙伴
移动内部系 统
数据开放原则：“标准化、集中化、安全化”
交互原则
标准化
• 提供标准化的数据订阅、数据访问接口；对数据质 量、数据安全管理制定标准，数据提供方和使用方 遵循标准；
通过有效封装内部数据处理逻辑，提供 标准化的对外服务接口，降低应用与具 体数据结构的依赖，保障数据安全，提 升应用的可扩展性和可重用性；
1
通过开放，数据服务能力可以 更好的嵌入业务流程及与其他 能力集成，提供融合支撑，提 升运营商服务能力。
用户自我业务定制，满足个性化需求
用户参与业务提供，降低业务成本，缩 通过数据开放平台，吸收来自业务
对数据开放平台的愿景
定位
制定企业标准数据服务接口，把大数据平台数据融合中心数据分层封装，以服务 形式开放给数据使用者，满足不同用户的数据需求。
目标
对内--不同业务单元数据互通、共享，把部门数据变为公司数据。 对外--链接企业与企业、企业与个人，打造数据应用生态链，实现数据增值；
数据开放平台的价值：促进数据运营能力提升、数据服务能力提升、数据价 值提升与业务创新能力提升
数据服务发布 能力封装&共享
数据应用打包 数据应用开发
支付及使用 数据开放门户
数据服务调用场景
内部系统 个性化应用 客服
电渠
请求
外部系统
响应
旅游人流监控
商铺选址应用
请求
响应
数据服务开放平台
认证鉴权
服务查询
Hale Waihona Puke 交互方式适配：同步响应、异步响应、服务订阅
通过 鉴权？ 通 过
响应
服务类型适配：批量文件、WebService、消息（MQ）
推荐度
应用建设者提交服务开发需求，省公司IT部门按照需求内容进行数据服务开发，将数据结果 以服务的方式提供给应用平台，应用平台在此上进行后续数据应用开发。
优点： 1、所有数据都在IT部门内部，确保数据安全性 2、数据使用的核心能力仍在IT部门
地市应用
数据应用 应用开发
缺点： 1、需要较多的需求开发人员，需要增加应用开发预算 2、复杂需求需要进行反复沟通 3、难以支撑业务复杂、需求频繁变动、及时性高的需 求支撑
旅游管理局 客服
指标
个性化应用 VGOP 征信平台 ……
数据服务开放平台
数据服务总线 数据服务管理
服务管理 服务监控 服务安全 服务开发 提供者视图 消费者视图
企业数据中心
数据服务开放平台：通过数 据服务总线对数据服务进行 统一对外输出，并对数据服 务进行统一管理，包括数据 服务管理、服务监控、服务 安全、服务开发、提供者视 图和消费者视图等功能。
优点： 1、所有数据都在IT部门内部，确保数据的相对安全性 2、应用建设者自行开发，可实现业务逻辑复杂、响应速度快的 需求
缺点： 1、开发者可接触到明细数据，存在安全风险 2、开发过程和开发质量不可控，低质量开发可能会严重影响 系统性能
地市应用
数据应用 应用开发
应用开发
应用建设者
省份数据中心
数据开放平台
数据文件/数据流
步
交
互
用户在界面进行自定 同 义参数输入，向数据 步 开放平台直接获取结 交 果进行展现
互
数
据 开
数据开放
信息开放
服务开放
放
数据中心
现有应用平台现状
推荐度
现状：各个部门应用直接从IT部门数据中心获取用户详单数据、结果数据，并在此基础上进行数 据应用开发，存在着严重的安全隐患。
好处： 1、省IT部门工作量小，无需应用建设，对系统 稳定性影响小 2、应用建设者开发灵活方便，能够快速响应开 发需求，并实现复杂逻辑需求。
位置专题 系统
合肥集中 化应用
数据开放平台（数据的集中开放访问） 数据开放集市
存量维系 模型
位置类数 据模型
各类挖掘 算法
公共数据处理
大数据基础平台（数据集中存储）
重平台，轻应用
通过引入数据开放平台，实现数据能力的统一输出
通过引入数据开放平台，将数据封装并以服务方式统一对外输出： 充分实现数据共享，改变过去烟囱式的系统建设方式，防止系统重复建设。 实现数据和应用解耦，将数据整合平台与应用平台分离，确保用户隐私数据的安全。 通过标准化的数据服务，实现指标口径的统一、实现了最佳实践快速复制推广能力。
交互过程 文件，视图，数据流
自助分析服务
集中化
• 所有需要向外提供的数据和服务都必须通过“开放 平台”进行，访问入口集中化，开放接口管理集中 化；
安全化
• 对敏感数据与应用访问应有完善的安全管理措施和 机制，确保信息在传输和应用过程中的安全。
外部系统向数据开放平
异 步
台订阅相应数据/信息， /
开放平台按照订阅提供 同
数据资源池
开发者 IDE
服务开发
上线审批
• 背景介绍 • 数据开放平台 • 数据服务总线简介 • 数据对外应用门户简介 • 应用案例
数据应用建设应该向”重平台,轻应用”方向发展
烟囱型应用： 每个应用都从底层数据源 开始独立进行数据处理和访问。
存在问题：数据缺乏统一安全管理、数 据重复处理、资源浪费、指标口径差异
传统烟囱式的应用建设模式
系统A
系统B
系统C
存量维系 系统
位置专题 系统
合肥集中 化应用
存量维系 模型
位置类数 据模型
应用开发
应用建设者
省份数据中心
数据开放平台
数据服务总线
数据开放集市
数据中心
服务开发
数据中心 管理者
需求沟通
建议方案2：应用建设方直连数据库进行开发
推荐度
省公司将“数据开放集市”直接开放给应用建设者，应用建设者自行进行数据服务开发，将 数据结果以服务的方式提供给应用平台，应用平台在此上进行后续数据应用开发。
小业务周期
伙伴&业务部门的业务创新，鼓励
数据服务能力共享，效益最大化
应用开发者，促进数据服务能力变
现与应用创新。
数据开放平台总体架构
对传统数据请求进行封装，采用数据应用的方式为企业内外部用户的多样性数据服务支撑，降 低数据使用成本，提升数据开发能力。
内部用户 业务部门 市分公司
… 外部用户 政企 银行 保险 集成商/开发者 …
数据服务总线DSB方案介绍 打造数据开放平台
• 背景介绍 • 数据开放平台 • 数据服务总线简介 • 数据对外应用门户简介 • 应用案例
背景介绍
目前移动存在着各种各样的小型应用系统，很多小系统为自身建设需要直接从底层明细数据开始加工。这种烟囱式 的开发模式导致数据重复加工、最佳实践难以复制、数据安全缺乏统一管控和指标口径不一致，数据质量无法保障等问题。
各类挖掘
算法
……
存量维系 所需明细
数据
位置类应 用所需明 细数据
集中化平 台所需明 细数据
明细数据
经分数据仓库
轻平台，重应用
数据服务型应用：大数据平台集中数据 加工，数据开放集市进行数据模型处理， 将数据结果通过数据封装提供给各应用 平台，实现数据和应用的解耦。
基于数据服务的应用建设模式
存量维系 系统
➢ 服务开发：在测试环境中，利用 服务开发工具进行服务开发，开 发完后进行服务测试、服务上下 线管理。
➢ 执行引擎：根据服务调用请求， 自动完成消息路由、协议转化等 过程，最终响应服务结果给服务 调用者。
➢ 运行监控：监控正在运行的数据 服务的响应情况、数据流程的监 控、系统集群的监控。
➢ 运营管理：对服务调用结果进行 日常运营分析、并对收费服务进 行计费结算。
数据服务总线
数据开放集市
服务开发
数据中心
建议方案3：应用建设方直连数据库进行开发
推荐度
省公司提供测试环境、开发者IDE工具，应用建设者此基础上进行数据服务开发，上线需经过省公司 IT部门审核，结果数据以服务的方式提供给应用平台，应用平台在此上进行后续数据应用开发。
优点： 1、开发人员与真实数据隔离，确保了数据的绝对安全 性 2、应用建设者根据应用需求自行开发，可实现业务逻 辑复杂、响应速度快的需求
数
应用开 放门户
自助数据分析
移动经分
客户经理助手
位置运营
客户偏好 …
据
开 放
应用开 发工具
企业数据应用快速开发工具包
平
台
数据 服务总线
采用数据封装，构建SOA架构的企业统一数据服务支撑
企业数据中心
票房 道具 戏台
✓ 数据服务总线：采用数据封装技术， 标准化地把数据转换为数据服务， 实现应用与数据的解耦，满足内外 部数据开放的需求。
生命 周期管理
数据安全
消息路由 服务编排
执行引擎
消息转换 协议转换
消息机制
资源分 配
基础服务
扩展机 制
超时机 制
重试机 制
异常处 理
运行监控
服务监控
流程监控
集群监控
运营管理
日志管理
计费结算
数据开放集市
关联计算
汇总计算
……
企业数据中心
➢ 数据开放集市：作为数据加工、 数据封装的数据存储集市，实现 了跨库的数据融合与个性化服务 加工。
✓ 应用开发工具：提供数据可视化、 高效能的开发工具集，帮助数据使 用者快速进行基于数据服务的应用 开发。
✓ 开放应用商店：作为数据开放产品 的统一发布平台，实现对数据产品 的分类管理、生命周期管理、交易 管理、定价管理和结算管理等。
数据开放平台针对不同业务需求，提供四种开放模式
对各种数据进行不同程度封装，通过各种服务方式向不同应用系统提供数据服务，满足企业内外部用户的多样性数据请求。建立 数据服务请求和数据之间标准化的访问接口，提升与内外部系统的互动和信息共享能力。
➢ 服务管理：执行对数据服务的注 册、数据安全等管理，并协助进 行服务查找、服务生命周期管理。
数据开放平台全流程示例
数据服务开发
数据应用开发
数据拥有者
数据服务提供 应用开发
应用上架
公共数据模型 开发
数据结果封装
数据服务订阅
应用开发工具包
数据应用开发
应用订购及使用
应用消费者
查看及试用数据 应用
订购数据应用
数据源
服务响应
响应
数据开放集市
数据同步映射
企业数据中心
数据服务开放平台业务场景：“重量级的平台，轻量级的应用”的建设模式
开发执行 租户管理
数据应用
应用开发
标准数据产品开发 个性数据服务开发
跟移动共享数据进 行关联
共性数据服务开发
应用开发
应用建设者 厂商开发 合作开发
官方开发
移动
资产开放管理
服务总线 数据开放视图
问题3：烟囱式的开发导致数据安 全缺乏统一管理
用户隐私数据分散在各个小系 统中，对小系统缺乏统一安全 管控，带来了严重的数据安全 隐患。
问题4：烟囱式的开发导致指标 不一致，数据质量无法保障
各小系统中数据处理的业务处理逻 辑不完全一致，导致各系统中相同 指标的数值差异，造成频繁的与省 公司进行指标口径确认。
重量级的平台轻量级的应用的建设模式应用开发官方开发合作开发厂商开发数据资源池跟移劢共享数据进行关联共性数据服务开发个性数据服务开发资产开放管理标准数据产品开发数据应用开发执行服务总线服务总线数据开放视图数据开放视图租户管理应用开发应用建设者开发者ide开发者ide服务开发上线审批应用案例数据共享层数据服务层数据服务总线功能架构数据服务总线服务查找服务查找服务路由服务路由服务鉴权服务鉴权数据服务管理服务管理服务监控服务安全提供者视图使用者视图使用者视图服务开发服务注册服务注册服务发布服务发布服务管理服务监控服务打包服务打包在线开发在线开发服务发布服务发布服务上下证书管理证书管理秘钥管理秘钥管理鉴权认证鉴权认证权限管理权限管理目标服务目标服务监控服务监控服务监控预警规则预警规则日志日志服务负载服务负载服务列表服务列表协议转换协议转换访问控制访问控制用户注册服务订购api说明在线问答在线问答可视化的服务开发管理降低开发难度用户可以通过界面配置数据源幵自定义数据封装sql诧句
HDFS
服
价
务
值
数 Hbase
开
能放
提 取
据 MPP
力
能
融
开
信 息
力 提
DB2
开
取
合
放放
中 Mysql
中
数
据
心 Tachyon
心
数 据
提 取
共
Redis
享
产品构建
服务构建
透明传输 不加工
统一的访问入口和出口
标准数据产品
运营商自有数据构建应用：如商 铺选址助手、营销指南针
融合数据产品
适
合作方数据同运营商数据融合，
数据应用
存在的问题： 1、省IT部门将沦为数据提供者，而非价值提供者， 核心能力外流 2、全省各平台各自进行数据加工，造成资源浪费。 3、用户明细数据，分散在各子系统平台中，存在严 重的安全隐患
地市应用
数据结果
应用数据库
应用开发
省份数据中心
明细数据 结果数据
数据中心
建议方案1：需求方提交业务需求，IT部门实现
缺点： 1、在测试库进行应用开发，需要审批才能上线， 无法立即进行数据准确性验证 2、需要IT部门建设“开发者IDE”工具
地市应用
数据应用 应用开发
应用开发
应用建设者
省份数据中心
数据开放平台
数据服务总线
数据开放集市
测试环境 数据服务总线
开发库
开发者 IDE
服务开发
数据中心
上线审批
• 背景介绍 • 数据开放平台 • 数据服务总线简介 • 数据对外应用门户简介 • 应用案例