大数据解决方案

SaaS（软件）
统一访问门户
围绕三个维度：透明管控、
应用 生产类应用
透明管控
科学运营
价值创造
科学运营、价值创造 强调开放灵活：基于开放
PaaS（平台）
业务组件、应用开发平台、
数据模型 公共应用模型等构建，灵
统智总 部 目 标 集 中 生 产 系慧小区中即即即业云数间服服服务服据件务务务务平EBS组台生件O…整产DB集类体PSM1/数解M据决D指 体M方标 系案智组慧统 一 视 图件…小集2区云C分U服B析ED务类W平组数报 工…件台据表 具集整3体联 析解机 工分 具决近归方S线档D挖 工案区K掘 具智开…发慧E开 工T平小L发 具台区元 数 据 云生 管服元 管数 质 管 数 安 管命 控标务数 控据 量 控 据 全 控周准据平期管台控 整体活 部 实 与 安 周 推 采 点解支署标全期集存施行决撑和准、、储五五方个推、元一、项个案性广数数点一管一化据据加点控点应质、工分：：用量数转析数一开、据换挖据点发数生、掘模源、据命一、型头
2019
大数据解决方案
智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案
IBM 大数据平台解决方案
智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案
1. 项目背景理解
2
当前业务面临的挑战
数据问题
企业内数据定义缺失；数据项缺失 ；数据属性不完整； 企业外部数据无暇顾及；
1、由被动的IT支撑向主动的以数据为核心的IT服务转型
以大数据为核心组织IT服务能力 持续完善基础支撑能力 拥抱互联网 智慧小区云服务平架台构整体体解系决全方面案云智化慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案
2、服务管控模式逐步完善
夯实基础管理 管控思路由简单支撑向精细服务转型 全面优化信息化服务流程实现分级服务
结构化决策： 库存控制 半结构化决策： 套餐设计 非结构化决策： 产品外观设计
数据挖掘应用
ODS
ODS
12
IBM 大数据平台解决方案
智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案
3. 大数据平台定位分析
13
前期初步确立的大数据平台目标技术架构
目标架构： 拥抱互联网、运用云计算技术，建立开放的基于SOA架构的中国企业集中化云数据服务支撑平台，面向全国各级经 营主体和总部集中平台提供大数据、分布式、实时智能数据服务支撑与客户响应，并注重公共数据、公共能力的一点沉淀与全网 共享，实现基于特定对象、特定需求的个性化自主定制、灵活组件组装，高效实现一级系统多维应用多级支撑
4
大数据思考
根据Gartner的定义，大数据的特征具体涵盖了3V的内容： 1. 数据量庞大（Volume）：从PB扩展到ZB；IT系统、互联网、物联网
等每天都在产生大量新生数据，过去的两年间产生的数据占到了所 有数据的90%
2. 数据变化快 (Velocity)：数据变化与处理的频度由天加速到秒/毫秒； 订单、支付、欺诈、微博、监控视频、传感器、信令每时每刻都在 不停的产生数据
2. 大数据平台需求理解
7
大数据平台的关键需求
1. 结构化了企业架构中四大架构的关键要素，以及要素间的承接关系，形成了一套规范、清晰的定义，从而 为大数据平台的方案设计建立了更明确的指导依据和验证方法。
柔性架构的大数据平台
1.企业架构方法论和云计算技术让建立柔性架构成为可能，基于企业 架构元模型，建立柔性的架构需要实现业务、应用、数据、技术四个 架构层面的解耦。
2. 省公司经分系统也需要支撑来自业务部门和IT部门的大量支撑需求，同时要完成集团下发的IT规范要求
3. 未来省公司数据集中后，大数据平台将必须承担省分公司和总部的全部数据应用服务需求
省分公司当前数据应用需求
集团总部当前数据应用需求 集团领导
省公司领导
IT 部门
业务部门
智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案
管理类活动
流程
撑实现。 b. 应用—数据：应用和数据共同承接了业务，数据实体也承
执行类活动
接了应用交互，因此二者解耦的核心是数据实体。这可以
分析类活动
通过建立稳定的、弹性的企业企业级大数据模型、数据整 合与存储区域，保证未来应用对数据操作的可扩展，以及
角色
屏蔽了应用对底层数据直接访问的数据服务加以实现。
据处理的性能要求
11
大数据平台关键能力需求——更直接的决策支持
当前BI系统
未来大数据平台
数字仪表板 固定报表应用
1. 模型的建立基于预先假设 2. 模型所需数据事先确定已知 3. 模型是静态的 模型的数学形式很完善，但
往往不能符合实际业务情况
输入 参数
数据挖掘 模型
最优解 绩效度量
随机输入Leabharlann Baidu量
输 终端 入 补充量Q 参 数
c. 应 现该用数层/数据面据分的—类解技耦术，：需系要统解组决件系承统接组了件应对用应和用数的据依，赖因，此可要通实 过建立应用开发平台、数据交换平台和数据管控平台来实 现。同时基于云计算的弹性扩展和虚拟化技术实现系统组 件与基础设施的解耦。
8
大数据平台能力需求分析——决策类业务活动
1. 决策就是为达到某一目标而在若干个可行方案经过分析、比较、判断，从中选择并赋予实施的过程据诺 宾斯泰（Robenstein）将决策过程定义为五个步骤
仿真模型
仿真模型
绩 效 变
目函优模标数化型决策计
量
划
约束条件
1.
智慧小区云服务平台整体解决方案智慧小区云服务平台整鸿体解决方案智慧小区云服务平台整体解决方案
灵活查询应用
沟
2.
知识库(事实 性知识)
知识库(事实知识、
DM
DM
DM
规则知识、 案例知识)
3.
OLAP应用
DWA DWD
DWA DWD
非结构化数据
IaaS（资源）
一点服务提供
统一 IaaS服务接口
小型机 X86服务器 高端存储 中低端存储
网络资源
14
基于技术架构目标，加入大数据平台建设的驱动力
分析类系统应该建 立多少数据库，多
少种数据库
保证数据从省分及 时向集团提供准确
唯一数据
现存问题
……
在一个框架下有效
数据应用
支持5级体系的个 性化开发和共性开
发
流数据处理架构
数据整合
智慧小区云服务平和台体整系体解决方案智慧小区数云服务平台整体解决方数案智慧小区云服务提平供台多整种体形解式决数方据案
据
据
服务提供方式，并
服
管
有效执行
内容数据处理架
务 数据存储 控
构和体系
提供多厂商、多系
数据交换采集
统的统一开发平台
新兴技术
IaaS 、PaaS， SaaS，DaaS等
科学运营
价值创造
客户
透明管控
智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服企务业平台：整体解决方案
客户：
开发便捷
精准服务
分析及时
及时响应
决策支持
智能应用
数据准确
…
大数据平台 6
IBM 大数据平台解决方案
智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案
2. 大数据平台的核心是数据，从数据生命周期看，大数据的生成、获取、整合、服务、应用、归档各个步 骤分别有着不同的目标，并面临不同的问题
3. 从决策类活动过程和数据生命周期两个维度，对大数据平台的决策类活动的支撑能力需求进行分析
识别问题或 对决策的要求
分析和阐明方案
归档 应用
归档 应用
智慧小区云服务平台整体解决方案智慧小区服云务 服务平台整体解决方案智慧服务小区云服务平台整体解决方案
网络运 营
数据时效性差，使用者无法及时获 得所需信息；
数据使用不方便，方法繁琐；手工 报表多；
风险管
理
决策与
制
报告
约
阻碍
数据质量差，数据不完整，数据不 一致；
数据问题长期存在将导致： 对自身状况摸不透 对经营环境看不清 对市场先机抓不住 对未来竞争赢不了
3
IT如何推动公司运营变革
保险行业经过多年的发展，整个行业的变革越来越快，市场竞争环境也日益激烈。保险公 司想要在残酷的竞争中占得先机，就必须考虑产业的融合，并在价值链中占得有利的位置。
a. 业务—应用/数据：业务活动在业务架构和应用架构(大数据
市产客 客
数据应用 平台)间具有承上启下的作用，可从业务类型和业务活动类
……
场品户 户
型两个维度划分，前者体现业务差异，后者更多体现数据
营开管 洞
平台能力要求，且可以稳定地分为决策类、管理类、执行
智慧小区云服务平销台发 整决体策理 解类活决察 动方案智慧小区云服务平台整体类解和决分方析案类智四慧种小，区因云此服业务务平与台IT的整解体耦解可决从方四案类业务活动支
数据在多个系统中重复采集、重复 存储；
•没有准确数据支撑 •难以进行深度分析 •决策缺乏可靠依据
对运营商价值 链的影响
产Te品营xt运
营Te销xt支 持
智慧小区云服务平台系 合整统 困体数 难解据 ；决无 系方法 统案关 林智联立慧、 ，小共 数区享 出云， 多服数 门务据 ；平整台整体解决方案智慧小业区云务持服支务平台精整管体细解理化决方案
获取 获取
产生
获取
整合
服务
应用
归档
数据准备
模型部署 归档
应用
服务
整合
获取 整合
服务
评估数据能够嵌入到模型评估中， 通过外部调用发现已经退化的模型
应用
获取 整合
服务
应用
归档 数据建模
归档
模型评估 10
大数据平台关键能力需求——应用开发与运行
1. 当前总部BI系统的数据应用需求包括业务部门的计划性业务支撑需求和大量的临时性支撑需求，以及IT 部门自身规划中的计划性支撑需求；
3. 数据多样（Variety)：数据种类繁多：数据库表，格式文本，自然 语言文本，电子表格，声音，图片，视频……
1. 企业内部（管理层、执行
智慧小区云服务平1. 台生整产体系解统决数据方案智慧小区云服务平台整体解决方案智慧小区云服务平台整层体、解一线决营方销案群体等）
2. 网元等设备数据
2. 企业外部（客户，合作伙
桌面云管理技术
……
云管理技术
15
大数据平台应具备的技术支撑能力
大数据平台将借助云计算的快速可扩展性、标准化服务、自助服务等特征，强化大数据的获取、处理、 整合、分析、服务等技术支撑能力，促进敏捷化、个性化的数据应用开发，最终助力IT对业务转型的推动。
计划
业务部门
IT部门
临时 支撑
计划 业务 支撑
计划IT 支撑需
集团下发 规范支撑
需求
计划IT 支撑需求
业务 支撑 需求
临时 支撑 需求
总部BI系统
需求
需求
求
• IT人力紧张
省公司经分系统
• IT系统扩容难
• IT投入效益难保障
大数据平台将面临 两大挑战
1. 平台开发方面：如何支撑急速增长的数据应用需求 2. 平台执行方面：如何保障海量大并发的数据访问需求和海量数
整合
整合 大数据的存储和管理
获取
获取
海量数据的快速分析
产生
海量数据的快速获取
获取
整合
获取
服务
整合
应用
服务
整合
与生产系统在功能和数 据分工上清晰合理
归档
追踪和反馈 决策结果
应用
快速的数据服务执行
归档
服务
简便的数据服务使用
应用
与生产系统的及时交互 决策执行业务活动中的数据支撑
做出选择
传达归和档执行决策 9
中提取价值（value）
数据加工深入
1. 信息转换 2. 知识沉淀 3. 价值创造 4. ……
1. 结构化、非结构化 数据类型多 2. 静态、动态 3. ……
数据管理复杂
1. 在线、近线、离线 2. 高性能、低成本、
高质量、可追溯 3. ……
5
大数据应用价值可以从公司侧和客户侧体现
围绕大数据应用，促使公司实现科学运营、价值创造以及透明管控，一方面能使 得公司侧感知到大数据带来的管理、决策、运营效率和质量的提升；另一方面， 能够使客户感知到大数据带来业务开发的智能、服务及时以及与需求匹配的精准。
3. 平台自生数据 数据范围广
数据服务对象全面
伴，供应链、政府部门等）
4. 外部互联网数据
3. 内部生产系统
5. ……
4. ……
数据成为公司核心资产和核心竞争力，将
数据规模大
10PB级+ 指数级快速增长
被设计用于在成本可承受 （economically）的条件下，通过快速 （velocity）采集、发现和分析，从大量 化（volumes）、多类别（variety）数据
大数据平台能力需求分析——分析类业务活动
1. 分析类活动是通过对数据的深入分析，力求取得更深刻业务洞察的过程，参考DM-CRISP数据挖掘方法 论，包括业务理解、数据理解、数据准备、数据建模、模型评估和模型部署六个步骤
业务理解
数据理解
归档
归档
应用
应用 服务
服务
智慧小区云服务平台整体解决方案智慧小区云服整务合平台整体解决整方合案智慧小区云服务平台整体解决方案