财政大数据决策分析系统建设方案
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2015年9月，国务院发布《促进大数据发展行动纲要》，全面推进我 国大数据发展和应用，加快建设数据强国
从2012年起，广东省财政开展大数据发展和应用工作
3
|
系统建设背景
大数据三要素有机结合:
大数据本身
数据处理 分析
挖掘技术
创新的 大数据思维
从数据到信息、从信息到知识、从已知到未知、从过去到未来
清洗、转换、加载
数据 仓库
指标
项目 项目 收支 指标 其 编号 名称 科目 金额 它
预算 指标
执行
日 编 项目 期 号 名称
收支 科目
执行 金额
支 出
执行 决算
切
广州市
1月 片 2月
3月
民生类
决算
项目 项目 编号 名称
收支 科目
决算 金额
日项项收预指执 期目目支算标行
编名科金金金 号称目额额额
科技类 钻 取
缺点: 1、技术架构相对复杂；
存储架构设计（PS+ODS+DW）
项目各阶段信息都 分散在不同的业务 子系统中。
简单集成生产明细数据， 并构建各项目数据关系
按照多维模型进行存储， 完成多角度多口径的数 据展现和层层挖掘钻取。
预算
项目 项目 编号 名称
收简支单集预成算 、过其 滤、加载
科目 金额 它
ODS
大数据分析价值链
碎片化的 业务数据
集中的业 务数据
面向主题的 业务数据
具有新价值 的业务数据
预算执行系统
资产管理系统 部门预算系统
其他系统
8
|
数据仓库存储
预算收支主题
ODS
数据仓库
经济运行主题
历史归档库
人员主题
固定报表 仪表盘 查询等其他资源
信息门户 OA CRM
系统总体架构
数据源
数据 采集
数据存储
15
|
系统功能特点——信息超市
16
|
系统功能特点——预算收支总体情 况
17
|
系统功能特点—执行进度—全省收支执行进度
18
|
系统功能特点—预算收支—支出排名
19
|
系统功能特点——五省市经济指标 对比
20
|
系统功能特点——五省市财政收入 对比
21
|
系统功能特点——信息主动推送
22
|
信息超市（自助分析平台）
23
|
信息超市（自助分析平台）
24
|
汇报提纲
系统建设目标Hale Waihona Puke Baidu 系统总体架构 系统功能特点 下一步的规划
应用海量存储技术
技术点
• 分布式 • 高吞吐 • 高传输
数据存储 系统
• Hadoop HDFS（基础） • Hive(仓库) • Hbase（数据库）
引进大数据处理方法
交互式分析引擎 数据挖掘
集
通
审
道
核
县级系统
财政一体化系统 应用支撑平台(省级)
预算编制 预算执行 应用支撑平台(市级)
其他 业务 系统
预算编制 预算执行 应用支撑平台(县级)
其他 业务 系统
电
界 面
接
子 文
录 入
口
件 导
入
存储架构设计
模式一 PS+DW
生产 数据
数据 仓库
模式二 PS+ODS+DW
生产 数据
ODS
数据 仓库
从数据到信息、从信息到知识、从已知到未知、从过去到未来
4
|
系统建设目标
构建“一个数据中心、二大服务平台”，不断 提高财政管理水平，使财政工作更有效率、更 加开放、更加透明。
绩效政府
1、一个数据中心： 构建财政收入数据、支出数据、宏观经济数据 等八大类数据的内容详实的数据中心。
2、二大服务平台 （1）决策分析平台：重点面向财政各级领导 及业务人员，运用数据仓库及数据挖掘技术， 对海量数据进行分析，从数据中找规律，以各 种报表图表方式，快速呈现分析结果，为领导 科学决策和政策调整提供有力支持。 （2）信息公布和民众议政平台：重点面向社 会公众，通过构建互联网系统，实现外网数据 获取、信息公开及民意信息的反馈。
信息展现
多维报表 固定报表 动态查询 数据挖掘
数据采集架构
1、通过“程序”实现下 级财政数据的采集。
数据中心 2、支持录入界面定制、
在线任务下达，界面录 入。
3、通用数据接口 （webservice等）。
4、支持文件导入 （txt、excel、xml 等）
数据审核
省级系统
转
移
支
审
付
核
纵
向 采 市级系统
优点: 1、架构相对简单，历史的明细数据、轻度汇总数据、 中度汇总数据、深度汇总数据都存储在一个数据仓库中; 2、短时间内数据的查询分析效率相对比较高。
缺点: 1、长时间、大数据量会严重影响数据的查询分析性能； 2、可扩展性比较差。
优点: 1、增加ODS层存储，它保存及更新近段时间内的明细数据， 满足业务人员日常的即时查询，很好的分担生产系统压力。 2、作为生产系统的一个备份，增强了财政业务系统的整体 安全性。
阳光财政
改进 管理
服务财政
促进 创新
系统建设目标
大数据三要素有机结合:
大数据本身
数据处理 分析
挖掘技术
创新的 大数据思维
从数据到信息、从信息到知识、从已知到未知、从过去到未来
从数据到信息、从信息到知识、从已知到未知、从过去到未来
6
|
汇报提纲
系统建设目标 系统总体架构 系统功能特点 下一步的规划
财政大数据决策分析系统
汇报提纲
系统建设目标 系统总体架构 系统功能特点 下一步的规划
系统建设背景
大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的 数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进 行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能 力的新一代信息技术和服务业态
广州市 1月
2月
3月
教育
医疗
在线数据 （生产数据）
近线数据 （初次预处理）
远线数据 （多次处理）
系统部署架构
采用“内网+外网” 部署方式
汇报提纲
系统建设目标 系统总体架构 系统功能特点 下一步的规划
系统功能特点——分析主题
原始数据查询 报表分析 经济运行地图 宏观经济 预算收支 执行进度 五省市对比 税收专题分析 微观分析
Inceptor
including Apache Spark
Manager
NoSQL数据库 搜索、图计算 Hyperbase
流处理 引擎
Stream
资源管理 YARN 2.5 (内置Transwarp Extension)
数据建模
预算数据 执行数据 转移支付
决算 外部系统
界面 录入 抽取
转换 ODS
接口 清洗 加载
文件 导入
统计年鉴 收支月报
数据仓库 DW
数据集市 项目 收入 支出 …..
时间序列 预测模型
即
时
查
询
关键指标 KPI
统 计 报 表
动态评价体系
元数据管理、数据标准与模型管理
纸质文件 。。。
数据质量管理、系统管理、系统监控与备份管理
从2012年起，广东省财政开展大数据发展和应用工作
3
|
系统建设背景
大数据三要素有机结合:
大数据本身
数据处理 分析
挖掘技术
创新的 大数据思维
从数据到信息、从信息到知识、从已知到未知、从过去到未来
清洗、转换、加载
数据 仓库
指标
项目 项目 收支 指标 其 编号 名称 科目 金额 它
预算 指标
执行
日 编 项目 期 号 名称
收支 科目
执行 金额
支 出
执行 决算
切
广州市
1月 片 2月
3月
民生类
决算
项目 项目 编号 名称
收支 科目
决算 金额
日项项收预指执 期目目支算标行
编名科金金金 号称目额额额
科技类 钻 取
缺点: 1、技术架构相对复杂；
存储架构设计（PS+ODS+DW）
项目各阶段信息都 分散在不同的业务 子系统中。
简单集成生产明细数据， 并构建各项目数据关系
按照多维模型进行存储， 完成多角度多口径的数 据展现和层层挖掘钻取。
预算
项目 项目 编号 名称
收简支单集预成算 、过其 滤、加载
科目 金额 它
ODS
大数据分析价值链
碎片化的 业务数据
集中的业 务数据
面向主题的 业务数据
具有新价值 的业务数据
预算执行系统
资产管理系统 部门预算系统
其他系统
8
|
数据仓库存储
预算收支主题
ODS
数据仓库
经济运行主题
历史归档库
人员主题
固定报表 仪表盘 查询等其他资源
信息门户 OA CRM
系统总体架构
数据源
数据 采集
数据存储
15
|
系统功能特点——信息超市
16
|
系统功能特点——预算收支总体情 况
17
|
系统功能特点—执行进度—全省收支执行进度
18
|
系统功能特点—预算收支—支出排名
19
|
系统功能特点——五省市经济指标 对比
20
|
系统功能特点——五省市财政收入 对比
21
|
系统功能特点——信息主动推送
22
|
信息超市（自助分析平台）
23
|
信息超市（自助分析平台）
24
|
汇报提纲
系统建设目标Hale Waihona Puke Baidu 系统总体架构 系统功能特点 下一步的规划
应用海量存储技术
技术点
• 分布式 • 高吞吐 • 高传输
数据存储 系统
• Hadoop HDFS（基础） • Hive(仓库) • Hbase（数据库）
引进大数据处理方法
交互式分析引擎 数据挖掘
集
通
审
道
核
县级系统
财政一体化系统 应用支撑平台(省级)
预算编制 预算执行 应用支撑平台(市级)
其他 业务 系统
预算编制 预算执行 应用支撑平台(县级)
其他 业务 系统
电
界 面
接
子 文
录 入
口
件 导
入
存储架构设计
模式一 PS+DW
生产 数据
数据 仓库
模式二 PS+ODS+DW
生产 数据
ODS
数据 仓库
从数据到信息、从信息到知识、从已知到未知、从过去到未来
4
|
系统建设目标
构建“一个数据中心、二大服务平台”，不断 提高财政管理水平，使财政工作更有效率、更 加开放、更加透明。
绩效政府
1、一个数据中心： 构建财政收入数据、支出数据、宏观经济数据 等八大类数据的内容详实的数据中心。
2、二大服务平台 （1）决策分析平台：重点面向财政各级领导 及业务人员，运用数据仓库及数据挖掘技术， 对海量数据进行分析，从数据中找规律，以各 种报表图表方式，快速呈现分析结果，为领导 科学决策和政策调整提供有力支持。 （2）信息公布和民众议政平台：重点面向社 会公众，通过构建互联网系统，实现外网数据 获取、信息公开及民意信息的反馈。
信息展现
多维报表 固定报表 动态查询 数据挖掘
数据采集架构
1、通过“程序”实现下 级财政数据的采集。
数据中心 2、支持录入界面定制、
在线任务下达，界面录 入。
3、通用数据接口 （webservice等）。
4、支持文件导入 （txt、excel、xml 等）
数据审核
省级系统
转
移
支
审
付
核
纵
向 采 市级系统
优点: 1、架构相对简单，历史的明细数据、轻度汇总数据、 中度汇总数据、深度汇总数据都存储在一个数据仓库中; 2、短时间内数据的查询分析效率相对比较高。
缺点: 1、长时间、大数据量会严重影响数据的查询分析性能； 2、可扩展性比较差。
优点: 1、增加ODS层存储，它保存及更新近段时间内的明细数据， 满足业务人员日常的即时查询，很好的分担生产系统压力。 2、作为生产系统的一个备份，增强了财政业务系统的整体 安全性。
阳光财政
改进 管理
服务财政
促进 创新
系统建设目标
大数据三要素有机结合:
大数据本身
数据处理 分析
挖掘技术
创新的 大数据思维
从数据到信息、从信息到知识、从已知到未知、从过去到未来
从数据到信息、从信息到知识、从已知到未知、从过去到未来
6
|
汇报提纲
系统建设目标 系统总体架构 系统功能特点 下一步的规划
财政大数据决策分析系统
汇报提纲
系统建设目标 系统总体架构 系统功能特点 下一步的规划
系统建设背景
大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的 数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进 行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能 力的新一代信息技术和服务业态
广州市 1月
2月
3月
教育
医疗
在线数据 （生产数据）
近线数据 （初次预处理）
远线数据 （多次处理）
系统部署架构
采用“内网+外网” 部署方式
汇报提纲
系统建设目标 系统总体架构 系统功能特点 下一步的规划
系统功能特点——分析主题
原始数据查询 报表分析 经济运行地图 宏观经济 预算收支 执行进度 五省市对比 税收专题分析 微观分析
Inceptor
including Apache Spark
Manager
NoSQL数据库 搜索、图计算 Hyperbase
流处理 引擎
Stream
资源管理 YARN 2.5 (内置Transwarp Extension)
数据建模
预算数据 执行数据 转移支付
决算 外部系统
界面 录入 抽取
转换 ODS
接口 清洗 加载
文件 导入
统计年鉴 收支月报
数据仓库 DW
数据集市 项目 收入 支出 …..
时间序列 预测模型
即
时
查
询
关键指标 KPI
统 计 报 表
动态评价体系
元数据管理、数据标准与模型管理
纸质文件 。。。
数据质量管理、系统管理、系统监控与备份管理