大数据平台建设方案
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
大数据平台建设方案
项目需求与技术方案）
、项目背景
十三五”期间， 随着我国现代信息技术的蓬勃发展， 信息
化建设模式发生根本性转变,一场以云计算、大数据、物联网、 移动应用等技术为核心的“新IT”浪潮风起云涌，信息化应用 进入一个“新常态”。***（某政府部门）为积极应对“互联网+”
和大数据时代的机遇和挑战，适应全省经济社会发展与改革要 求，大数据平台应运而生。
■T
O
业务^（1:理请未r^—f叠询・预测）
魏提庠苛间请£
址理#*黒数*
业务逻辑绘
数据库层
宏观经济监测预测及可视化平台围绕网络搜索、社交媒 体、电子商务、终端定位和业务交易等五个方面全面整合互 联网相关数据资源，建设以“容量大、形式多、分类细、响 应快”为目标的宏观经济监测预测数据库，构建基于互联网 数据的宏观经济非统计指标监测预测应用平台。
济决策是核心内容。为了提高宏观调控决策水平，我们必须
从依靠传统统计数据向依靠互联网非统计数据转变，从监测
预测宏观经济总量向监测预测宏观经济先行指标转变，从中
长期监测预测向实时监测预测转变。
客户机
割机
st据堆护霁八机
阳洞服番器
预测子采统
监测子系统
倍息汇卑子系绫
扭表宜制子系st
、册计分析子系址
:信息库Leabharlann Baidu
批/劇出客户机
围绕重点产业活跃度、区域经济关联度、宏观经济走向 社会预期、社会消费热点、大宗商品供求及价格走势、全国 就业形势、外贸订单变化趋势等方面，构建大数据宏观经济 先行指标和现时预测指标库，研究能客观、准确反映我省宏 观经济运行状况的指标体系，编制“山东指数”。
在健全完善监测预警数据库的基础上，充分运用大数据
们所面临的也正是如此。
我们采用批量数据处理系统，借助于深度学习、知识计
算和可视化等大数据分析技术， 通过对数据的批量处理挖掘
其中的价值来支持决策和发现新的洞察。
3、业务整合方案。
在对社会发展相关业务子系统充分调研基础上，结合项
目需求，可对其进行整合或嵌入处理（本方案整合公共信用
信息服务平台、投资项目信息管理平台等） 。
3、在大数据分析监测基础上，为政府把握经济发展趋势、
预见经济发展潜在问题、辅助经济决策提供基础支撑。
三、建设原则
大数据平台以信息资源整合为重点，以大数据应用为核心， 坚持“统筹规划、分步实施，整合资源、协同共享，突出重点、 注重实效，深化应用、创新驱动”的原则，全面提升信息化建设 水平，促进全省经济持续健康发展。
大数据平台整合省社会经济发展资源，打造集数据采集、数 据处理、监测管理、预测预警、应急指挥、可视化平台于一体的 大数据平台， 以信息化提升数据化管理与服务能力， 及时准确掌 握社会经济发展情况，做到“用数据说话、用数据管理、用数据 决策、用数据创新”，牢牢把握社会经济发展主动权和话语权。
二、建设目标
大数据平台是顺应目前信息化技术水平发展、 服务政府职能 改革的架构平台。 它的主要目标是强化经济运行监测分析， 实现 企业信用社会化监督，建立规范化共建共享投资项目管理体系， 推进政务数据共享和业务协同，为决策提供及时、准确、可靠的 信息依据，提高政务工作的前瞻性和针对性， 加大宏观调控力度， 促进经济持续健康发展。
1、数据采集方案。
我们统一信息资源标准规范，建立多维度数据库，拓宽
数据来源，通过不同的方式汇聚数据，增强分析力度，提高
监测预警的准确性和时效性。
1、预留接口，支持其它系统各种数据的上传导入处理。
将现存有关经济运行业务系统中的历史数据和时效数据，
过上传数据文件至服务器、 分析提取有效数据导入服务器数
据库等方式采集起来，在本平台上复用。
2、支持外接数据的上传导入处理。 可以将企业单位或定
点监测机构的数据通过同样的方式采集起来， 在本平台上复
用。
3、支持非结构化数据， 即搜索引擎数据、 社交媒体数据、
地理空间数据和音视频数据等等
2、数据分析方案。
大数据之大并不是难点所在，其真正难以对付的挑战来
自于数据类型多样、要求及时响应和数据的不确定性，而我
1、制定统一信息资源管理规范，拓宽数据获取渠道，整合
业务信息系统数据、 企业单位数据和互联网抓取数据， 构建汇聚 式一体化数据库，为平台打下坚实稳固的数据基础。
2、梳理各相关系统数据资源的关联性，编制数据资源目录，
建立信息资源交换管理标准体系， 在业务可行性的基础上， 实现 数据信息共享， 推进信息公开， 建立跨部门跨领域经济形势分析 制度。
3、突出重点、注重实效。以用户为中心，以需求为导向，
以服务为目的， 突出重点，注重实效， 加强平台可用性和易用性。
4、深化应用、创新驱动。深入了解用户需求，密切跟踪信 息技术发展趋势， 不断深化应用、 拓展新技术在应用中的广度和 深度，促进跨界融合，丰富管理和服务手段。
四、建设方案
为了保证项目的顺利进行和建设目标的可行性， 我们采取如 下几种建设方案。
1、整合处理。将原有数据通过上传或导入方式进行采
集，原有功能模块整合到本平台中，合二为一，完美的将数
据汇聚起来。缺点是耗时较长。
2、嵌入处理。以单点登录的方式将原有系统链接嵌入到
本平台中，作为子系统单独存在。缺点在于数据共享难以实
现。
五、建设内容
1、宏观经济监测预测及可视化平台
政府信息化的最终目标是提高政府的决策水平，其中经
1、统筹规划、分步实施。结合我省经济发展与改革领域实 际需求，明确总体目标和阶段性任务，科学规划建设项目。先期 完成大数据平台的整体架构建设， 后期分步完成业务系统的整合 及相互间数据共享问题。
2、整合资源、协同共享。对信息资源统一梳理，建立经济 发展与改革信息标准资源库和数据规范，逐步消灭“信息孤 岛”，加快推进数据资源整合，建设共享共用的大数据中心，实 现业务协同。
技术和理念，加强数据挖掘力度，强化定量分析，建立宏观 经济分析系列模型，切实提高预测分析的前瞻性、准确性和 可靠性。
积极拓宽信息发布渠道，建立可视化平台，采用Unity3D引擎，三维界面高度仿真，所见即所得。平台针对多源易构 的海量数据，通过数据处理、存储管理、可视化交互分析等 技术，实现图形化数据查询、可视化关联分析、证据链和情 报线索发掘等功能。利用预测信号灯系统，形象地刻画出宏 观经济总体运行状况，分析经济波动原因，及时了解各地区 经济发展的不平衡性，准确判断和测定经济景气循环运行状 态，提咼宏观经济决策水平。
项目需求与技术方案）
、项目背景
十三五”期间， 随着我国现代信息技术的蓬勃发展， 信息
化建设模式发生根本性转变,一场以云计算、大数据、物联网、 移动应用等技术为核心的“新IT”浪潮风起云涌，信息化应用 进入一个“新常态”。***（某政府部门）为积极应对“互联网+”
和大数据时代的机遇和挑战，适应全省经济社会发展与改革要 求，大数据平台应运而生。
■T
O
业务^（1:理请未r^—f叠询・预测）
魏提庠苛间请£
址理#*黒数*
业务逻辑绘
数据库层
宏观经济监测预测及可视化平台围绕网络搜索、社交媒 体、电子商务、终端定位和业务交易等五个方面全面整合互 联网相关数据资源，建设以“容量大、形式多、分类细、响 应快”为目标的宏观经济监测预测数据库，构建基于互联网 数据的宏观经济非统计指标监测预测应用平台。
济决策是核心内容。为了提高宏观调控决策水平，我们必须
从依靠传统统计数据向依靠互联网非统计数据转变，从监测
预测宏观经济总量向监测预测宏观经济先行指标转变，从中
长期监测预测向实时监测预测转变。
客户机
割机
st据堆护霁八机
阳洞服番器
预测子采统
监测子系统
倍息汇卑子系绫
扭表宜制子系st
、册计分析子系址
:信息库Leabharlann Baidu
批/劇出客户机
围绕重点产业活跃度、区域经济关联度、宏观经济走向 社会预期、社会消费热点、大宗商品供求及价格走势、全国 就业形势、外贸订单变化趋势等方面，构建大数据宏观经济 先行指标和现时预测指标库，研究能客观、准确反映我省宏 观经济运行状况的指标体系，编制“山东指数”。
在健全完善监测预警数据库的基础上，充分运用大数据
们所面临的也正是如此。
我们采用批量数据处理系统，借助于深度学习、知识计
算和可视化等大数据分析技术， 通过对数据的批量处理挖掘
其中的价值来支持决策和发现新的洞察。
3、业务整合方案。
在对社会发展相关业务子系统充分调研基础上，结合项
目需求，可对其进行整合或嵌入处理（本方案整合公共信用
信息服务平台、投资项目信息管理平台等） 。
3、在大数据分析监测基础上，为政府把握经济发展趋势、
预见经济发展潜在问题、辅助经济决策提供基础支撑。
三、建设原则
大数据平台以信息资源整合为重点，以大数据应用为核心， 坚持“统筹规划、分步实施，整合资源、协同共享，突出重点、 注重实效，深化应用、创新驱动”的原则，全面提升信息化建设 水平，促进全省经济持续健康发展。
大数据平台整合省社会经济发展资源，打造集数据采集、数 据处理、监测管理、预测预警、应急指挥、可视化平台于一体的 大数据平台， 以信息化提升数据化管理与服务能力， 及时准确掌 握社会经济发展情况，做到“用数据说话、用数据管理、用数据 决策、用数据创新”，牢牢把握社会经济发展主动权和话语权。
二、建设目标
大数据平台是顺应目前信息化技术水平发展、 服务政府职能 改革的架构平台。 它的主要目标是强化经济运行监测分析， 实现 企业信用社会化监督，建立规范化共建共享投资项目管理体系， 推进政务数据共享和业务协同，为决策提供及时、准确、可靠的 信息依据，提高政务工作的前瞻性和针对性， 加大宏观调控力度， 促进经济持续健康发展。
1、数据采集方案。
我们统一信息资源标准规范，建立多维度数据库，拓宽
数据来源，通过不同的方式汇聚数据，增强分析力度，提高
监测预警的准确性和时效性。
1、预留接口，支持其它系统各种数据的上传导入处理。
将现存有关经济运行业务系统中的历史数据和时效数据，
过上传数据文件至服务器、 分析提取有效数据导入服务器数
据库等方式采集起来，在本平台上复用。
2、支持外接数据的上传导入处理。 可以将企业单位或定
点监测机构的数据通过同样的方式采集起来， 在本平台上复
用。
3、支持非结构化数据， 即搜索引擎数据、 社交媒体数据、
地理空间数据和音视频数据等等
2、数据分析方案。
大数据之大并不是难点所在，其真正难以对付的挑战来
自于数据类型多样、要求及时响应和数据的不确定性，而我
1、制定统一信息资源管理规范，拓宽数据获取渠道，整合
业务信息系统数据、 企业单位数据和互联网抓取数据， 构建汇聚 式一体化数据库，为平台打下坚实稳固的数据基础。
2、梳理各相关系统数据资源的关联性，编制数据资源目录，
建立信息资源交换管理标准体系， 在业务可行性的基础上， 实现 数据信息共享， 推进信息公开， 建立跨部门跨领域经济形势分析 制度。
3、突出重点、注重实效。以用户为中心，以需求为导向，
以服务为目的， 突出重点，注重实效， 加强平台可用性和易用性。
4、深化应用、创新驱动。深入了解用户需求，密切跟踪信 息技术发展趋势， 不断深化应用、 拓展新技术在应用中的广度和 深度，促进跨界融合，丰富管理和服务手段。
四、建设方案
为了保证项目的顺利进行和建设目标的可行性， 我们采取如 下几种建设方案。
1、整合处理。将原有数据通过上传或导入方式进行采
集，原有功能模块整合到本平台中，合二为一，完美的将数
据汇聚起来。缺点是耗时较长。
2、嵌入处理。以单点登录的方式将原有系统链接嵌入到
本平台中，作为子系统单独存在。缺点在于数据共享难以实
现。
五、建设内容
1、宏观经济监测预测及可视化平台
政府信息化的最终目标是提高政府的决策水平，其中经
1、统筹规划、分步实施。结合我省经济发展与改革领域实 际需求，明确总体目标和阶段性任务，科学规划建设项目。先期 完成大数据平台的整体架构建设， 后期分步完成业务系统的整合 及相互间数据共享问题。
2、整合资源、协同共享。对信息资源统一梳理，建立经济 发展与改革信息标准资源库和数据规范，逐步消灭“信息孤 岛”，加快推进数据资源整合，建设共享共用的大数据中心，实 现业务协同。
技术和理念，加强数据挖掘力度，强化定量分析，建立宏观 经济分析系列模型，切实提高预测分析的前瞻性、准确性和 可靠性。
积极拓宽信息发布渠道，建立可视化平台，采用Unity3D引擎，三维界面高度仿真，所见即所得。平台针对多源易构 的海量数据，通过数据处理、存储管理、可视化交互分析等 技术，实现图形化数据查询、可视化关联分析、证据链和情 报线索发掘等功能。利用预测信号灯系统，形象地刻画出宏 观经济总体运行状况，分析经济波动原因，及时了解各地区 经济发展的不平衡性，准确判断和测定经济景气循环运行状 态，提咼宏观经济决策水平。