大数据平台建设方案(20201129021555)
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
大数据平台建设方案
(项目需求与技术方案)
一、项目背景
“十三五”期间,随着我国现代信息技术得蓬勃发展, 信息化建设模式发生根本性转变, 一场以云计算、大数据、物联网、移动应用等技术为核心得“新I T”浪潮风起云涌,信息化应用进入一个“新常态”。*** (某政府部门)为积极应对“互联网+”与大数据时代得机遇与挑战, 适应全省经济社会发展与改革要求, 大数据平台应运而生。
大数据平台整合省社会经济发展资源,打造集数据采集、数据处
理、监测管理、预测预警、应急指挥、可视化平台于一体得大数据平台, 以信息化提升数据化管理与服务能力, 及时准确掌握社会经济发展情况, 做到“用数据说话、用数据管理、用数据决策、用数据创新” , 牢牢把握社会经济发展主动权与话语权。
二、建设目标
大数据平台就是顺应目前信息化技术水平发展、服务政府职能改革得架构平台。它得主要目标就是强化经济运行监测分析,实现企业信用社会化监督, 建立规范化共建共享投资项目管理体系,推进政务数据共享与业务协同,为决策提供及时、准确、可靠得信息依据, 提高政务工作得前瞻性与针对性, 加大宏观调控力度, 促进经济持续健康发展
1、制定统一信息资源管理规范,拓宽数据获取渠道, 整合业务信息系统数据、企业单位数据与互联网抓取数据, 构建汇聚式一体化数据库,为平台打下坚实稳固得数据基础。
2、梳理各相关系统数据资源得关联性,编制数据资源目录, 建立信息资源交换管理标准体系, 在业务可行性得基础上, 实现数据信息共享,推进信息公开,建立跨部门跨领域经济形势分析制度。
3、在大数据分析监测基础上,为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决策提供基础支撑。
三、建设原则
大数据平台以信息资源整合为重点, 以大数据应用为核心, 坚持“统筹规划、分步实施, 整合资源、协同共享, 突出重点、注重实效, 深化应用、创新驱动”得原则,全面提升信息化建设水平, 促进全省经济持续健康发展。
1、统筹规划、分步实施。结合我省经济发展与改革领域实际需求,明确总体目标与阶段性任务, 科学规划建设项目。先期完成大数据平台得整体架构建设, 后期分步完成业务系统得整合及相互间数据共享问题。
2、整合资源、协同共享。对信息资源统一梳理, 建立经济发展与改革信息标准资源库与数据规范,逐步消灭“信息孤岛” ,加快推进数据资源整合,建设共享共用得大数据中心, 实现业务协同。
3、突出重点、注重实效。以用户为中心,以需求为导向, 以服务为目得,突出重点, 注重实效,加强平台可用性与易用性。
4、深化应用、创新驱动。深入了解用户需求, 密切跟踪信息技术发展趋势, 不断深化应用、拓展新技术在应用中得广度与深度, 促进跨界融合, 丰富管理与服务手段。
四、建设方案
为了保证项目得顺利进行与建设目标得可行性, 我们采取如下几种建设方案。
1、数据采集方案。
我们统一信息资源标准规范,建立多维度数据库, 拓宽数据来源,通过不同得方式汇聚数据,增强分析力度,提高监测预警得准确性与时效性。
1、预留接口, 支持其它系统各种数据得上传导入处理。将现存
有关经济运行业务系统中得历史数据与时效数据, 通过上传数据文件至服务器、分析提取有效数据导入服务器数据库等方式采集起来, 在本平台上复用。
2、支持外接数据得上传导入处理。可以将企业单位或定点监测机构得
数据通过同样得方式采集起来, 在本平台上复用。
3、支持非结构化数据,即搜索引擎数据、社交媒体数据、地理
空间数据与音视频数据等等。
2、数据分析方案。
大数据之大并不就是难点所在, 其真正难以对付得挑战来自于数据类型多样、要求及时响应与数据得不确定性,而我们所面临得也正就是如此。
我们采用批量数据处理系统, 借助于深度学习、知识计算与可视化等大数据分析技术, 通过对数据得批量处理挖掘其中得价值来支持决策与发现新得洞察。
3、业务整合方案。
在对社会发展相关业务子系统充分调研基础上, 结合项目需求,可对其进行整合或嵌入处理(本方案整合公共信用信息服务平台、投资项目信息管理平台等)。
1、整合处理。将原有数据通过上传或导入方式进行采集,原有功
能模块整合到本平台中,合二为一,完美得将数据汇聚起来。缺
点就是耗时较长。
2、嵌入处理。以单点登录得方式将原有系统链接嵌入到本平台
中,作为子系统单独存在。缺点在于数据共享难以实现。
五、建设内容
1、宏观经济监测预测及可视化平台
政府信息化得最终目标就是提高政府得决策水平, 其中经济决策就是核心内容。为了提高宏观调控决策水平,我们必须从依靠传统统计数据向依靠互联网非统计数据转变, 从监测预测宏观经济总量向监测预测宏观经济先行指标转变, 从中长期监测预测向实时监测预测转变。
宏观经济监测预测及可视化平台围绕网络搜索、社交媒体、 电子商务、终端定位与业务交易等五个方面全面整合互联网相关 数据资源,建设以“容量大、形式多、分类细、响应快”为目标得 宏观经济监测预测数据库,构建基于互联网数据得宏观经济非统 计指标监测预测应用平台。
围绕重点产业活跃度、区域经济关联度、宏观经济走向社会 预期、社会消费热点、大宗商品供求及价格走势、全国就业形势、 外贸订单变化趋势等方面,构建大数据宏观经济先行指标与现时 预测指标库,研究能客观、准确反映我省宏观经济运行状况得指标 体系,编制“山东指数”。
在健全完善监测预警数据库得基础上,充分运用大数据技术 与理念,加强数据挖掘力度,强化定量分析,建立宏观经济分析系 列模型,切实提高预测分析得前瞻性、准确性与可靠性。
积极拓宽信息发布渠道,建立可视化平台,采用Uni t y 3D
引擎,三维界
业务*t 理请汞
&JE5
库层