厅局级大数据部门间共享业务

大 数 据 推 荐 引 擎
数据加载 数据聚类 算法配置 数据推送
大数据建设过程
BIGDATA BUILDING
28
29
大数据建设过程——标准建设
标准范围包 含哪些？
目前的状况 如何？
标准应该是 什么样？
这些内容都 在哪儿？
标准应该 如何执行？
如何维护 管理标准？
数据标准
数据质 量
数据管 控
数据平 台建设
包含非结构化数据采集与数 据交换。结合语义分析引擎 可实现对数据的语义处理， 实体抽取等操作。并能够实 现数据的治理
将采集后的数据实现数据加工、 处理、服务，并建立数据间联 系。提供数据标准、元数据等 数据治理手段。提供数据关联、 数据融合等数据加工手段。提 供数据服务等数据服务手段
实现对抽取数据的自然语义处 理，实现实体识别，实体抽取， 分词等功能
《促进大数据发展行动纲要》
大力推动政府信息系统和公共数据互 联开放共享，加快政府信息平台整合； 以企业为主体，加大大数据关键技术 研发，着力推进数据汇集和发掘，深 化大数据在各行业创新应用；
现状
SCIENCE AND TECHNOLOGY QUALIFICATION
各类信息资源分类、数据标准等不统一； 厅局各处室或二 级单位，以各自 独立的业务为主 线建立了众多业 务系统；
数据治理功能
数据关联 数据安全 统一认证 权限管理 数据质量 数据质量指标 体系 数据质量检核
数据服务功能
数据质量分析 数据融合 数据防护 数据质量改进 管理体系 制度 安全审计
数 据 主 题 库
分析 数据服务 配置数据 服务 定制数据 服务 数据目录 共享 数据检索 数据服务管理
数据转换清洗
数据加工 数据存储
大数据关系分析 大数据推荐引擎 大数据管理系统 大数据处理工具
政府智慧门户 政务微信门户 站群管理系统 网站可视化设计工具 网站内容管理系统 智能推荐系统
大型仪器共享系统 检验检测服务平台 科技创新券管理系统 项目管理系统
大数据交换共享
大数据基础支撑
20
基础产品——数据采集
• 非结构化数据采集是将不规则或不完整，
没有预定义模型的数据进行采集并清洗
翻译，。包括所有格式的办公文档、文
本、图片、XML, HTML、各类报表、 图像和音频/视频信息等等。 • 结构化数据将采用数据交换产品实现业 务系统的对接和数据抽取
21
大数据产品——非结构化数据采集系统
《十三五规划纲要》
大数据成为国家战略
国务院 工信部、发改委
提出实施国家大数据战略，把大 数据作为基础性战略资源，全面 实施促进大数据发展行动，加快 推动数据资源共享开放和开发应 用；
国务院
2015年7月1日
2015年9月5日
2016年3月18日
陕西省政府 2016年8月
陕西省大数据与云计算产业五年行动计划
2
借助大数据的分析， 可精准向系统、处 室提供数据服务
1
提高数据服务精准度 决策科学化的牵引
借助大数据挖掘分 析，可得到相对较 为准确的分析，可 作为决策的依据
大数据
解决“数据孤岛”
借助大数据可整合业务系统 数据，打破数据孤岛，避免 重复建设，同时可形成统一 的数据标准，共享标准，保 证后续系统建设的有章可循
数据交换
资源主题库 非结构化数据 分布式存储集群
ቤተ መጻሕፍቲ ባይዱ
数据层 网络层
通信网络
体制与机制 主机
规范与流程 存储
配置与变更
基础设施
操作系统
15
业务处理流程
业务系统
门户展现
业务查询 聚合 行政审批 数据交换 数据抽取 厅局 级大 数据 数据访问，数 全局分析 清洗和过滤 认证方案 安全，授 权以及规 据质量，数据 则 标准 主数据 信息交 互 重组 转换 关联 安全
组织体系 组织架构
服务配置 服务目录 方法 服务审计
角色 与技能
分工 与职责
流程
25
大数据产品——数据分析
26
大数据产品——数据分析
27
大数据产品——数据推荐
数据调用 用户 网站/业务系统
信息爬取 挖掘
聚类 信息 领域 行为 关注 喜好
数据库 自然语义分析
信息文本数据
大数据平台
大数据推荐引擎
推荐数据库
数据中心整体架构 数据标准
实施路线图规划 数据质量 数据服务 数据应用引擎
数据交易 数据安全 系统运维
数据治理
元数据 数据管理
管理驾驶舱 数据共享 结构化数据仓库 数据交换 查询/检索 统计分析 预警告警 数据分发 数据挖掘 大数据分析 数据分析 系统运维 调度与监控 灾备与恢复 数据库 运维人员 安全与审计 虚拟化 开发人员 分析决策人 员
可随时向框架内接入的其他业务系统供给数据
更新
框架内可实现数据滚动更新，无需干预 框架内可随时加入新的外部业务系统，无需调整框架
标准
框架内统一提供数据标准，保证框架内数据标准统一
18
大数据产品
以大数据技术（Hadoop、 Spark）为底层架构，集合大数 据全部技术模块，提供大数据运 行环境。提供存储、计算、调度、 监控等核心组件。保证数据的安 全性和稳定性，同时实时计算业 务应用调优，为大规模数据的管 理和计算而生。
业务透明化的数据支撑
借助大数据采集，可得到 各处室的数据，可作为支 撑业务、系统的数据依据
实现内部共享和深 度挖掘
4
5
厅局大数据共享建设介绍
BIGDATA PRODUCTS
13
14
厅局级大数据共享架构
门户 可视化 统一规划与运营 业务系统
应用层
公共服务
数据资产管理规划 信息源 数据资源 数据采集 数据抽取工具
1
1 2
公司介绍 厅局级数据情况 厅局大数据共享建设介绍 大数据建设过程介绍 科技厅大数据共享案例介绍
目录
3
4 5
公司介绍
PRODUCT VALUE
3
公司介绍
公司专注于行业大数据等信息化产品的咨询、设计、研发和集成等服务。 公司立足西北，在北京、广州等地设有专家咨询团队，拥有一流的自主研发团队和自主知识产权产品。 与西安邮电大学自然语言实验室在技术研发、智慧政务/大数据等业务领域展开深度合作。 与中山大学合作
提供服务
决策支持
统计分析
厅局网站
信息共享
提供综合 信息服务 OA系统
16
数据产品架构
大数据采集
大数据交换系统 大数据结构化数据采集系统 自然语言处理引擎
大数据管理
大数据资源库系统 数据治理系统 数据服务系统 …..
大数据数据应用产品
大数据可视化分析 大数据关系分析应用 …..
17
数据产品特点
共享
- 数据开放 - 数据可视化分析 - 数据专题应用
数据管理
业务需求 技术支持
数据应用
业务主动 技术服务
规划勾画骨架；项目 填充血肉
24
大数据产品——数据管理平台
数据整合功能
数据集中 结构化数据源 实时数据集中 批量数据集中 非结构化数据源 数据集中策略 数据流 数据整合 数据整合模型 元数据 数据标准 标准定义 数据标准 标准映射 标准执行 自然语言处理 标准维护
大数据存储 数据定义
元数据 业务 元数据 技术 元数据 元数据 维护 元数据 应用
信息资源缺乏统一规划和顶层设计 异构系统间缺乏统一数据标准和交换 模式，难以共享 根据业务需要，无法进行快速、低成 本的主题应用搭建
业务系统与厅局 部门网站没 有有效对接；
系统众多、资源分散，无 法有效共享和检索， 不知道该如何发挥其 整体效益
厅局档案系统与 办公系统、审 批系统之间无 法互联互通
跨 难以进行“一体化”的业务办理和基 部 于强大数据支撑的查询、统计、分析 门 应用 协 同
公司提供大数据全流程产品和综合解决方案。
广州讯麒智能科技 一窗研究院
合作联盟
西安晓多智能科技 中山大学 邮电大学自然语言实验室 ……..
合作伙伴
公司资质
SCIENCE AND TECHNOLOGY QUALIFICATION
多项软件著作权
质量管理认证证书
双软认证
影响与荣誉
SCIENCE AND TECHNOLOGY QUALIFICATION
22
大数据产品——数据交换产品
支持符合ODBC/JDBC 接口规范的46种数据库系统 支持主流的国内外操作系统 Windows 系列/Linux系列
Oracle
SQL Server
Sybase
HBASE
Informix DB2
MySQL
Hadoop
23
大数据产品——语义分析引擎
自主知识产权 多级，模块化设计 FST 规则和统计混合模型 分布式计算 （Hadoop） 用户自定义词典，模块 XML 标准格式输出
科技114专家咨询服务系统
成果交易服务系统
厅局级数据情况
PRODUCT FEATURES
9
背景
SCIENCE AND TECHNOLOGY QUALIFICATION
《关于运用大数据加强对市场 主体服务和监管的若干意见》
提高政府运用大数据能力； 推动简政放权和政府职能转变； 提高政府服务水平和监管效率， 降低服务和监管成本；
数据可视化
实时检索引擎
数据实时检索
数据挖掘
数据分析
数据分析缓存
数据分析&检索
数据索引&缓存 持久化存储
Hadoop非实时检索引擎 Hadoop分布式持久化存储
知识库标签化
结构化处理 数据清洗过滤引擎
数据标签化 数据清洗
Kafka/Redis
ETL/Flume/Sqoop
内部数据源
非结构化数据源
弹性爬虫引擎集群 外部数据源 数据获取
分析（分析问题）
• 依据各系统的监控信息，对异常指标进行跟踪，提交相关数据质量问题报告，注重对分析过程 中知识的积累
及时性、完善性、合法性、准确性、唯一性监控
监控（发现问题）
• 依据数据质量度量标准对其的数据实体和数据处理过程建立有效的监控机制，在第一时间发现数据质量问题，为数据 质量问题分析提供原始依据
产品体系
SCIENCE AND TECHNOLOGY QUALIFICATION
政务服务
大数据
互联网
业务系统
网上办事大厅（网站、 APP、微信） 自助服务终端系统 排队叫号评价系统 政务服务事项管理系统 统一综合受理系统 行政审批系统 电子监察系统 政务大数据分析系统
非结构化数据 支持对非结构化数据 的模板分析 支持与自然语言引擎 的对接，实现语义、 分词、关键词、概述 等内容的提取 支持实体数据抽取
互联网数据 支持对互联网网站数据的 采集 支持对网页标签定义采集 支持对网页中特定元素的 采集
数据接口 采用微服务方式提供 数据接口，可无缝对 接外部业务系统 提供具有认证功能， 保证数据安全
数据标准
数据质 量
数据管 控
数据平 台建设
数据应 用
31
大数据建设——数据平台建设
数据标准 数据质 量 数据管 控 数据平 台建设 数据应 用
业务价值驱动 从技术“推” 到 业 务“拉” 的转变 养育数据、由小而大、 分期建设
- 平台搭建 - 数据调研 - 数据整合 数据采集
- 数据主题库 - 数据加工 - 数据管理
数据应 用
30
大数据建设——数据质量及管控建设
• 关键：编号、解决期限、责任人
跟踪(执行监督)
• 对于每一份数据质量问题报告都会进入问题跟踪库，确保数据质量问 题可查、可跟踪 源系统、数据平台、应用系统
修正(解决问题)
• 提出相应的解决方案和解决期限，方案和期限经评审通过后将正式进入修正过程
问题分析、数据质量问题报告、知识库积累
娄勤俭书记、胡和平书记、吴政隆省长带领江苏常委一行，来科技厅 观摩陕西科技大数据平台
省政协领导观 摩陕西科技大 数据平台
影响与荣誉
SCIENCE AND TECHNOLOGY QUALIFICATION
我司有幸组织并参与2017年互联网+政务服务论坛，刘允强主任与傅 会长及周处长与会讨论并提出互联网+政务服务的重要发展方向
将数据转换成适当的可视化图 表，然后将隐藏在数据中的信 息直接展现于人们面前，在可
视化图表工具的表现形式方面，
图表类型表现的更加多样化， 丰富化。 同时也可通过图谱的方式展现 数据间关系，帮助用户实现关
系分析
19
大数据处理平台产品
业务分析平台
API
DMP
行业解决方案
最终交付
MySQL / Redis / Mongo / Pig， ElasticSearch Spark / Hive
厅局内部 “信息化孤岛” 问题突出
解决思路
SCIENCE AND TECHNOLOGY QUALIFICATION
3
提升处室业务协同水平和 厅局整体工作效率 实现 “一 体化” 业务 办理 和服 务展 示 解 决 内 部 信 息 孤 岛
数据共享
通过建立通过一的 大数据平台实现厅 局级数据内部加工、 处理、共享