专业知识大数据分析服务平台建设方案
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
云计算子系统
数据服务子系统
应用层
统计分析子系统
模型构建子系统
大数据预测子系统
知识增值子系统
数据中心可视化系统
全文检索子系统
系统的总体架构包括:6个层面、3 个体系。
信
信
息
6个层面:基础设施层、网络层、数据资源层、 安
息 标
应用支撑层、应用层。
全
应用
保
支撑层
统一技术开发平台
准 规
障
3个体系:信息标准规范体系、信息安全保障体 体
ESB服务 总线
ETL数据抽取 清洗转换
应用中间 件
……
搜索引擎
范 体
系
系
系、信息化运行保障。
数据资 源层
地质数字词典 地质知识体系标准
地质数据库
国土地质图片库
国土地质电影
中国地质纪录片
中国地质数字图书 馆
个人用户数据
机构用户和数据
……
网络层
局域网
VPN广域网
基础设 施层
主机系统
存储系统
信息化运行保障体系
标准规范框架
总体标准
项目管理 标准体系
框架
数据标准 应用平台标准
安全标准
建设实施管理标准
标准体系 术语与符号标准 法律法规和规章制度
元数据标准 数据规则标准 数据项标准 数据分类与编码标准 共享数据标准 交换数据标准 数据库标准
平台设计标准 平台技术标准 平台开发标准 平台功能标准 平台配置标准 平台接口标准
物理安全标准 网络安全标准 系统安全标准 信息安全标准 安全运行与管理标准 密钥管理标准 信息安全评估标准
项目管理标准 软件工程标准 测试和评估标准 系统培训标准 验收和监理标准 运行和管理标准
目录
第一部分 厂商综合实力 第二部分 项目整体分析 第三部分 系统总体设计 第四部分 应用平台设计 第五部分 项目实施方案
终端系统
数据架构
技术架构
网络部署架构
技术路线
先进 开放 集成
性
性
性
跨平 扩展
台
性
项目
可选方案
服务端操作 Suse11 SP2 / RedHatEnterprise Linux6.2 / Windows 2003
系统
Server/ IBM AIX7.1/ OracleSolaris11及以上版本
地质资源数 据中心系统
xxx专业资源 知识服务大 数据平台
地质资源大 数据分析系
统
平台系统管 理
公共支撑组 件
目录
第一部分 厂商综合实力 第二部分 项目整体分析 第三部分 系统总体设计 第四部分 应用平台设计 第五部分 项目实施方案
系统架构
门户层
一体化信息集成平台
ETL工具系统
客户端操作 系统
Windows2000、WindowsXP、Windows7 、Windows8
数据库管理
系统
Sybase ASE
SOA面 向服务
架构
J2EE 多层体
系结构
Web
Servic e技术
XML扩 展置标 语言
应用中间件 IBM WebSphere / Jboss、Tomcat / BEA WebLogic Server
大数据 模型层
数据 标引
数据 计算
1、地质领域词表;2、地质知识体系; 3、地质领域本体;4、基础地质标引系 统;5、应用地质标引系统;6、地质法 规政策标引系统;7、资源类型属性标 引;8、资源关联度标引;9.资源用户 属性标引
云计算系统
建设内容
在地质出版社的数字出版流程再造、地质数字资源库项目的基础上,应用大数据技术,把xx出版社建社 60周年以来的自有资源、国土地质系统的增量资源进行汇聚和创新性应用的结果。
平台架构 J2EE + SOA + B/S/D
开发技术 Java、Web Service、JavaScript、SOAP、XML
客户端 开发工具
Web浏览器
Eclipse:Java应用程序开发 DreameWeaver:设计页面版式、操作界面 Studio MX with Flash Professional:网页制作 Adobe Photoshop CS:图像处理
具体应用。
两个出发点
以系统的实 际业务需求 为出发点
以系统的可集成性、可扩展 性和再开发性为出发点
三个主要任务
应用支撑平 台
地质资源数 据中心
地质资源大 数据分析系
统
建设目标-资源
建成包含1万种数字图书、300万条条目数据、2万张高清地质图片、330分钟的4D/5D特效电影的大数据信息内容库, 形成海量资源聚集效应,初步实现大数据预测功能。
1、30多个省市国土厅局 2、2万多国土所、4万多地质队、
数百万从业者 3、广大青少年、电视终端家庭
用户 定位
数据 采集
数据 存储
数据仓库系统:数据清洗、数据转 换、数据抽取、数据下载
1、数据共享 2、数据查询 3、数据租赁 4、数据定制 5、专业领域数据包
大数据 服务层
1、基础地质大数据模型 2、应用地质大数据模型 3、地质政策法规大数据模型
专业知识大数据分析服务平台建设方案
目录
Hale Waihona Puke Baidu
第一部分 厂商综合实力 第二部分 项目整体分析 第三部分 系统总体设计 第四部分 应用平台设计 第五部分 项目实施方案
建设思路
本系统总体建设思路概括为:“一个核心、两个出发点、三个主要任务”。
一个核心
以应用支撑平台为核心,中国地质专业资源 知识服务大数据平台就是基于该平台开发的
建设目标-大数据分析平台
形成集基础地质资源、应用地质资源和国家政策法规标准资源三大类资源于一体的国内第一个综合性的地质大数据平台,全面反映和记
录内容数据、用户数据和交互数据。实现对海量用户点击数据、用户行为数据、用反馈数据、用户上网数据等等的存储和管理,保证地质大
数据海量状态数据的实时性和高效运营。 自有资源:静态、动态 数据交换:国土部咨询中心、国家地质图书馆、 国家地质博物馆 数据采集:中国地质调查局、各省市国土厅局、 Georef国外地学文摘数据库
功能架构
目录
1.xx资源数据中心系统
数据中心总体架构
数据交换平台
数据交换平台是以地质信息资源为基础,借助中间件技术和产品,形成地质出版社信息资源物理分散、逻辑集中的 信息交换模式,支持不同应用系统间松耦合的按需信息交换。
地质资源数据中心数据交换平台
地质基础 科学资源
地质应用 科学资源
国家政策法规 标准资源
地质数 字词典
数据交换平台(ESB企业服务总线)
地质资源 数据中心
个人用户 信息资源
机构用户 信息资源
……
非结构化数据
外部系统
……
目录
2.地质资源大数据分析系统
系统功能结构
大数据分析系统是连接数据资源与应用的桥梁,是将大数据应用于地质知识资源的技术 实现,是对地质知识资源的精细化组织和聚类,是地质大数据应用的关键和核心。