农业大数据PPT (2)_ppt课件

生产
销售
应用层 信息服务 ODM 元数据
私有
主数据
数据
应用层 信息服务 ODM 元数据
私有
主数据
数据
仓储
应用层 信息服务 ODM 元数据
私有
主数据
数据
其它
应用层 信息服务 ODM 元数据
私有
主数据
数据
数据共享服务
元数据检索
数 元数据校验 据
管 元数据管理 控
平 元数据 台
数据服务
五、建设前景
架构：从分散到统一
应用系统
• 数据采集 • 行业预警 • 信息交互 • 流程化办公
综合分析系统
综合管理系统 • 资源统一管理
• 应用统一管理
• 安全统一管理
• 流程统一管理
三、总体规划
信息资源库
• 企业信息库 • 政策信息库 • 综合分析库 • 管理信息库 • 安全数据库 • 基础数据库
• 数据资源管理 • 数据整合处理 • 数据导出管理 • 历史数据管理 • 数据备份恢复
供依据
销售系统
大数据 综合服务
生产系统
根据数据分析提供 仓储依据
仓储系统
根据数据分析提供 生产依据
2016年6月1日
一、农业大数据时代
大数据时代，随着硬件设备发展，计算机计算能 力的提高，互联网的崛起，数据呈现疯狂增长。
季节性
地域性
多样性
周期性
现代农 业特点
大数据量 分类杂多 数据及时 关联性强
数据无处不在
数据无时不有
一、农业大数据时代
根据不完全统计，现代中国农业每年产生8000pb的数 据存储。
其中：农业资源数据3500pb 农业生产数据2500pb 农业市场数据1000pb 农业管理数据1000bp
Linux/Wi灵nd活ows/Solaris x86
Xen
X86
系统级 虚拟化
②中XV间M层 – 应用服务
X86
Windows Server Virtualization X86
Linux/Windows/Solaris x86
Linux/W安in全dows/Solaris x86
Windows, Linux, etc
数据：从封闭到共享
从以往各系统独立采集处理数据向统一数据采集、处理转变。建立统一的数据采集 平台和数据服务平台，通过规范的接口提供给各个应用功能使用。提行业可用用数据的 可控性和可靠性，并对多专业、多维度的数据进行关联分析，支撑未来业务发展。
五、建设前景
根据数据分析提供 销售依据
数据分析
从数据的使用特点， 验证数据分析模式 切实可行，模式规 范有效，为企业提
曲线分
同比分
空白值
离散性
坐标分
分析
分析
析
析
分析
分析
析
元数据比对
比对 更新
重复数据比 对
元数据比对 更新
重复数据删 除
多表比对 更新通知
多表比对 更新
更新日志
过程
数据
过程库
过程视图库
二、总体思路
公开
共享
私有
对表授权
机构 用户 用户组
对字段授权
对数据范围 授权
敏感数据屏 蔽规则
安全核心
二、总体思路
数据挖掘 云服务
硬件 虚拟化
KVM(Linux)
③后端 – 数据库
NPAR
X86
Linux
HP RISC/Itanium HP可UX伸/Li缩nux/Windows
21
四、建设任务
企业
应用服务器
数据中心
数据发布 中心
因特网
行业
销售
生产
仓储
........
四、建设任务
采用SOA体系架构，通过构建通用集成平台，抽象封装业务服务及数据应 用，实现数据、应用、业务过程以及客户端访问的连接和调用
气象数据 环境数据 生物数据 农业数据
一、农业大数据时代
大数据时代，到底能给农业带来了什么？ 大数据时代，还需要大量人工统计？
一、农业大数据时代
大数据农业对传统农业的数据数据采集与分析体 系产生了巨大的挑战。
从数据采集，标准制定，数据清洗，数据分析， 数据挖掘，数据展示等多方面要做人工处理到智能化 处理的过度。
建设任务
基于现状，优先满足紧迫需求，建立目标框架的3-5年规划
管控体系
规划、建设、应用、维护、评估管理框架
18
四、建设任务
系统构建模型
业务框架
分
应用框架
析
过
信息框架
程
技术框架
建设 方案
19
NGOSS 生命周期
IT管控体系
参考案例 现状分析
NGOSS模型
TMF eTOM TMF TAM TMF SID TMF TNA/TSA
信息化统一服务平台
20
四、建设任务
✓ 通过IT信息化技术实现三层应用架构，实现安全性、可伸缩的解决方案 ✓ 通过服务器级应用扩展为不同的应用提供了良好的性能及扩展性
第一层：Web服务器，通过负载均衡等技术实现系统的性能和扩展性 第二层：应用服务器，通过分区技术和自定义组件来实现系统的高可用性和扩展性 第三层：数据服务器，通过分区技术实现系统的高性能和扩展性
• 销售数据分析 • 仓储数据分析 • 生产数据评估 • 原材料使用评估
三、总体规划
➢ 企业历史信息资源的整合与利用
➢ 行业历史信息资源的整合与利用 ➢ 系统将为销售、生产、仓储等提供数据支撑 ➢ 为领导决策提供数据依据
企业历史数据管理
数据分析与决策
综合业务数据处理
行业历史数据管理
生产数据管理
销售 生产 仓储
综合管理系统
• 企业资料管理 • 行业信息管理 • 行业预警设定 • 线上业务设定 • 行业数据监管
• 公共数据接口管理 • 系统用户管理 • 企业用户管理 • 企业应用授权 • 日志管理
企业应用系统
• 行业登记 • 行业基础数据管理 • 行业在线业务 • 行业预警 • 原材料数据
综合分析系统
• 行业现状分析 • 行业历史分析 • 行业统计分析 • 行业历史评价
2016年6月1日
一、农业大数据时代 二、总体思路 三、建设规划 四、建设任务 五、建设前景
一、农业大数据时代
大数据，是近几年用来定义大信息量时代对于传 统行业汇聚的数据多样性的一种描述，并不是简单的 数据汇总，而是通过现有计算机技术对海量数据进行 分析与挖掘，从而提供更强的决策数据依据、洞察行 业本身存在的业务和流程优化能力，来适应快速、高 增长率和多样化的行业资产。
智能决策
行业生产分析预判
数据 挖掘
数据中心
输出
数据管理 系统
信息资源库
输入
数据并行处理（Hadoop) 并行算法设计 算法组件调度 数据汇集 计算任务调度
云平台
分布式存储
系统虚拟化
网络
云管理 系统监控 资源调度 资源管理 资源安全
大数据核心
三、总体规划
• 信息统计 • 业务统计 • 多维度分析 • 决策支持
各系统的技术架构从以往的各专业分散搭建向统一构架转变。从整个系统角度 统一考虑硬件（存储、备份），数据采集（平台、接口、总线），以及上层应用呈 现，才能满足应用本身的变动而不用耗费大量人力物力。
系统：从专业到综合
系统建设从传统的各专业建设向综合的应用服务系统建设转变。将企业与行业 的各项数据进行整合；将信息管理、业务管理、统计分析、数据挖掘等管理职能整 合；才能保障挖掘与分析的结果时效性。
终端客户端 Web 服务器
应用服务器 数据库服务器
主机虚拟化
产品
应用级
终端层 – 使用层
Windows Server Virtualization
虚拟化
Thinstall Virtual OS
①前ES端X 层 – Web访问层
平台支持
X86 X86 X86
简单 操作系统
Windows
Linux/Windows
四、建设任务
企业级应用
内部数据私有
面向公众开放数据
标
准
规
范
与
统
安
一 标
全
准
规
保
范
障
流 程
体
体
系
系
xml
业务入口
现有数据
企业历史数据
数据服务 行业历史数据
xml
适配器
历史数据
适配器
数据共享、清洗、整理a挖掘平台
适配器 适配器
xml
xml
运
维
统
管
一
的
理
安
全
体
保 障
系
体
系
生产数据 销售数据 仓储数据 原材料数据 流程管理数据 ··· 生产工艺数据
有了优质的数据依据，就可以从行业流程，行业 知识，辅助决策中发现行业的更大潜力与价值。
一、农业大数据时代
大量的数据如何使用？
数据库
基础数据库
业务数据库 查询数据库
…….数据库 …….数据库 …….数据库
二、总体思路
数据建模
视图建模
信息库
视图类
信息 资源 管理 系统
数据 管理 融合 服务
分类
视图
一农业大数据时代二总体思路各种资源依靠人力管理导致信息难以集中与统筹安排使用各类统计分析服务应用信息化程度不足无法提供有利行业支撑统计分析信息化程度不高无法为领导提供其它决策支撑缺乏多方面信息与资料的安全备份管理易损坏易丢失易窃取有关管理部门业务人力成本居高不下问题5问题4问题3问题1问题2存在问题二总体思路信息资源管理系统数据管理融合服务信息库分类数据集数据元关联汇聚切分转换视图类视图关联服务类服务描述申请授权调度监控汇聚录入导入web服务导出数据查询下载推送订阅数据集授权字段授数据范围授权敏感信息屏蔽统计分析数据统计服务统计第三第三数据建模视图建模服务管理数据融合数据录入数据授权数据查询统计分析二总体思路百分比分析空白值分析离散性分析曲线分多表比对多表比对更新多表比对元数据比对元数据比对更新元数据比对质量分析比对更新更新日志更新通知过程库过程视图库过程数据坐标分数据核心二总体思路对表授权对字段授权对数据范围授权敏感数据屏蔽规则机构用户用户组公开共享私有安全核心二总体思路分布式存储系统虚拟化数据中心信息资源库数据并行处理hadoop算法组件调度数据汇集计算任务调度并行算法设计智能决策数据挖掘云服务数据挖掘云平台云管理系统监控资源调度资源管理资源安全输入输出数据管理系统网络行业生产分析预判大数据核心三总体规划应用系统综合分析系统综合管理系统流程统一管理三总体规划信息资源库信息资源库企业应用系统企业应用系统综合管理系统综合管理系统综合分析系统综合分析系统原材料使用评估三总体规划17企业历史信企业历史信息资源的整合与息资源的整合与利用利用行业行业历史信息资源的整合与利历史信息资源的整合与利用用系统将系统将为销售生产仓储等为销售生产仓储等提供数据支撑提供数据支撑为领导决策提供数据依据为领导决策提供数据依据综合业务数据处理综合业务数据处理企业管理企业历史数据管理行业历史数据管理行业历史数据管理数据分析与决策数据分析与决策生产数据管理生产数据管理销售销售仓储仓储生产生产18四建设任务管控体系业务框架
数据集
关联ห้องสมุดไป่ตู้
数据元
汇聚
数据录入
录入
数据查询
数据 查询
导入 下载
Web 服务
推送
导出 订阅
服务管理
服务类 服务描述
申请 授权 调度监控
数据融合
关联 汇聚 切分 转换
数据授权
数据集 授权
字段授 权
数据范 围授权
敏感信 息屏蔽
统计分析
统计 分析
数据 统计
服务 统计
第三 方服
务
二、总体思路
数据核心
质量
百分比
17
四、建设任务
建设框架
业务框架：内外部环境、职能部门业务目标、管理对象、工作 任务、组织结构、管理体系、与外部门接口工作
应用框架：目标应用系统划分、应用功能模块、内外部接口
信息框架：数据模型体系和数据质量管理体系，包括企业生产 数据、行业历史信息数据、其它有效的数据
技术框架：网络/主机/存储/系统软件/中间件/应用软件技术架 构与公共要求/COTS软件评估