农业大数据技术前沿与应用

953个品种，全国1000家市 场，每日价格等11个指标 的信息，每天超过1000万 个数据……
农业大数据思维
大数据最大的作用在于给人们带来了思维上的转变
万物皆比特，一切皆数据!
数据文化：尊重事实、强调精准 推崇理性
数据制度：数据立法、用数机制 尚数环境
数据治理：事前管理、科学决策 数据创新
农信采监测数据可视化 农信采监测数据可视化
三、主要应用
大数据应用在于从流程优化、知识发现、辅助决 策的过程中发现大价值。
大数据技术与农业领域的深入耦合，将对我国的 农业市场监测预警、智慧农业生产管理、和农业国家 宏观管理决策带来前所未有的变化！
1.农产品市场监测预警---发现市场风险
农业监测预警是现代农业稳定发展的最重要基础之一
农业大数据技术前沿与应用
内容
一、农业进入大数据时代 二、前沿技术 三、主要应用 四、未来展望
一、农业进入大数据时代
农业的新变化
随着传感器、智能移动设备、互联网等的发展，数 据呈现爆炸式增长。
地域性 农 季节性 业 多样性
周期性
量大
类杂
特点
实时
复杂
数据无处不在 数据无时不有 数据无物不生 数据无人不感
存储格式 存储方式 存储安全 数据结构 ……
汇交方法 汇交内容 汇交分类 汇交范围 ……
采集规范
传输标准
存储标准
汇交标准
大数据数据标准化标准体系框架
3.农业大数据分析处理技术
建模技术：
Y a0 a1X1 a2 X 2 an X n
现代 农业
产量 形成
产销 流通
产品 消费
信息流揭示 过程模拟 预警与调控
移动采集技术
“农信采”（便携式农产品全息市场信息采集器），是一款新型的农产 品市场信息采集设备。“农信采”的推广应用，将为我国农产品市场信息标 准化、即时性采集带来革命性的变化，可广泛应用于田头市场、批发市场、 零售市场的农产品全息信息采集。
农产品消费 行为模型
专家会 商系统
农业 专家
CAMES模 型系统
农作物生长 机理模型
经济计 量模型
多代理 系统
优化调整
介入与反 馈模型
决策 优化
农 农业 业智 智能 能仿 仿真 真架 架构 构
农 农业 业动 动态 态 建 建模 模技 技术 术
交 交互 互仿 仿真 真 模 模拟 拟技 技术 术
仿 仿真 真可 可视 视 化 化技 技术 术
海量数据存 储技术
海量数据管 理技术
信息发布
农业展望会议---现代农业的高端管理工具
至2014年：
美国的农业展望大会 澳大利亚的农业展望大会 墨西哥的农业展望大会 FAO-OECD的农业展望大会
第 90 届 第 44 届 第1 届 第8 届
美国靠什么引领世界农业？--数据支撑
实 时
释放市场信号
农业自然资源数据3500PB 农业生产数据2500PB
农业市场数据800PB
农业管理数据1200PB
农业数据每年将以50%-80%的速度增长
KB MB GB TB PB EB ZB
（103字节） (兆，106字节) (吉，109KB ） (太，1012字节) (拍，1015字节) (艾，1018字节) (泽，1021字节)
种子基因数据+环境因子数据+遗传模型+超级计算 通过计算机动态模拟种子的生产过程、产量形成过程……
5.农业大数据交互式可视化技术
大数据背景下，在交互式数据可视化技术的支撑下，通过对高频 变农产品市场数据的处理，实现多品种、多地域、多类型农产品市场 变动的内在机理、波动周期、市场走势的可视化呈现。
1933 267 705 46
10268 269
中国农产品监测预警模型
中国农产品监测预警模型（CAMES）整体模型框架已经形成。总体上来讲， CAMES要等同于甚至优于ERS/USDA的大型系统。其特点是，监测预警的农产品种 类多、品种全，涵盖11大类953个农产品品种；监测预警的空间分布广、区域性 强；监测预警时期包含短期、中期和长期；监测预警模型涵盖气象、投入和管理 等影响因子。
监
测
气
象
监
测
-24
个
土壤养分监测 -15个指标
指 标
n
yw
ywi (Tj , R j , L j , S j , ......)
i
（5）农业统计数据
农业部统计报表
农业综合调查制度 农村经营管理情况统计报表制度 全国乡镇企业统计报表制度 农业资源环境信息统计报表制度 全国土壤肥料专业统计报表 全国植保专业统计报表 农业机械化管理统计报表制度 种子管理机构报表 种子企业报表 ……
Windows mobile版本
安卓版本
农信采在全国广泛应用
在北京、天津、河北、福建、湖南、广东、海南等省市几百个田头、批发、 零售市场进行推广应用，共采集数据59万余条。
从2014年9月1日将由发改委、农 业部在新疆、黑龙江、吉林、内 蒙古4省区用于大豆和棉花的目 标价格采集。
该设备的定位功能、数据纠错、 信息分析功能，可用于审定品种、 种业专利数、种子企业、种子价 格、种植面积、供需状况等种业 信息的采集。
的 数 据
、 全 面 、
发布产品报告 显示权威预期
准
确
ERS发布了229篇报告
NASS发布了461篇报告
FAS发布了119篇报告。
首届中国农业展望大会
2021
14193 231
9461 23885 23885 14111 11254
1891 253 713 44
9730 269
2022
14240 233
9730 24203 24203 14158 11277
1913 260 709 45
9999 269
2023
14290 234
9999 24523 24523 14208 11303
搭建农业监测预警研究空间
是中国农科院信息所农业信息学科建设和发展的集中体现。是在线协商 的良好平台，也是农业信息分析等学科研究的重要载体。农业监测预警空间 建有中国农产品监测预警系统、中国农业监测预警数据库系统、在线会商系 统等多套应用系统及先进硬件支撑环境。
具有4大功能：
实时监测
智能仿真模拟
39 7777
665
14016
226 7777 22019 22019 13706
11011
1733 211 751
40 8273
496
2017
13988 227
8273 22488 22488 13787 11060
1768 220 739 41
8660 387
2018
13955 228
8660 22843 22843 13874 11116
数据标准化技术
制定了农业部行业标准2项
积极推进农业信息标准化科研工作，在建立农产品全息市场信息框架体系 起草、制定了《农产品全息市场信息采集规范（NY/T 2138-2012）》与 《农产品市场信息分类和计算机编码（NY/T 2137-2012）》2项行业标准 农业部于2012年2月21日颁布，并于2012年5月1日起正式实施。
关联分析：
专家会商系统结合； 专家智慧动态引入； 仿真模拟智能化和自适应；
农农业业动动态态 建建模模技技术术
交交互互仿仿真真 模模拟拟技技术术
仿仿真真可可视视 化化技技术术
仿真过程介入； 仿真结果反馈； 生产与市场决策流程优化。
4.数据分析模拟技术
模拟育种 = 大数据+超级计算
资源配置：精准化、智能化、高 效化
互联网 思维
跨域关 联思维
大数据 思维
数据思 维
产业思 维
二、前沿技术
农业大数据的发展对传统的数据处理 技术体系提出了巨大的挑战，需要我们在 数据采集、数据标准、数据处理、数据分 析、数据展现等方面做全新的技术升级。
1.数据精准获取技术
可穿戴式的信息获取技术 可植入、可嵌入式数据获取技术 微型移动信息获取技术 生物传感、微纳米传感器、便携 式传感器等新型设备。
口粮消费
饲料消费 工业消费 其他消费 出口量 期末库存 库存变化
2014 2015 2016
14214
223 6236 20673 20673 13523
10886
1658 194 785
39 7112
876
14113
225 7112 21450 21450 13633
10966
1697 203 767
（4）作物生长监测数据
实时监测仪器、设备全 天候监测，随着设备种类 的增长、价格的降低，监 测点将成指数级增长，所 产生的数据，将快速增长。
仪器监测每10分钟采集 1次数据（60多个指标*5 万次/年）+市场监测数据 +统计监测数据+视频监测 数据 >15G/年
土壤水分监测 -5个指标
视
频
生长监测-16个指标
农作物生长与产量形成机理建模；
农产品消费行为与消费量变化动态建模；
基于多代理系统进行农业智能仿真模拟；
农产品消费 行为与消费 量变化模型
专家会 商系统
农业 专家
CAMES模 型系统
农作物生长 与产量形成
机理模型
多代理 系统
优化调整
介入与反 馈模型
决策 优化
农农业业智智能能仿仿真真架架构构
实时性
规范性
精准性
系统性
全面性
Βιβλιοθήκη Baidu
2.数据标准化技术
数据增值的关键在于整合，但整合的前提是数据标准的统一。
农业领域数据标准化变得极为迫切，信息采集、传输、存储、 汇交的标准规范亟需大量出台。农业基准数据库亟需建立。
农业基准数据库
采集内容 采集方式 采集时间 采集地点 ……
传输速率 编码标准 传输方式 传输冗余 ……
数据存储
数据处理
数据分析
信息提取
大数据处理
农业大数据处理平台
预测生成
规律揭示
知识发现
预测分析 技术
人工智能 技术
统计分析 技术
联机分析 技术
数据挖掘 技术
数据仓库 技术
数据预处 理技术
数据并行 处理技术
数据流处 理技术
多维数据 处理技术
农业大数据计算平台
虚拟化技术
平台管理技 术
MapReduce编 程模式
1803 228 727 42
8926 266
2019
14050 229
8926 23205 23205 13969 11173
1837 237 722 43
9193 267
2020
14146 230
9193 23569 23569 14064 11235
1866 245 718 44
9461 268
气象数据
生物信息数据
资源环境数据
生长监测数据
农业统计数据
（数据来源：ZDNET《数据中心2013：硬件重构与软件定义》年度技术报告）
1.农业大数据的类型
（1）气象数据
全球气候观测系统（Global Climate Observing System）
2012 年 每 天 新 增 超 过 250GB ， 政 府 间 气候变化专门委员会 （IPCC）第四次评估 报告中采用了超过了 29,000 个 观 测 资 料 序 列，第五次报告中使 用的数据量达到了 2.3PB。
农业大数据（Big data）是指在现代农业生产、经营、管理 等各种活动中形成的，具有潜在价值的、海量的、活的数据。
是现代农业建设、发展、管理的“基准线”。
农业进入大数据时代
目前，中国每年产生并被存储的数据总量超过800EB（1018字节），
相当于全人类讲过的话160倍。
农业每年产生的数据量约为8000PB （1015字节）
模型分析处理技术
美国农业部：
多国商品联接模型 （Baseline模型)
食物与农业政策模拟模型 （Fapsim模型）
FAO-OECD：
Aglink-Cosim模型 FAO全球粮食信息预警
系统
平衡表技术：
美农部平衡表 FAO-OECD平衡表
平衡表
类别
生产量 进口量 期初库存 总供给 总需求 消费量
（2）生物信息数据
1984年，由NIH创办的基因数据库（GenBank）； 截止2011年4月，在传统数据存储区，共有1.35亿条序列 记 录 ， 包 含 1265 亿 个 碱 基 对 ； 在 WGS （ Whole Genome Shotgun）分区内包含1914亿个碱基对，6272万个基因组序 列。 全部数据若是装订成册，将载满700多辆卡车。
（3）资源环境数据
对地观测（遥感）技术农业资源研究提供空间数据，而且，遥感 监测一直向高时空分辨率、高光谱、多频段方向发展，数据生产能力 越来越强；
美国NASA和USGS研究生产的包括GLS1975、1990、2000、2005 和2005（EO-1）五个子集的一套Landsat卫星影像，总数据量超过5TB；