大数据生态系统建设构想
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
价值、专业、分享、快乐
大数据生态系统建设构想
目录
背景 生态全景图
3个生态圈
7个平台 5个角色
技术架构
建设周期 成功案例 总结
生态介绍
3
生态全景图
以农业品电商数据为核心的泛生态系统
追溯平台
厂商
交易平台
农民 原产地 农产品 厂商
厂商
物流平台
消费者
开放平台 数据平台
云 主 机 层
统一通讯
KVM
LXC
配置管理
OS（Linux)
IDC / IT硬件基础设施（服务器、存储、网络）
自动审批
19
技术架构 – 大数据平台
引 擎 层
业务引擎 基础设施 数据引擎
其他分 布式文 件系统
关系 型数 据库 数据推送
文件
外部 数据 接口
数据 展现
计 算 层 数 据 层
Storm内存流式计算框架
参考：阿里巴巴物流平台 http://56.1688.com/
8
平台介绍
追溯平台
功能：为消费者提供B2C交易平台上农产品的原产地溯源服务，包含实时生长状态，肥料使 用状态，环境数据监控等信息服务。
角色：消费者，平台运营方
9
平台介绍
数据平台
功能：完成对于交易生态系统中各平台的数据抽取，集中存储，算法建模，分析等功能，为 开放平台及授信平台提供数据应用
日志
点击流
其他数据接口
20
技术架构 – 开放平台
营销系统
交易系统
供应链
物流系统
API服务平台
金融系统
服务系统
电商系统
资源云服务（计算、存储、 网络、数据库、数据处理） 大数据存储&分析系统
聚合数据 数据开放平台
服务市场 SaaS 应用交易 市场
授信平台
P2P平台
金融机构 政府 金融机构
生态圈介绍
交易生态系统
完成农产品的在线交易，线下运输及产品原产地溯源 由交易平台（B2C交易平台），追溯平台，物流平台和数据平台组成
农民（代理公司），消费者，物流提供商与平台运营方参与
金融生态系统
围绕交易生态系统积累数据，完成农民金融信贷及消费者理才组成的资金循环功能 由数据平台，授信平台及P2P平台组成 农民（代理公司），消费者，金融机构参与
PaaS
Storm流式计 算框架 ZooKeeper
Hadoop计 算框架 Spark 计算 框架
大数据 云
日志分析
IaaS
数 据 存 储 层
数据 同步
主机 镜像 存储 文件 存储
小 文件 对象 存储
块 存储 K/V 存储
数据库 集群
弹性集群 云主机 安 全
XEN
计费管理
数据 订阅
分布式文件系统
分布式 数据库
开放生态
向社会企业开放交易系统接口及积累数据，发挥社会力量，更好的服务于交易生态参与方 向政府不同部门提供在线交易信息，辅助政府进行决策支持 由数据平台，开放平台组成 政府及软件开发商参与
5
平台介绍
6
平台介绍
交易平台
功能：完成农产品B2C电子商务交易流程闭环，包含从供应商入驻，商品上架直到消费者完 成购买支付及售后服务全流程。
金融机构
通过授信平台，为农民提供信用贷款 将农民信用贷款打成资产包，并拆解成P2P项目，提供给P2P平台
15
角色介绍
软件开发商
通过开放平台开放的数据及应用接口，开发更丰富的应用，提供给交易平台参与方使用
地方政府
通过开放平台开放的数据进行决策的辅助支持与市场监管
平台运营方
角色：农民（代理公司），消费者，平台运营方
参考：贵州电子商务云: http://www.gogbuy.com
7
平台介绍
物流平台
功能：完成B2C交易平台所产生的订单配送及产品仓储服务功能。商家自主选择仓储及配送 服务商，消费者可在平台上查询物流跟踪状态。
角色：农民（代理公司），消费者，平台运营方
角色：平台运营方
10
平台介绍
授信平台
功能：完成基于交易数据的商家授信功能，对农民（代理公司）进行信用额度评估和信用评 级，并将数据提供给金融机构参考，以便为农民进行信用贷款
角色：农民（代理公司），金融机构，平台运营方
11
平台介绍
P2P平台
功能：将金融机构的小额信贷组合成为资产包，并拆分成为项目，分配给P2P平台。消费者 通过P2P平台，选择项目进行投资，最终完成资金的整体循环
Hadoop离线计算框架
Spark 并行计算框架
配置管理 权限管理 任务管理 HA管理 数据管理 代理管理
ቤተ መጻሕፍቲ ባይዱ
列族数据库
分析工具
Hive 数据仓库 HDFS 分布式文件系统
云存储
YARN处理框架
抽 取 层
分布式数据库 ETL清洗 Oracle MySQL
序列化 Flume & Sqoop
SQL Server
维护各个平台的日常运作 各平台可有不同的运营方
16
技术架构
17
技术架构
交易平台 物流平台 追溯平台 数据平台
SaaS平台
授信平台 P2P平台 开放平台
PaaS平台
分布式 服务框架
分布式 消息
分布式 缓存
分布式 数据库
IaaS平台
虚拟化
云平台
自动化运维
分布式存储
18
技术架构 – 云平台
访问层
参考：京东开放平台 https://jos.jd.com/
13
角色介绍
14
角色介绍
农民（代理公司）
生产农产品，并通过B2C交易平台进行在线交易 通过授信平台，从金融机构中获取信用贷款，重新投入农产品生产中
通过数据平台，分析预测未来农产品种植方向与预期收入
消费者
通过B2C交易平台购买农产品 通过追溯平台服务，保证食品安全绿色环保的可视化 通过P2P平台，对于农民信贷产品进行投资，以获取利息收益
角色：消费者，金融机构，平台运营方
参考：积木盒子 https://www.jimubox.com/
12
平台介绍
开放平台
功能：通过将交易生态系统中的应用接口以及数据进行开放，为政府提供决策辅助支持，并 引入应用开发企业，借助开放服务进行二次开发，为交易生态圈提供更好的应用
角色：应用开发企业，政府部门，平台运营方
网络接入安全平台
运维平台 其他行业
API 运维接口
电信云 自动监控
SaaS
零售电子商务
O2O 营销云 交易云 运营云 掌上商城 金融云
政务云
大数据服务
开发平台服务
分布式缓存 分布式服务 框架（SOA） 消息 业务 流
数据服务
搜索云 云存储 云盘
移动服务
IP库 移动 推送 云测 试 移动 接口 自动部署
大数据生态系统建设构想
目录
背景 生态全景图
3个生态圈
7个平台 5个角色
技术架构
建设周期 成功案例 总结
生态介绍
3
生态全景图
以农业品电商数据为核心的泛生态系统
追溯平台
厂商
交易平台
农民 原产地 农产品 厂商
厂商
物流平台
消费者
开放平台 数据平台
云 主 机 层
统一通讯
KVM
LXC
配置管理
OS（Linux)
IDC / IT硬件基础设施（服务器、存储、网络）
自动审批
19
技术架构 – 大数据平台
引 擎 层
业务引擎 基础设施 数据引擎
其他分 布式文 件系统
关系 型数 据库 数据推送
文件
外部 数据 接口
数据 展现
计 算 层 数 据 层
Storm内存流式计算框架
参考：阿里巴巴物流平台 http://56.1688.com/
8
平台介绍
追溯平台
功能：为消费者提供B2C交易平台上农产品的原产地溯源服务，包含实时生长状态，肥料使 用状态，环境数据监控等信息服务。
角色：消费者，平台运营方
9
平台介绍
数据平台
功能：完成对于交易生态系统中各平台的数据抽取，集中存储，算法建模，分析等功能，为 开放平台及授信平台提供数据应用
日志
点击流
其他数据接口
20
技术架构 – 开放平台
营销系统
交易系统
供应链
物流系统
API服务平台
金融系统
服务系统
电商系统
资源云服务（计算、存储、 网络、数据库、数据处理） 大数据存储&分析系统
聚合数据 数据开放平台
服务市场 SaaS 应用交易 市场
授信平台
P2P平台
金融机构 政府 金融机构
生态圈介绍
交易生态系统
完成农产品的在线交易，线下运输及产品原产地溯源 由交易平台（B2C交易平台），追溯平台，物流平台和数据平台组成
农民（代理公司），消费者，物流提供商与平台运营方参与
金融生态系统
围绕交易生态系统积累数据，完成农民金融信贷及消费者理才组成的资金循环功能 由数据平台，授信平台及P2P平台组成 农民（代理公司），消费者，金融机构参与
PaaS
Storm流式计 算框架 ZooKeeper
Hadoop计 算框架 Spark 计算 框架
大数据 云
日志分析
IaaS
数 据 存 储 层
数据 同步
主机 镜像 存储 文件 存储
小 文件 对象 存储
块 存储 K/V 存储
数据库 集群
弹性集群 云主机 安 全
XEN
计费管理
数据 订阅
分布式文件系统
分布式 数据库
开放生态
向社会企业开放交易系统接口及积累数据，发挥社会力量，更好的服务于交易生态参与方 向政府不同部门提供在线交易信息，辅助政府进行决策支持 由数据平台，开放平台组成 政府及软件开发商参与
5
平台介绍
6
平台介绍
交易平台
功能：完成农产品B2C电子商务交易流程闭环，包含从供应商入驻，商品上架直到消费者完 成购买支付及售后服务全流程。
金融机构
通过授信平台，为农民提供信用贷款 将农民信用贷款打成资产包，并拆解成P2P项目，提供给P2P平台
15
角色介绍
软件开发商
通过开放平台开放的数据及应用接口，开发更丰富的应用，提供给交易平台参与方使用
地方政府
通过开放平台开放的数据进行决策的辅助支持与市场监管
平台运营方
角色：农民（代理公司），消费者，平台运营方
参考：贵州电子商务云: http://www.gogbuy.com
7
平台介绍
物流平台
功能：完成B2C交易平台所产生的订单配送及产品仓储服务功能。商家自主选择仓储及配送 服务商，消费者可在平台上查询物流跟踪状态。
角色：农民（代理公司），消费者，平台运营方
角色：平台运营方
10
平台介绍
授信平台
功能：完成基于交易数据的商家授信功能，对农民（代理公司）进行信用额度评估和信用评 级，并将数据提供给金融机构参考，以便为农民进行信用贷款
角色：农民（代理公司），金融机构，平台运营方
11
平台介绍
P2P平台
功能：将金融机构的小额信贷组合成为资产包，并拆分成为项目，分配给P2P平台。消费者 通过P2P平台，选择项目进行投资，最终完成资金的整体循环
Hadoop离线计算框架
Spark 并行计算框架
配置管理 权限管理 任务管理 HA管理 数据管理 代理管理
ቤተ መጻሕፍቲ ባይዱ
列族数据库
分析工具
Hive 数据仓库 HDFS 分布式文件系统
云存储
YARN处理框架
抽 取 层
分布式数据库 ETL清洗 Oracle MySQL
序列化 Flume & Sqoop
SQL Server
维护各个平台的日常运作 各平台可有不同的运营方
16
技术架构
17
技术架构
交易平台 物流平台 追溯平台 数据平台
SaaS平台
授信平台 P2P平台 开放平台
PaaS平台
分布式 服务框架
分布式 消息
分布式 缓存
分布式 数据库
IaaS平台
虚拟化
云平台
自动化运维
分布式存储
18
技术架构 – 云平台
访问层
参考：京东开放平台 https://jos.jd.com/
13
角色介绍
14
角色介绍
农民（代理公司）
生产农产品，并通过B2C交易平台进行在线交易 通过授信平台，从金融机构中获取信用贷款，重新投入农产品生产中
通过数据平台，分析预测未来农产品种植方向与预期收入
消费者
通过B2C交易平台购买农产品 通过追溯平台服务，保证食品安全绿色环保的可视化 通过P2P平台，对于农民信贷产品进行投资，以获取利息收益
角色：消费者，金融机构，平台运营方
参考：积木盒子 https://www.jimubox.com/
12
平台介绍
开放平台
功能：通过将交易生态系统中的应用接口以及数据进行开放，为政府提供决策辅助支持，并 引入应用开发企业，借助开放服务进行二次开发，为交易生态圈提供更好的应用
角色：应用开发企业，政府部门，平台运营方
网络接入安全平台
运维平台 其他行业
API 运维接口
电信云 自动监控
SaaS
零售电子商务
O2O 营销云 交易云 运营云 掌上商城 金融云
政务云
大数据服务
开发平台服务
分布式缓存 分布式服务 框架（SOA） 消息 业务 流
数据服务
搜索云 云存储 云盘
移动服务
IP库 移动 推送 云测 试 移动 接口 自动部署