区块链与大数据生态系统的融合以及应用实践丛宏雷

开发接口，实现 通过CM自动化 Hyperledger与大数据组件 快速部署 交互， Docker和Hyperledger 比如Spark获取Hyperledger 容器环境， 数据进行分析 实现监控和管理
Hyperledger+大数据项目简介
Custom Service Descriptors： 包括服务的角色，依赖关系，配 置参数，控制脚本等
区块链的基本属性
- 去中心化，全局共识 - 可证明性，每条纪录的修改可溯源 - 交易完整性，所有交易信息经过签名验证，多方确认 - 交易共识后不可篡改
区块链的发展
- 分布式账本技术
Linux Hyperledger
Hyperledger
- 由Linux Foundation发起项目之一 - 孵化各种开源分布式账本技术，促进区块链技术的商业应用
Cluster node
Cluster node
3.角色分配完成后，Cloudera Manager 开始触发Agent部署任务
Cluster node
Cluster node
……
Docker Daemon
4. 在Docker容器中运行Hyperledger程序， 并向外提供服务
Cloudera Agent
Hyperledger Fabric
- 分布式账本框架（Linux超级账本项目之一） - 模块化架构设计 - 共识节点 - 背书节点
- 账本提交验证模块
- 账本管理模块（包括区块管理模块）
区块链的系统架构
区块链的网络架构
Baidu Nhomakorabea
区块链上的事务
区块链在万达
数字资产交易
- 数字资产发行方基于区块链系统发布积分卡券 - 区块链智能合约自动发现积分卡券间的交易价格
感谢聆听 Q&A
5. Agent监控Hyperledger各角色 容器状态
配置 环境变量 运行脚本
Hyperledger Processes
用户
Hyperledger+大数据项目部署流程
Hyperledger+大数据项目部署流程
Hyperledger+大数据项目演示
区块链
什么是区块链?
- 以‘区块’记录交易信息，以链的方式将区块组合在一起 - 整个链保存在‘去中心化永久存储’
- 用户基于系统价格在区块链系统上完成积分交易
供应链管理 - 供应链各方在区块链系统中发布各方需求信息／服务信息 - 生产商，运输商，销售商，广场平台商
- 区块链智能合约自动完成各方间的需求匹配
- 区块链智能合约纪录交易信息，自动生成电子账单，电子发票等 - 商品销售后，区块链智能合约自动分账
区块链在数字资产交易
Cloudera Manager
Cloudera Manager背景介绍
CDH市场领先的管理平台，提供组件级别细粒度的可视化和控制 集中式地操作大数据软件栈，方便部署，配置，服务启停，扩容和升级等
Hyperledger+大数据项目解决方案
01
02
03
04
Harbor 企业级镜像 仓库
Etcd+Calico实现 跨节点容器间通信
03
04
05
Hyperledger部署和应用痛点
1. 2. 3. 4. Hyperledger镜像版本多 Docker运行环境重复部署 跨主机之间容器通信 无法快速为测试或开发提供 Hyperledger环境
Hyperledger 集群环境 部署复杂
Hyperledger 和大数据 生态圈隔离
1. Hyperledger与大数据生态圈隔 离 2. 无法挖掘Hyperledger中生成的 数据潜在价值
区块链与大数据生态系统 的融合以及应用实践
丛宏雷 | conghonglei@wanda.cn 蒋守壮 | jiangshouzhuang@wanda.cn
万达网络科技集团 大数据中心 http://www.wanda.cn
目
01
02
录
Hyperledger部署和应用痛点 Hyperledger+大数据项目解决方案 Hyperledger+大数据项目开发流程 区块链和Linux Hyperledger 区块链与大数据生态系统应用案例
生成Parcel Repository的 manifest
Parcel包： 二进制执行文件，Jar包文件等
验证Parcels和 CSDs
Hyperledger+大数据项目工作流程
Parcel Repository
1. 用户初始化Parcel包下载
Cloudera Manager
2. Cloudera Manager在集群中分发Parcel包
数字资产交易
- 多方发行方组成区块链积分交易联盟 - 区块链智能合约自动发现积分间的交易价格
- 会员共享，同时实现会员隐私保护
区块链在供应链管理
供应链管理
- 供应链各方基于区块链组成联盟 - 区块链智能合约自动完成各方间的需求匹配
区块链与Spark
区块链与Spark的Demo演示
Demo演示