大数据宗露华为大数据产品及金融行业实践.ppt
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Hortonworks
2015~2016年统计 数据
• 2015年10月， 华为贡献大数据挖掘隐私保护增强技术（PET），将PET技术应用于大数据领域，助力产业发展。 • 2016年6月， 华为将CarbonData贡献给社区，成为全球第一个由中国企业提出,被Apache社区接纳的开源组件。
华为FusionInsight，云化、开放、融合的大数据平台
华为是大数据生态建设的倡导者和践行者
Top 2
Top 4
Gartner DMSA 魔力四象限报告
Alpine Data Appier Meituan Huawei Intel Cloudera Databricks Yahoo Intel Altiscale NTT Cloudera Huawei
华为金融行业大数据实践分享
大数据是华为ICT战略的重要支柱
Professional Service
3rd Partners
Content & App
3rd ISVs
Enterprise
SDP
Apps
BSS/OSS
Big Data Analytics Platform
Data Center Infrastructure
银 行
ATM 自助终端
VTM
自
助
POS
设 备
业务系统
核心 零售
信用卡 对公
企业级数仓 （第一数据平面）
DM（RDB） OD
S
EDW
(GP/TD/LibrA)
业务 场景
智能风控、 智慧预测
征信
营销
事
实 时 决
件 接 入流计
算
规则 模型 KV引擎
策
RTD
MLstudio机器学习平台
大数据 云服务
关系型数据 库服务: RDS
数据接入 服务: DIS
数据分析服务：MRS、 DWS、Stream、M-OLAP…
wk.baidu.com
人工智能服务： MLS、NLP…
大数 据
分析
数据洞察 Miner （图分析引擎、机器学习、数据标签）
Hadoop生态发行版 HD
（HDFS、MapReduce、HBase、Hive、Solr、Spark、 Storm、Flink、Elk、CarbonData 等核心组件）
华为聚焦大数据平台层，秉承开放、合作、共赢的理念，以技 术合作和人才培养为支撑，携手合作伙伴打造大数据生态。截至 2016年12月，华为FusionInsight大数据平台主要商业合作伙伴超过 200家。
当前行业数据处理规模最大的即公共安全、银行业以及运营商， 这几个领域对于大数据平台的性能要求最高。华为在这三大领域积 累了700多个案例，证明了产品的稳定性、可靠性以及安全性。
MPP大规模并行处理集群
集群服务器-1
集群服务器-n
DN DN DN DN DN DN Core1 Core1 Core1
SCTP大规模集群通讯网络
DN DN DN DN DN DN Core1 Core1 Core1
DN DN DN
…
DN DN DN
Core1 Core1 Core1
…
硬件+OS
64位Linux系列，通用X86架构 （SUSE Linux、Redhat）
数据集成 Porter
Sqoop 批量采集
Flume 实时采集
Kafka 消息管理
数据智慧 Farmer （实时决策引擎 Farmer RTD）
大规模并行处理数据库 Apollo DB
FtpOnHDFS 文件传输
Oozie 作业调度管
理
管理平台 Manager
安全管理
性能管理
故障管理
运维管理
配置管理
挖掘和人工智能专家； • 截止2016年12月，华为大数据取得专利190+，其
中发明公布136件，发明授权 54件。
华为大数据：IDC中国大数据MarkerScape领导者第一
IDC观点：华为公司大数据的竞争优势在于：大数据作为公司重点 战略，公司内部有持续发展的规划，网罗全球高端专家，持续进行 高研发投入，为公司打造了持续创新的能力。
……
HD：全新数据格式Carbondata，同时满足多种业务需求
多维分析
传统模式
Carbondata 模式
OLAP
Sequential Access
Large Scans
Random Access
Small Scans
高效率，高性能，存储灵活，兼容
MPPDB：帮助企业构建高性能、PB级新数仓
FusionInsight MPPDB
完备的工具链 数据迁移 SQL开发 集群管理
• 完备的SQL能力，应用平滑迁移 • 开放平台性能业界最佳 • 弹性伸缩支持PB级数据处理
Miner：一站式图形化大数据洞察平台
全流程；多维度；高性能；开放
FusionInsight Miner
数据分析产品
图分析引擎 (Weaver)
日志分析 (Data Compass)
华为同时也是活跃的开源社区贡献者。华为是OpenStack董事与 白金会员，Completed Blueprints贡献全球第一，综合贡献在中国厂 商中排名第一，Hadoop社区贡献全球第三，Docker开源社区综合贡 献排名全球第三。2016年华为创建了社区项目Apache CarbonData， 发布了实时反欺诈平台FarmerRTD。
标签管理
数据探索
Miner Base 建模分析
模型管理
并行化算法库(机器学习、图分析、时空数据分析)
Farmer：实时应用使能器，助力企业实时决策
平滑微服务化；易运维；高可用性；业务人员直接写规则
FusionInsight Farmer
ALB 接入负载均衡
MQ 消息队列
自定义应用1 …
自定义应用 N
Container 容器池
RTD执行
RTD编排
数据服务管理
FusionInsight HD, Redis, RTD DB
金融行业AI解决方案总体架构
客户接触渠道
网银
互
联
一网通
网
微信银行 PAD银行
手机银行
移
动
掌上生活
互 联
排队机/叫号机
高柜/低柜
网 点
贵宾厅门禁
短信
电邮
推 送
呼叫中心
远
程
电话语音（IVR）
Core Network
IP+Optical
FB B
Enterprise Network
MBB
Things (M2M Module)
People (Smart Device)
Source: Huawei corporate presentation
• 全球8个研究所，保持1000+的研发投入； • 拥有社区Committer、 IEEE Fellow等世界级数据
2015~2016年统计 数据
• 2015年10月， 华为贡献大数据挖掘隐私保护增强技术（PET），将PET技术应用于大数据领域，助力产业发展。 • 2016年6月， 华为将CarbonData贡献给社区，成为全球第一个由中国企业提出,被Apache社区接纳的开源组件。
华为FusionInsight，云化、开放、融合的大数据平台
华为是大数据生态建设的倡导者和践行者
Top 2
Top 4
Gartner DMSA 魔力四象限报告
Alpine Data Appier Meituan Huawei Intel Cloudera Databricks Yahoo Intel Altiscale NTT Cloudera Huawei
华为金融行业大数据实践分享
大数据是华为ICT战略的重要支柱
Professional Service
3rd Partners
Content & App
3rd ISVs
Enterprise
SDP
Apps
BSS/OSS
Big Data Analytics Platform
Data Center Infrastructure
银 行
ATM 自助终端
VTM
自
助
POS
设 备
业务系统
核心 零售
信用卡 对公
企业级数仓 （第一数据平面）
DM（RDB） OD
S
EDW
(GP/TD/LibrA)
业务 场景
智能风控、 智慧预测
征信
营销
事
实 时 决
件 接 入流计
算
规则 模型 KV引擎
策
RTD
MLstudio机器学习平台
大数据 云服务
关系型数据 库服务: RDS
数据接入 服务: DIS
数据分析服务：MRS、 DWS、Stream、M-OLAP…
wk.baidu.com
人工智能服务： MLS、NLP…
大数 据
分析
数据洞察 Miner （图分析引擎、机器学习、数据标签）
Hadoop生态发行版 HD
（HDFS、MapReduce、HBase、Hive、Solr、Spark、 Storm、Flink、Elk、CarbonData 等核心组件）
华为聚焦大数据平台层，秉承开放、合作、共赢的理念，以技 术合作和人才培养为支撑，携手合作伙伴打造大数据生态。截至 2016年12月，华为FusionInsight大数据平台主要商业合作伙伴超过 200家。
当前行业数据处理规模最大的即公共安全、银行业以及运营商， 这几个领域对于大数据平台的性能要求最高。华为在这三大领域积 累了700多个案例，证明了产品的稳定性、可靠性以及安全性。
MPP大规模并行处理集群
集群服务器-1
集群服务器-n
DN DN DN DN DN DN Core1 Core1 Core1
SCTP大规模集群通讯网络
DN DN DN DN DN DN Core1 Core1 Core1
DN DN DN
…
DN DN DN
Core1 Core1 Core1
…
硬件+OS
64位Linux系列，通用X86架构 （SUSE Linux、Redhat）
数据集成 Porter
Sqoop 批量采集
Flume 实时采集
Kafka 消息管理
数据智慧 Farmer （实时决策引擎 Farmer RTD）
大规模并行处理数据库 Apollo DB
FtpOnHDFS 文件传输
Oozie 作业调度管
理
管理平台 Manager
安全管理
性能管理
故障管理
运维管理
配置管理
挖掘和人工智能专家； • 截止2016年12月，华为大数据取得专利190+，其
中发明公布136件，发明授权 54件。
华为大数据：IDC中国大数据MarkerScape领导者第一
IDC观点：华为公司大数据的竞争优势在于：大数据作为公司重点 战略，公司内部有持续发展的规划，网罗全球高端专家，持续进行 高研发投入，为公司打造了持续创新的能力。
……
HD：全新数据格式Carbondata，同时满足多种业务需求
多维分析
传统模式
Carbondata 模式
OLAP
Sequential Access
Large Scans
Random Access
Small Scans
高效率，高性能，存储灵活，兼容
MPPDB：帮助企业构建高性能、PB级新数仓
FusionInsight MPPDB
完备的工具链 数据迁移 SQL开发 集群管理
• 完备的SQL能力，应用平滑迁移 • 开放平台性能业界最佳 • 弹性伸缩支持PB级数据处理
Miner：一站式图形化大数据洞察平台
全流程；多维度；高性能；开放
FusionInsight Miner
数据分析产品
图分析引擎 (Weaver)
日志分析 (Data Compass)
华为同时也是活跃的开源社区贡献者。华为是OpenStack董事与 白金会员，Completed Blueprints贡献全球第一，综合贡献在中国厂 商中排名第一，Hadoop社区贡献全球第三，Docker开源社区综合贡 献排名全球第三。2016年华为创建了社区项目Apache CarbonData， 发布了实时反欺诈平台FarmerRTD。
标签管理
数据探索
Miner Base 建模分析
模型管理
并行化算法库(机器学习、图分析、时空数据分析)
Farmer：实时应用使能器，助力企业实时决策
平滑微服务化；易运维；高可用性；业务人员直接写规则
FusionInsight Farmer
ALB 接入负载均衡
MQ 消息队列
自定义应用1 …
自定义应用 N
Container 容器池
RTD执行
RTD编排
数据服务管理
FusionInsight HD, Redis, RTD DB
金融行业AI解决方案总体架构
客户接触渠道
网银
互
联
一网通
网
微信银行 PAD银行
手机银行
移
动
掌上生活
互 联
排队机/叫号机
高柜/低柜
网 点
贵宾厅门禁
短信
电邮
推 送
呼叫中心
远
程
电话语音（IVR）
Core Network
IP+Optical
FB B
Enterprise Network
MBB
Things (M2M Module)
People (Smart Device)
Source: Huawei corporate presentation
• 全球8个研究所，保持1000+的研发投入； • 拥有社区Committer、 IEEE Fellow等世界级数据