SAP大数据实时武器跟百纳百川新

Page Management
Logger
磁盘存储
Data Volumes
Log Volumes
© 2011 SAP AG. All rights reserved.
12
HANA是什么
HANA技术革新
SAP HANA是硬件和软件的一体化设备
内存计算引擎/内存数据库 实时数据管理平台
软件
HANA
+
认证的硬件系统
计算视图 - Calcu View
数据复制 4 3
SAP HANA
数据分析 3年内的数据
In-Memory
数据抽取
数据转换 2
Data Service 抽取业务系统数据
© 2011 SAP AG. All rights reserved.
1 实时复制
数据库
应用系统
文件、档案
8 IQ直接 展现
Explorer
简单易用 预装的设备 内置BAE （业务分析引擎）
支持行业标准 ANSI 92 SQL MDX, JDBC/ODBC
DW数据仓库
其他信息系统
DB2 Sybase Oracle SQL Server
ETL工具
计算和计划引擎
内存 数据库
SAP HANA
© 2011 SAP AG. All rights reserved.
14
SAP Sybase IQ : 是市场的领导者
第一个 column-based 分析服务器
• 为分析型应用提供服务近20年 • 比其他数据库快 10 到1,000倍 • 超过 4,000 独立安装点和 2,000 多客户 并且还在增长 • 10项专利的领先技术 • 快速技术创新： v15.0, v15.1 in 2009; v15.2 in 2010; v15.3 in 2011；
• 有效负载分摊及分区 • 弹性、灵活的资源分配
– 资源的高利用率 – 适合大并行，并发任务 • 适合私有云及SaaS – 提高性能SLA • 低价带来高扩展性
© 2011 SAP AG. All rights reserved.
19
SAP Sybase IQ VDM运行图
© 2011 SAP AG. All rights reserved.
特性
• VDM 通过登录权限控制 • VDM 可以分割应用，负载，用户
– VDM 1:数据挖掘; VDM 2:报表 – VDM 1:查询; VDM 2:加载 – VDM 1:财务部; VDM 2:市场部; VDM 3: 人事部 • 在VDM内部单一查询DQP • 在VDM之间动态(计划)调整资源
优点
大数据需要什么技术
解决的问题
需要的技术
数据的快速获取 Hadoop, MapReduce,SAP HANA, Sybase IQ, Vertica, Esper, Kdb+, Greenplum, ETL, Netezza, Teradata, Replication Server,Sybase Event Stream Processor
100GB/s 数据传输 价格迅速下降，
性能迅速提升
多台服务器并行运 行
每台服务器的价格 低廉
Integrated
软件
分区：大 量数据， 复杂计算
动态聚集
增量数据处
+ ++
+
理
压缩 5-20倍
+
行+列存储
9
快是所有创新的起点，HANA是一个创新平台
SAP HANA提供了一个高性能的实时数据计算平台，它不仅是“快”，基于HANA，可以充分 释放企业的创新能力，将不能可变为可能，使效率提升的效果从量变飞跃到质变！
大数据分析 信息价值挖掘 业务场景
Matlab, SAS, Revolution R, SPSS, Hive, SciPy, Mahout, AMPL
自学习，社交媒体分析，情绪分析，预测模型，网 络分析，图形化，场景模拟
服务个性化，对市场趋势的快速反应，实时价格优 化，更加快速、准确的决策，更好的研发，自动供 应链管理
2004
2005
2006
2007
2008
2009
2010
2011
© 2011 SAP AG. All rights reserved.
6
SAP大数据实时解决方案——大数据与快速分析之间的平衡
Sybase IQ
数据管理 数据存储 0～40年的数据
高性能集群
属性视图 - Attribute View
分析视图 - Anal View
1 C++ / JAVA
UDF
3
2
4
Other file systems
© 2011 SAP AG. All rights reserved.
联邦查询: Exports MapReduce job results from Hadoop to IQ that is joined with MapReduce job in IQ
海量数据瞬间分析 …… 实时库存/营销
BI4客户端
实时数据监控，实 现复杂事件管理
……
移动应用
优化资金，产品周 转率
海量数据 极速分析
SAP 商务套件
SAP 数据仓库
SAP构建的 应用程序
合作伙伴构建 的应用程序
SAP HANA内存计算平台
© 2011 SAP AG. All rights reserved.
V15.4 in 2012
© 2011 SAP AG. All rights reserved.
15
面向列的方式
更少资源更高性能
SAP Sybase IQ 基于列的 RDBMS
数据按需获取
1TB 基表数据= < TB 存储数据
Sybase
IQ
• 选择性获取数据… 快速 • 高级数据压缩…更少投入 • 数据就是索引
已经证实的数据压缩节省
存储单位TB 图标越短越好
与原始数据的压缩比较: 3.45x 与行存储数据库的压缩比较 (Oracle, DB2等等) : 10x
© 2011 SAP AG. All rights reserved.
17
基于IQ的查询性能提升
列存储专利的索引
1、默认的FP索引
2、表关联的HG索引
Economics: analyze structured + unstructured in one platform; lower TCO
21
对云平台的支持： 集成HADOOP
客户端联邦
Example: select IQ.col1, HV.col2 where IQ.col1 =
HV.col2 and IQ.col1 < 10
大量刀片并行运行
每台刀片的价格低廉
行/列存储，对象存储 压缩
64bit 地址空间 – 单台扩 展到2TB
100GB/s 数据传输
价格迅速下降，性能迅 速提升
分区到多台服务器节点 取消聚集表 只插入增量数据
© 2011 SAP AG. All rights reserved.
2
大数据分析
主要的挑战及解决办法 挑战
控制大数据增长
管理非结构化数据
复杂分析场景
决策速度
并发用户扩展
© 2011 SAP AG. All rights reserved.
现有的技术
压缩，过滤，文件系统 多数据源，数据模型，数据管理技术 硬件的大规模并发 快速数据采纳，分析，分配 分区用户混合负载
3
© 2011 SAP AG. All rights reserved.
3、指标计算的HNG索引 4、文字处理的WORD索引
18
SAP Sybase IQ PlexQ 构筑企业云环境
MPP – Shared Everything architecture for virtual data marts (VDM)
SAP大数据实时武器之百纳百川
SAP 中国公司D&T 罗永强
什么是大数据
Massive Volume
数据量 数据类型 分析复杂度 分析速度 成本控制
Diverse Variety
Deep Analytics
© 2011 SAP AG. All rights reserved.
High Velocity
How: partitions data into disjoint sets on ticker, feeds “map”, collates in “reduce”; simple primitives with MPP
M
M
R
M
Performance & Scale: High speed customized queries that can massively scale out
© 2011 SAP AG. All rights reserved.
4
现实... 永远处于等待信息中…
高效管理大数据
??
面对问题实时获取答 案
正确而完整的信息
© 2011 SAP AG. All rights reserved.
5
大数据——寻求平衡点
•数据量 •数据类型 •分析复杂度 •分析速度 •成本控制
© 2011 SAP AG. All rights reserved.
Big Data Analytics Benefits
App Examples: Data intensive pre-processing e.g. web log files, text files, graph data, …
8
SAP内存计算 - 技术的协同创新In-Memory
Disk
Disk
Discrete
© 2011 SAP AG. All rights reserved.
硬件
多核处理器架构 (每台刀片8 x 8 核 CPU, Xeon 7650)
64bit 地址空间 – 单 台扩展到2TB,(理论 达4EB)
10
HANA - 高性能分析解决方案
实时计算 没有延迟的业务分析
第三方 查询工具
BI 客户端
SQL MDX BICS
处理迅捷 多处理器，海量内存 实时的计算引擎 紧密支持ERP
SAP 商务套件 ERP/CRM
等等…
实时同步更新
行 & 列存储
HANA Studio - 建模 - 管理
7 展现
Web-I 展现
6
BO Universe 发布
5
OLAP
OLTP
7
SAP为企业提供实时分析平台
SAP Sybase IQ
• 海量大数据分析平台 • 发展近20年的列式数据分析引擎
SAP HANA
• 提供秒级的实时分析响应 • 避免I/O瓶颈的新一代数据仓库技术
Sybase
IQ
© 2011 SAP AG. All rights reserved.
11
HANA是什么
HANA技术革新
SAP HANA 技术架构
SAP HANA Database
数据库会话管理
访问请求处理 / 执行控制 SQL Parser SQL Script
MDX Calc Engine
关系引擎 Row Store
Column Store
事务管理 授权管理 元数据管理
数据持久层
硬件
© 2011 SAP AG. All rights reserved.
13
HANA是什么
HANA技术革新
内存计算技术的“革新”
内存计算的概念并不新鲜，然而随着硬件的成本下降以及软件技术的革新，让SAP 可以利用基于内存的应用提供组织实时管理和运维的愿景
硬件技术革新
软件技术革新
多核处理器架构 (每台刀片8 x 8 核 CPU)
VS.
传统 基于行的RDBMS
ED
需求变化对应索引变化
W
汇总数据 索引 基表
1 TB 基表数据= > 2.4-6 TB 存储数据
• 必须全量读取数据… 慢 • 汇总，索引，立方体数据膨胀…增加投入 • 索引与数据分离
© 2011 SAP AG. All rights reserved.
16
SYBASE IQ 绿色数据压缩: 节省投资 — 节省时间
20
对云平台的支持：封装MAPREDUCE
What: Tbl Param UDFs (TPF) to write MapReduce applications; C++ only
Technology
Example: select new_qts.* from
misg_qts (TABLE (SELECT * FROM iq_qts_tbl.qts WHERE ticker IN ( ‘SY’, ‘TDC’, ‘ORCL’ )) OVER (PARTITION BY qts.ticker ORDER BY qts.trade_time ASC))) AS new_qts
ETL处理 Exports HDFS data and then parallel bulk loads/inserts into IQ
数据联邦 ：Sybase IQ in JAVA (serial)/C++ (parallel) read HDFS into IQ as In-memory tables; can also read generic files