SAP HANA-大数据时代的内存计算技术
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
The Economist
Opportunities
Emails GP S
Speed
VELOCITY
Worldwide digital content will double in 18 months, and every 18 months thereafter.
IDC
Mobile
CRM Data
Gartner
MOBILE MOBILE
LBS
SOCIAL
数据的体量和类型
在急剧增加
CRM Data
Mobile
Transactions
Demand
Sales Order
Instant Messages Big Data
Customer Things
Sales Order
Planning
CRM Data
Hasso Plattner
VS
事务
分析
加速
事务+分析
在内存中直接进行
通过创新和专注与客户进行转型
整合事务与分析 内存技术驱动的低延迟计算
CPU
内存
列式存储
分区
磁盘存储
压缩
差异处理
日志与备份
IN-MEMORY
FASTER
SMARTER
BIG DATA
ANALYTICS
CLOUD
MOBILE
Planning
Inventory
Demand
Tweets
Customer
Velocity
Things
Sales Orders
Transactions
Service Calls
Instant Messages
VARIETY
80% of enterprise data will be unstructured, spanning traditional and non traditional sources.
E 12 $
€€$ memory address
SAP In-Memory Appliance (SAP HANA™)
SAP BusinessObjects BI Solutions
One
HANA 数据 库
BW
HANA 数 据库
SAP 商务套件
HANA 数据库
应用 BW
视图 PLM
SRM
SCM CRM ERP
应用
HANA 数 据库
OLAP（2010-2011）
OLTP+OLAP（2012-Now） 转变场景
从OLAP到OLTP 从Side-by-Side到主数据库 从BI到预测 从结构化到非结构化
HANA REAL-TIME PLATFORM
SOCIAL
呈现 Big Data Applications? 处理 Azkaban Oozie Pig Hive
Hadoop MapReduce S4 Storm 存储 Voldemort Cassandra Hbase 摄入 Kafka Flume Scribe
HANA – 简化BI与分析
三十辐共一毂，当其无，有车之用也。 埏埴以为器，当其无，有器之用也。凿 户牖以为室，当其无，有室之用也。故 有之以为利，无之以为用。
-- 老子 十一
呈现
Sybase ESP
事件与流处理
Sybase ASE
交易处理
SAP 巨量数据处理框架
移动
巨量数据分析
巨量数据应用
SAP HANA
No Aggregate Tables
快速！为内存计算进行软件优化
概念视图
A
10
€
B
35
$
C
2
€
D
40
€
E
12
$
传统数据库按行存储
按列存储使快速内存操作（例如汇总）成为可能
列布局支持顺序内存访问 简单汇总行扫描一次即可
映射至内存
按行组织 A 10 €
按列组织 ABC
B 35 $ C 2 € D 40 € D E 10 35 2 40 12 € $
时间
来源: Dr. Richard Hackathorn. Bolder Technologies Inc.
实时:巨量数据集
CLOUD
就是现在！处理交易的内存数据库
摩尔定律: IT 性能价格每18个月翻倍 每十年翻倍 6+ 次 ~每十年大约100倍
比屋顶还高
100 nm
1970
Codd’s 定义 关系型数据库 原文发表
Speed
Worldwide digital content will double in 18 months, and every 18 months thereafter.
IDC
Mobile
CRM Data
Planning
Inventory
Demand
Tweets
Customer
Velocity
我们如何发展到今天?
手机比电力和安 全饮水更普及
Facebook: 10亿用户; 6亿移动用户; 4.2亿页和9百 万应用 Youtube: 40亿访问/天 Google+: 4亿注册用户 Skype: 2.5亿每月连接用户
3,000,000 1,000,000+ 人能互联网访问
销售
B2B/ B2C
BIG DATA: Gain Value with SAP HANA
邬学宁
首席专家，SAP APJ
June 7, 2012
世界快乐指数
“To possess facts is knowledge, to use is
wisdom, to choose is education. Knowledge is not power but riches, only
10 μm
1980
创立
1 mm
1990
10 cm
2000
Βιβλιοθήκη Baidu
10 m
2010
2020
早期 OLAP 系统
Codd’s 定义 OLAP的论文
SAP HANA
将OLAP与OLTP分离是在处理器速度太慢的条件下 的临时解决方案，我们不再需要！
SAP的内存数据管理创新
提供企业应用实时平台
一个使用内存计算的列式数据库整合了OLTP和OLAP
64bit address space – 2TB in current servers 100GB/s data throughput Dramatic decline in price/performance
SAP SW Technology Innovations
Row and Column Store Compression Partitioning
内存技术
Sybase IQ
分析网格
Hadoop
MapReduce Batch Compute Framework
处理
存储
Sybase ESP
监控 / 过滤事件流
DB 引擎
DB 引擎
DB 引擎
Hive/HDFS
Sybase Replication Server, SAP BusinessObjects Data Services
小心！再次落入陷阱!
复杂技术架构. 令人困惑的供应商选择
33
需要全面“端到端”的方法
呈现 处理 存储 摄入
汽车
结构化数据
基于位置的数据
机器数据
移动
跨越所有的
IMHO, it’s
great!
数据类型
文本数据
点击流
社交网络 RFID
PoC
客户信息 智能仪表
SAP HANA 不断创新
HANA 平台
(数据集市)
have value when spending”
- Thomas Jefferson
2.5 PB
7.9 ZB
1990
1992
1994
1996
1998
2000
2002
2004
2006
2008
2010
臀部大数据：360个传感器汽车防盗，防止疲劳驾驶！
SOCIAL
BIG DATA REAL TIME PREDICTIVE
64bit address space – 2TB in current servers 100GB/s data throughput Dramatic decline in price/performance
SAP SW Technology Innovations
Row and Column Store Compression
客户市 场应用
HANA 数据库
SAP 商务套件
Any DB
应用
HANA 数据库
SAP 商务套件
Any DB
(视图)
HANA 数据库
SAP 商务套件
Any DB
HANA 数据库
客户端
OD/SF 解决方案 HANA
Any DB 数据库
客户端
SAP Business MOSnQe L
HANA 数据库
SAP Business
Gartner
SLOAN (SDSS)
VOLUME
In 2005, humankind created 150 exabytes of information. In 2011, 1,200 exabytes will be created.
The Economist
Opportunities
Emails GP S
分析巨量数据集 复杂计算
灵活建模 无需数据复制
快速数据Loading
在应用层处理数据
Push Down 业务和代码
内存计算 – 就是现在 !
HW Technology Innovations
Multi-Core Architecture (8 x 8core CPU per blade) Massive parallel scaling with many blades One blade ~$50.000 = 1 Enterprise Class Server
个人电脑和与客户 机/服务器架构
WWW
数据库 (CIRCA 1980)
1990
ANALYTICS (CIRCA 1980)
预测分析 (CIRCA 1980)
2000
移动
社交
大数据
REAL TIME
2005
语义分析 (CIRCA 1980)
2010 13
2015
VOLUME
In 2005, humankind created 150 exabytes of information. In 2011, 1,200 exabytes will be created.
Things
Opportunities
Inventory Demand Mobile
Big Data
Planning Transactions
Customer
减少延迟 / 增加价值
智能价值
消逝价值 增加价值
除非时间
数据延迟 分析延迟 决策延迟
数据整合&分析Ready 交付信息
采取行动
行动时间
行动时间 减少的行动时间
Things
Sales Orders
Transactions
Service Calls
Instant Messages
VARIETY
80% of enterprise data will be unstructured, spanning traditional and non traditional sources.
内存计算 – 就是现在！
HW Technology Innovations
Multi-Core Architecture (8 x 8core CPU per blade) Massive parallel scaling with many blades One blade ~$50.000 = 1 Enterprise Class Server
64bit address space – 2TB in current servers 100GB/s data throughput Dramatic decline in price/performance
SAP SW Technology Innovations
Row and Column Store Compression Partitioning
HANA 应用
HANA 内容 (报表及分析)
HANA 加速器
Cloud on HANA
Business One
Analytics on HANA
Business One
on HANA
BW on HANA
Business Suite
on HANA
HANA 新应用
客户端 客户端
SAP 商务套件
Any DB
内存计算 – 就是现在！
HW Technology Innovations
Multi-Core Architecture (8 x 8core CPU per blade) Massive parallel scaling with many blades One blade ~$50.000 = 1 Enterprise Class Server
(跨越不同部署选项整合/ 同步数据)
摄入
半结构化数据
结构化数据
非结构化数据
HANA – 软件和硬件的共同创新
多核CPU 大内存 行与列存储
压缩 分区
无汇总表 无含数据的视图 实时复制 只插入差异数据
计算能力： 比硬盘访问快1M x 1 TB 服务器, 64-80 核 列式存储= 快速查询
5x 压缩 1 TB 数据, ~ 200GB 内存
Opportunities
Emails GP S
Speed
VELOCITY
Worldwide digital content will double in 18 months, and every 18 months thereafter.
IDC
Mobile
CRM Data
Gartner
MOBILE MOBILE
LBS
SOCIAL
数据的体量和类型
在急剧增加
CRM Data
Mobile
Transactions
Demand
Sales Order
Instant Messages Big Data
Customer Things
Sales Order
Planning
CRM Data
Hasso Plattner
VS
事务
分析
加速
事务+分析
在内存中直接进行
通过创新和专注与客户进行转型
整合事务与分析 内存技术驱动的低延迟计算
CPU
内存
列式存储
分区
磁盘存储
压缩
差异处理
日志与备份
IN-MEMORY
FASTER
SMARTER
BIG DATA
ANALYTICS
CLOUD
MOBILE
Planning
Inventory
Demand
Tweets
Customer
Velocity
Things
Sales Orders
Transactions
Service Calls
Instant Messages
VARIETY
80% of enterprise data will be unstructured, spanning traditional and non traditional sources.
E 12 $
€€$ memory address
SAP In-Memory Appliance (SAP HANA™)
SAP BusinessObjects BI Solutions
One
HANA 数据 库
BW
HANA 数 据库
SAP 商务套件
HANA 数据库
应用 BW
视图 PLM
SRM
SCM CRM ERP
应用
HANA 数 据库
OLAP（2010-2011）
OLTP+OLAP（2012-Now） 转变场景
从OLAP到OLTP 从Side-by-Side到主数据库 从BI到预测 从结构化到非结构化
HANA REAL-TIME PLATFORM
SOCIAL
呈现 Big Data Applications? 处理 Azkaban Oozie Pig Hive
Hadoop MapReduce S4 Storm 存储 Voldemort Cassandra Hbase 摄入 Kafka Flume Scribe
HANA – 简化BI与分析
三十辐共一毂，当其无，有车之用也。 埏埴以为器，当其无，有器之用也。凿 户牖以为室，当其无，有室之用也。故 有之以为利，无之以为用。
-- 老子 十一
呈现
Sybase ESP
事件与流处理
Sybase ASE
交易处理
SAP 巨量数据处理框架
移动
巨量数据分析
巨量数据应用
SAP HANA
No Aggregate Tables
快速！为内存计算进行软件优化
概念视图
A
10
€
B
35
$
C
2
€
D
40
€
E
12
$
传统数据库按行存储
按列存储使快速内存操作（例如汇总）成为可能
列布局支持顺序内存访问 简单汇总行扫描一次即可
映射至内存
按行组织 A 10 €
按列组织 ABC
B 35 $ C 2 € D 40 € D E 10 35 2 40 12 € $
时间
来源: Dr. Richard Hackathorn. Bolder Technologies Inc.
实时:巨量数据集
CLOUD
就是现在！处理交易的内存数据库
摩尔定律: IT 性能价格每18个月翻倍 每十年翻倍 6+ 次 ~每十年大约100倍
比屋顶还高
100 nm
1970
Codd’s 定义 关系型数据库 原文发表
Speed
Worldwide digital content will double in 18 months, and every 18 months thereafter.
IDC
Mobile
CRM Data
Planning
Inventory
Demand
Tweets
Customer
Velocity
我们如何发展到今天?
手机比电力和安 全饮水更普及
Facebook: 10亿用户; 6亿移动用户; 4.2亿页和9百 万应用 Youtube: 40亿访问/天 Google+: 4亿注册用户 Skype: 2.5亿每月连接用户
3,000,000 1,000,000+ 人能互联网访问
销售
B2B/ B2C
BIG DATA: Gain Value with SAP HANA
邬学宁
首席专家，SAP APJ
June 7, 2012
世界快乐指数
“To possess facts is knowledge, to use is
wisdom, to choose is education. Knowledge is not power but riches, only
10 μm
1980
创立
1 mm
1990
10 cm
2000
Βιβλιοθήκη Baidu
10 m
2010
2020
早期 OLAP 系统
Codd’s 定义 OLAP的论文
SAP HANA
将OLAP与OLTP分离是在处理器速度太慢的条件下 的临时解决方案，我们不再需要！
SAP的内存数据管理创新
提供企业应用实时平台
一个使用内存计算的列式数据库整合了OLTP和OLAP
64bit address space – 2TB in current servers 100GB/s data throughput Dramatic decline in price/performance
SAP SW Technology Innovations
Row and Column Store Compression Partitioning
内存技术
Sybase IQ
分析网格
Hadoop
MapReduce Batch Compute Framework
处理
存储
Sybase ESP
监控 / 过滤事件流
DB 引擎
DB 引擎
DB 引擎
Hive/HDFS
Sybase Replication Server, SAP BusinessObjects Data Services
小心！再次落入陷阱!
复杂技术架构. 令人困惑的供应商选择
33
需要全面“端到端”的方法
呈现 处理 存储 摄入
汽车
结构化数据
基于位置的数据
机器数据
移动
跨越所有的
IMHO, it’s
great!
数据类型
文本数据
点击流
社交网络 RFID
PoC
客户信息 智能仪表
SAP HANA 不断创新
HANA 平台
(数据集市)
have value when spending”
- Thomas Jefferson
2.5 PB
7.9 ZB
1990
1992
1994
1996
1998
2000
2002
2004
2006
2008
2010
臀部大数据：360个传感器汽车防盗，防止疲劳驾驶！
SOCIAL
BIG DATA REAL TIME PREDICTIVE
64bit address space – 2TB in current servers 100GB/s data throughput Dramatic decline in price/performance
SAP SW Technology Innovations
Row and Column Store Compression
客户市 场应用
HANA 数据库
SAP 商务套件
Any DB
应用
HANA 数据库
SAP 商务套件
Any DB
(视图)
HANA 数据库
SAP 商务套件
Any DB
HANA 数据库
客户端
OD/SF 解决方案 HANA
Any DB 数据库
客户端
SAP Business MOSnQe L
HANA 数据库
SAP Business
Gartner
SLOAN (SDSS)
VOLUME
In 2005, humankind created 150 exabytes of information. In 2011, 1,200 exabytes will be created.
The Economist
Opportunities
Emails GP S
分析巨量数据集 复杂计算
灵活建模 无需数据复制
快速数据Loading
在应用层处理数据
Push Down 业务和代码
内存计算 – 就是现在 !
HW Technology Innovations
Multi-Core Architecture (8 x 8core CPU per blade) Massive parallel scaling with many blades One blade ~$50.000 = 1 Enterprise Class Server
个人电脑和与客户 机/服务器架构
WWW
数据库 (CIRCA 1980)
1990
ANALYTICS (CIRCA 1980)
预测分析 (CIRCA 1980)
2000
移动
社交
大数据
REAL TIME
2005
语义分析 (CIRCA 1980)
2010 13
2015
VOLUME
In 2005, humankind created 150 exabytes of information. In 2011, 1,200 exabytes will be created.
Things
Opportunities
Inventory Demand Mobile
Big Data
Planning Transactions
Customer
减少延迟 / 增加价值
智能价值
消逝价值 增加价值
除非时间
数据延迟 分析延迟 决策延迟
数据整合&分析Ready 交付信息
采取行动
行动时间
行动时间 减少的行动时间
Things
Sales Orders
Transactions
Service Calls
Instant Messages
VARIETY
80% of enterprise data will be unstructured, spanning traditional and non traditional sources.
内存计算 – 就是现在！
HW Technology Innovations
Multi-Core Architecture (8 x 8core CPU per blade) Massive parallel scaling with many blades One blade ~$50.000 = 1 Enterprise Class Server
64bit address space – 2TB in current servers 100GB/s data throughput Dramatic decline in price/performance
SAP SW Technology Innovations
Row and Column Store Compression Partitioning
HANA 应用
HANA 内容 (报表及分析)
HANA 加速器
Cloud on HANA
Business One
Analytics on HANA
Business One
on HANA
BW on HANA
Business Suite
on HANA
HANA 新应用
客户端 客户端
SAP 商务套件
Any DB
内存计算 – 就是现在！
HW Technology Innovations
Multi-Core Architecture (8 x 8core CPU per blade) Massive parallel scaling with many blades One blade ~$50.000 = 1 Enterprise Class Server
(跨越不同部署选项整合/ 同步数据)
摄入
半结构化数据
结构化数据
非结构化数据
HANA – 软件和硬件的共同创新
多核CPU 大内存 行与列存储
压缩 分区
无汇总表 无含数据的视图 实时复制 只插入差异数据
计算能力： 比硬盘访问快1M x 1 TB 服务器, 64-80 核 列式存储= 快速查询
5x 压缩 1 TB 数据, ~ 200GB 内存