起重机械安全监察规定
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
充分发挥大型SMP和NUMA的特性 无
起重机械安全监察规定
查询效来自百度文库-数值运算
运算效率
IQ
按照位的比较运 算比按照值的比 较运算快
Other RDBMS 按照值的运算
为运算进行的存 基于数据类型与 No
储优化
使用方法进行的
索引优化（如
Count,Sum,avg)
起重机械安全监察规定
并行处理能力
读/写的并 行
-存储技术，CPU技术，IT…
起重机械安全监察规定
数据规模 - IQ经过48.2TB的测试，压缩率 达到0.46
•Data Compression with IQ Multiplex in TB
•50
•45
•48.2
•40
•35
•30
•25
•20
•15
•22
•10 •5
•0 •Uncompressed Size
起重机械安全监察规定
Best Breeds-Total Solution
由每个领域最出色的厂商提供完整的解决方案 • 强强的联合
– 每个公司专注于自己的专长， – 并与市场上的领先者‘无缝’集成 • 性价比的选择 – 灵活的选择与配置 • 整个数据仓库是一个系统工程 – 其中数据管理是核心 – Sybase is the best breed 在数据仓库的Case中，数据库独立选型
由一家公司提供完整解决方案的所有产品果真具有如下优势？ 免去与多家产商的产品集成与配合?
-每个市场上领先的提供商都经过完整的集成测试 -而一家产品也同样是各独立产品之间的集成，而且某些产品及技术往往
近期才由收购获得（并非市场前三位）
免去多家的联系与服务支持? -由一家公司提供支持服务与多家公司在本质上并无区别 -而Sybase连续两年荣获最佳服务奖
IQ
读/写节点分离， 相互的影响最小
NCR
读/写同时进行 ，影响效率
Other RDBMS 读写同时进行，影响效率
单个复杂查 询的并行处 理
IQ负载优化方法 ，可以分解复杂查 询，通过其独特的 存储与索引技术保 证单个复杂查询的 效率
NCR独特的 Hasing算法，及 其提供的虚拟处 理器技术处理查 询的分解与调度
BO..
Analysis svr
Power designer
Visual studio
SAS,SPSS.. Some functions
OWB
partners
OWB
partners
Oracle Drwin partners
NCR CRM NCR CRM NCR CRM
起重机械安全监察规定
End to end?
查询效率-索引方法
IQ
Other RDBMS
NCR
技术 索引类型
BitWise专利 B-Tree 技术
Housing
专利的索引技术 ，支持多种索引 ，基于数据类型 ，基数，使用方 法（Group,Order ，where)，每个 列可以建多种索 引
B-Tree
Oracle9i中提出其增加的函 数索引等目前没有任何实 质的说明，其原理仍是基 于值存储与搜索。
Oracle9i
DB2
Oracle9i ETL Evolutionary
Svr
Tech
NCR Teradata
NCR CRM
BO ..
MS Olap Srv OLAP svr Essbase … NCR CRM
Analytical support tools Database design
Data mining
IQ-M
Other RMDBS
BitWise索引及压缩 无压缩 技术
不需额外索引空间 需要索引空间
不需要为查询效率 为提高效率增加中
而建立中间表
间表的空间
二进制的存储
基于值的存储
列存储有利压缩
行存储不同的数据 类型不利于压缩
起重机械安全监察规定
查询效率
影响查询效率的主要因素： 灵活性 磁盘的I/O次数 查询的索引方法 并行技术 查询的运算，比较 高速缓冲技术
RDBMS
增加存储容量，增 扩展节点，但需 加节点/CPU或调 要重新分配数据 整节点的并发用户 存储 维持响应时间
通过增加硬件，节 通过增加节点对
点或调整节点的并 大量并发用户的 发用户保持97%的 响应支持 伸缩能力
当硬件性能提 线性的提高
？
？
高时查询效率
起重机械安全监察规定
可伸缩性
•40 0 •300
拥有最佳表现。IQ同样适合于NT平台，并可以运 行于UNIX/NT混合平台之上。
起重机械安全监察规定
3rew
演讲完毕，谢谢听讲!
再见，see you again
2020/12/18
起重机械安全监察规定
•200
•100
•IQ with Multiplex
•98% Scalability
•400 ••936•90.91
••3820 ••2780
•1 •1
•2•640
•2•050
•1•640 •3
•400user’s response time=31.6s •Increase:1.9%
•2 •120
•80
通过指定的主 索引+独特的 Housing算法
查询的特点
*索引就是数据
*索引就是方法
*结合多种算法
*查询优化器为 不同的查询与列 选择不同的搜索 算法
*B-Tree算法，适合按查找 独特的housing
单行的数据。
算法，但其原
*巨大的索引数据对于大的 理与B-Tree类 联合的查询效率不高。 似
*对于取值较少的列的索引 不适合，如Y/N等
起重机械安全监察规定
2020/12/18
起重机械安全监察规定
数据仓库解决方案供应商
Sybase
Microsoft Orcale
IBM
NCR
Database Management ETL Tools
OLAP
IQ-M
SQL Server
Informatica MSTransfor
..
mation Svr
起重机械安全监察规定
查询效率-磁盘的I/O次数
IQ 只读取涉及到的列数 据 读取的数据经过压缩
Bits
Other RDBMS 表扫描，读取多余数据
数据未经压缩，数据量大 ，影响I/O Bytes
•I/O次数可以比传统数据库少10-1000倍
起重机械安全监察规定
查询效率-磁盘的I/O次数
起重机械安全监察规定
•Parallel Databases
•50 to 60% Scalability
•1 •2 •3 •4 •5 •6 •7 •8 •9 •10 •# nodes
•To Web-enable your data warehouse you need linear user scalability to effectively support the 100s and 1000s of Internet users
Yes
对索引及重构的管理 无
Oracle
在9i中加入 的自调优 管理复杂
NCR 无
对MPP的管理 增加节点/upgrade 日常管理的复杂性
无 容易 简单
管理复杂 难 复杂
管理简单 成本高 简单
起重机械安全监察规定
平台适应性
• NCR Teredata在UNIX环境下目前仅适应于自己的 硬件系统
• Oracle产品适应于各种UNIX平台 • Sybase产品适应于各种UNIX平台，在64位平台上
•Vs .
•Traditional Approaches
•Oracle •IBM •Microsoft
•Sybase
•NCR
•Informix
•Traditional •VLDB
•Traditional •Data Warehousing
•CHASM
•Technology •Visionaries •Enthusiasts
传统的并行技术基于表分区的不同节点 的存储（范围分区，哈希分区技术）， 利用尽量多的硬件在同一时刻完成单个 查询，但其查询效率与分区有关，且维 护成本代价巨大
大量的并发 查询
IQ引擎独特的 Multiplex技术创建 共享磁盘，多节点 ，并行数据库，保 证大量的并发查询 的效率
最好的MPP并行 技术，实质仍是 利用尽量多的硬 件在同一时刻完 成单个查询，无 法处理大量的并 行查询
•Only IQ with Multiplex can offer the linear user scalability needed to support Webenabled Data Warehousing
起重机械安全监察规定
管理与维护
有保障的资源控制 自动调优
IQ 存储器， CPU,I/O的控制
起重机械安全监察规定
数据管理产品供应商
•Sybase IQ
•Actionable • Intelligence •Infrastructure •High Performance
Analysis
•e-Business Intelligence
•Advanced Analytics
•Intelligent Portal
OPS在Oracle9i中已经重新命名为 Real Application Clusters， 其有效性仍如神话般不可触摸， 至今从未有成功的案例
起重机械安全监察规定
并行处理能力
起重机械安全监察规定
可伸缩性
当数据规模增 大时对查询效 率的支持
当大量用户并 发对查询效率 的支持
IQ
NCR
Other
•Compressed Size
起重机械安全监察规定
•数数据据规规模模
•0•1•0 •1 •1•0•1 •0 •0 •1 •0 •1 •0 •0
•1010101010101011110101 •1010101010101011110101 •1010101010101011110101 •1010101010101011110101
*寻求在OLTP与查询时建
立索引的代价平衡
起重机械安全监察规定
查询效率-高速缓冲技术
IQ
Other RDBMS
高速缓冲完全利用64位机的特点， 可利用高达256G的缓冲
一般的缓冲技术只是为了在查询已 Yes 经Load到缓冲中的数据，减少磁盘 的I/O
IQ提供另一种缓冲技术，可以利用 无 该缓冲直接处理处理排序，表连接 以及很复杂的分析
•Pragmatists
•Conservatives
•Skeptics
起重机械安全监察规定
对数据仓库的数据库的技术要求
• 数据规模 • 查询效率 • 并行查询效率 • 伸缩性 • 高可用性 • 快速部署 • 充分利用新技术 • 易于维护和管理
-存储详细的访问记录 -即席查询与复杂查询，个性化的信息 -Web方式的查询 -通过增加硬件设备支持系统升级 -7*24小时，加载与查询同步
起重机械安全监察规定
查询效来自百度文库-数值运算
运算效率
IQ
按照位的比较运 算比按照值的比 较运算快
Other RDBMS 按照值的运算
为运算进行的存 基于数据类型与 No
储优化
使用方法进行的
索引优化（如
Count,Sum,avg)
起重机械安全监察规定
并行处理能力
读/写的并 行
-存储技术，CPU技术，IT…
起重机械安全监察规定
数据规模 - IQ经过48.2TB的测试，压缩率 达到0.46
•Data Compression with IQ Multiplex in TB
•50
•45
•48.2
•40
•35
•30
•25
•20
•15
•22
•10 •5
•0 •Uncompressed Size
起重机械安全监察规定
Best Breeds-Total Solution
由每个领域最出色的厂商提供完整的解决方案 • 强强的联合
– 每个公司专注于自己的专长， – 并与市场上的领先者‘无缝’集成 • 性价比的选择 – 灵活的选择与配置 • 整个数据仓库是一个系统工程 – 其中数据管理是核心 – Sybase is the best breed 在数据仓库的Case中，数据库独立选型
由一家公司提供完整解决方案的所有产品果真具有如下优势？ 免去与多家产商的产品集成与配合?
-每个市场上领先的提供商都经过完整的集成测试 -而一家产品也同样是各独立产品之间的集成，而且某些产品及技术往往
近期才由收购获得（并非市场前三位）
免去多家的联系与服务支持? -由一家公司提供支持服务与多家公司在本质上并无区别 -而Sybase连续两年荣获最佳服务奖
IQ
读/写节点分离， 相互的影响最小
NCR
读/写同时进行 ，影响效率
Other RDBMS 读写同时进行，影响效率
单个复杂查 询的并行处 理
IQ负载优化方法 ，可以分解复杂查 询，通过其独特的 存储与索引技术保 证单个复杂查询的 效率
NCR独特的 Hasing算法，及 其提供的虚拟处 理器技术处理查 询的分解与调度
BO..
Analysis svr
Power designer
Visual studio
SAS,SPSS.. Some functions
OWB
partners
OWB
partners
Oracle Drwin partners
NCR CRM NCR CRM NCR CRM
起重机械安全监察规定
End to end?
查询效率-索引方法
IQ
Other RDBMS
NCR
技术 索引类型
BitWise专利 B-Tree 技术
Housing
专利的索引技术 ，支持多种索引 ，基于数据类型 ，基数，使用方 法（Group,Order ，where)，每个 列可以建多种索 引
B-Tree
Oracle9i中提出其增加的函 数索引等目前没有任何实 质的说明，其原理仍是基 于值存储与搜索。
Oracle9i
DB2
Oracle9i ETL Evolutionary
Svr
Tech
NCR Teradata
NCR CRM
BO ..
MS Olap Srv OLAP svr Essbase … NCR CRM
Analytical support tools Database design
Data mining
IQ-M
Other RMDBS
BitWise索引及压缩 无压缩 技术
不需额外索引空间 需要索引空间
不需要为查询效率 为提高效率增加中
而建立中间表
间表的空间
二进制的存储
基于值的存储
列存储有利压缩
行存储不同的数据 类型不利于压缩
起重机械安全监察规定
查询效率
影响查询效率的主要因素： 灵活性 磁盘的I/O次数 查询的索引方法 并行技术 查询的运算，比较 高速缓冲技术
RDBMS
增加存储容量，增 扩展节点，但需 加节点/CPU或调 要重新分配数据 整节点的并发用户 存储 维持响应时间
通过增加硬件，节 通过增加节点对
点或调整节点的并 大量并发用户的 发用户保持97%的 响应支持 伸缩能力
当硬件性能提 线性的提高
？
？
高时查询效率
起重机械安全监察规定
可伸缩性
•40 0 •300
拥有最佳表现。IQ同样适合于NT平台，并可以运 行于UNIX/NT混合平台之上。
起重机械安全监察规定
3rew
演讲完毕，谢谢听讲!
再见，see you again
2020/12/18
起重机械安全监察规定
•200
•100
•IQ with Multiplex
•98% Scalability
•400 ••936•90.91
••3820 ••2780
•1 •1
•2•640
•2•050
•1•640 •3
•400user’s response time=31.6s •Increase:1.9%
•2 •120
•80
通过指定的主 索引+独特的 Housing算法
查询的特点
*索引就是数据
*索引就是方法
*结合多种算法
*查询优化器为 不同的查询与列 选择不同的搜索 算法
*B-Tree算法，适合按查找 独特的housing
单行的数据。
算法，但其原
*巨大的索引数据对于大的 理与B-Tree类 联合的查询效率不高。 似
*对于取值较少的列的索引 不适合，如Y/N等
起重机械安全监察规定
2020/12/18
起重机械安全监察规定
数据仓库解决方案供应商
Sybase
Microsoft Orcale
IBM
NCR
Database Management ETL Tools
OLAP
IQ-M
SQL Server
Informatica MSTransfor
..
mation Svr
起重机械安全监察规定
查询效率-磁盘的I/O次数
IQ 只读取涉及到的列数 据 读取的数据经过压缩
Bits
Other RDBMS 表扫描，读取多余数据
数据未经压缩，数据量大 ，影响I/O Bytes
•I/O次数可以比传统数据库少10-1000倍
起重机械安全监察规定
查询效率-磁盘的I/O次数
起重机械安全监察规定
•Parallel Databases
•50 to 60% Scalability
•1 •2 •3 •4 •5 •6 •7 •8 •9 •10 •# nodes
•To Web-enable your data warehouse you need linear user scalability to effectively support the 100s and 1000s of Internet users
Yes
对索引及重构的管理 无
Oracle
在9i中加入 的自调优 管理复杂
NCR 无
对MPP的管理 增加节点/upgrade 日常管理的复杂性
无 容易 简单
管理复杂 难 复杂
管理简单 成本高 简单
起重机械安全监察规定
平台适应性
• NCR Teredata在UNIX环境下目前仅适应于自己的 硬件系统
• Oracle产品适应于各种UNIX平台 • Sybase产品适应于各种UNIX平台，在64位平台上
•Vs .
•Traditional Approaches
•Oracle •IBM •Microsoft
•Sybase
•NCR
•Informix
•Traditional •VLDB
•Traditional •Data Warehousing
•CHASM
•Technology •Visionaries •Enthusiasts
传统的并行技术基于表分区的不同节点 的存储（范围分区，哈希分区技术）， 利用尽量多的硬件在同一时刻完成单个 查询，但其查询效率与分区有关，且维 护成本代价巨大
大量的并发 查询
IQ引擎独特的 Multiplex技术创建 共享磁盘，多节点 ，并行数据库，保 证大量的并发查询 的效率
最好的MPP并行 技术，实质仍是 利用尽量多的硬 件在同一时刻完 成单个查询，无 法处理大量的并 行查询
•Only IQ with Multiplex can offer the linear user scalability needed to support Webenabled Data Warehousing
起重机械安全监察规定
管理与维护
有保障的资源控制 自动调优
IQ 存储器， CPU,I/O的控制
起重机械安全监察规定
数据管理产品供应商
•Sybase IQ
•Actionable • Intelligence •Infrastructure •High Performance
Analysis
•e-Business Intelligence
•Advanced Analytics
•Intelligent Portal
OPS在Oracle9i中已经重新命名为 Real Application Clusters， 其有效性仍如神话般不可触摸， 至今从未有成功的案例
起重机械安全监察规定
并行处理能力
起重机械安全监察规定
可伸缩性
当数据规模增 大时对查询效 率的支持
当大量用户并 发对查询效率 的支持
IQ
NCR
Other
•Compressed Size
起重机械安全监察规定
•数数据据规规模模
•0•1•0 •1 •1•0•1 •0 •0 •1 •0 •1 •0 •0
•1010101010101011110101 •1010101010101011110101 •1010101010101011110101 •1010101010101011110101
*寻求在OLTP与查询时建
立索引的代价平衡
起重机械安全监察规定
查询效率-高速缓冲技术
IQ
Other RDBMS
高速缓冲完全利用64位机的特点， 可利用高达256G的缓冲
一般的缓冲技术只是为了在查询已 Yes 经Load到缓冲中的数据，减少磁盘 的I/O
IQ提供另一种缓冲技术，可以利用 无 该缓冲直接处理处理排序，表连接 以及很复杂的分析
•Pragmatists
•Conservatives
•Skeptics
起重机械安全监察规定
对数据仓库的数据库的技术要求
• 数据规模 • 查询效率 • 并行查询效率 • 伸缩性 • 高可用性 • 快速部署 • 充分利用新技术 • 易于维护和管理
-存储详细的访问记录 -即席查询与复杂查询，个性化的信息 -Web方式的查询 -通过增加硬件设备支持系统升级 -7*24小时，加载与查询同步