Teradata分析

1、 Teradata 优势 ，能否打数据并发 1）优势

以下是部分Teradata 客户数据仓库管理的内容，可说明Teradata 系统的强大处理能力： •

多达千亿行数据的数据库表格 •

每天数据加载超过30亿条记录 •

每天捕获3000万笔客户交易 •

每天为消费者在线提供150万种个性化产品和服务 •

每小时处理100万次数据库查询 •

每天响应1万个并发数据仓库用户 • 业务查询响应时间仅为40-50毫秒

2）并发问题：

机制 ：Teradata 巨表数据存放机制好像是每个节点均匀分布表中一部分数据，当查询的时候每个节点并行查询，结果汇总到某个节点反馈给查询者。这个复杂查询的实例形象地说明了Teradata 的多维并行处理机制。

Multi-Step 并 行

并 行 作2. 搜 索 Orders

3. 联 接 Lineitem & Orders 并 行同 时与 各 自 相 关据

图8-16 Teradata 内部并行处理机制说明

这里假设系统配置有4个虚拟处理器(VPROC)，某个复杂查询被优化器分解成了7个步骤，

图中SUPPLIERS、PARTS、PARTSUPP等为数据库中表的名字。在每个步骤执行时，4个VPROC 同时处理与各自相关的数据块，例如搜索SUPPLIERS表，该表的记录是通过HASH算法均匀分布在四个VPROC各自负责的磁盘中的，搜索时4个VPROC将同时进行，把相关的记录搜索出来，这就是所谓的查询并行。

例子：

例如：使用NCR 5300服务器，2个节点，存储为2TB，RAID1，在业务高峰期，系统并发查询用户在300个以上，最高到1000个，此时系统响应速度有些缓慢大概业务查询响应时间30秒，峰值过后速度就加快了。主要进行的操作就是表之间的关联查询，4张表，每张6-7千万条记录，ETL加载的数据量不算太大。

2、Teradata内外部集建立原则

针对实际的应用，采用内外部集市可以有效的发挥起各自的优势：

1）松耦合原则

介于要将整个系统划分为数据和应用层，相互存在很多密切关联，在设计库表时要充分考虑数据和应用的相互影响，做到应用不影响到数据的处理，数据处理不直接针对应用的松耦合技术架构

2）任务明确原则

数据处理层和应用层在处理具体业务时，必然存在既可以在数据层处理有可以在应用层处理的问题，需要在设计时充分讨论业务需求，做到责任明确，任务单一，各负其责。

3、teradata比较oracle的优缺点

Teradata是专为数据仓库OLAP设计的，主要用来进行数据的综合分析和处理，

Oracle更多的适合联机事务处理的OLTP应用，针对DW 数据仓库从以下几个角度对teradata进行分析：

1、数据管理能力(Data Management)

数据自动分配

Teradata中只有一种基于HASH算法的数据分配机制，当要插入一条记录时，根据主索引计算出相应的AMP，该条记录即通过此AMP存到其对应的磁盘上。由于主索引值的不同，一个表的各条记录将通过各AMP均匀地分布到各个磁盘上。分配过程完全自动进行，不需要DBA干预，这一点和其它OLTP DBMS有很大的区别。Teradata的HASHING算法经过长期的发展，已经十分完善。它采用了一个类似矩阵的HASH MAP，将计算出来的HASH值通过此矩阵

的映射与AMP进行联系。这样，当重新配置AMP数时，只需要变动HASH MAP，速度非常快。

对于OLTP系统而言，其查询的特点是预先知道要回答什么样的问题，因此，DBA会根据业务问题的特点把数据按照相应的规律进行分配，例如把数据按照时间的不同分配到不同的硬盘上。这种由DBA手工进行的数据分配机制对OLTP系统而言是有意义的，也确实能提高系统性能。但对数据仓库系统来说，其查询往往比较复杂而且具有不确定性，不同的业务部门可能会提出各种不同的问题，如果再按照一种规律进行数据的分配，则有可能对某些问题系统的响应速度很快，而对另外一些问题的反应则很慢。

在Teradata数据库中，通过选择合适的主索引就可以保证数据在各磁盘上的自动均匀分配，使得其并行处理性能得以充分的发挥，特别适合于数据仓库环境下各种不确定的、动态的业务问题。另一方面，所有记录的插入、更新都按同样的HASHING算法进行，使得各磁盘上的数据总是混合存储而且是均衡的，不存在“有序”或者“无序”的概念，因而也就不存在数据库的重组问题(Reorganization)。对于传统的OLTP RDBMS而言，投产运行一段时间后系统性能常常因某种原因(如不断追加记录后造成数据存储不平衡)下降，这时就要考虑对数据库的重组。这是一项非常耗时而且需要经验丰富DBA参与的工作。在Teradata中，由于不存在数据库重组这类的工作，使得其管理十分简单。

2、系统管理能力(Data Administration)

Teradata易于管理

Teradata 数据库提供了一整套齐全的工具和功能，可对数据库操作、管理和维护进行控制，您只需通过一个普通的 Windows 用户界面——Teradata 管理器——即可使用这些工具和功能，包括：

•Teradata 备份、存档和恢复解决方案，结合了行业领先合作伙伴和 Teradata 专业技术的实力

•Teradata 仪表盘，用于状态和绩效统计

•管理工作站，用于对整个 Teradata 系统进行单点管理控制

•Teradata 动态工作量管理器，用于查询工作量管理情况

•Teradata 工作量分析器，用于查询绩效分析结果以及对工作量分组和资源分配提出的建议

3、扩充能力和适应能力(Platform Suitability & Scalability )

teradata线性可扩展能力

一般来说，当数据仓库投产以后，随着应用的增加，其数据量也增长得非常快，因此，数据仓库系统对扩展性的要求很高。可扩展包含两方面的含义，即硬件平台的可扩展和软件平台的可扩展，两者必须相互配合，相辅相成，任何一方存在瓶颈都会影响整个系统的扩充能力。Teradata的操作系统是Microsoft Windows NT/2000或者是NCR UNIX，如果使用Windows，则可用使用任何支持Windows的服务器，如果使用NCR UNIX，则只能使用NCR的MPP服务器。之所以存在这种限制的主要原因就在于扩展能力上，因为目前NCR的 MPP服务器是业界扩展能力最强的计算机系统，它配合Teradata，形成了扩展能力最强、并行处理能力最佳的数据仓库基础平台。

考虑一个系统的线性可扩展能力，可以从以下三个方面来进行评估：

▪数据量增长时的线性度：当用户数据量成倍增加时，对于同一个系统(指硬件配置不变)，响应时间是按比例线性增加的；

▪硬件平台的线性度：对于同一个查询，当硬件平台的配置增加一倍时，响应时间应减少一半；

▪并发用户增加时的线性：对于同一个系统，当并发用户的数目增加时，响应时间也按比例线性增加。

对基于Teradata实施的数据仓库系统的扩充是很容易的，可以采用现场升级(Field Upgrade)方式。下图举例说明了将一个四节点的系统扩充到六节点的情况，首先将新增加的两个节点通过BYNET与原系统联接，然后运行Teradata提供的一个名叫RECONFIG的工具，它将自动把原系统磁盘阵列中1/3的数据按照HASH算法均匀地分布到新节点所控制的磁盘中。这个过程完全自动进行，不需要DBA过多地干预。这个特性也是为什么说由Teradata 组成的数据仓库系统比较容易管理的原因之一。