Teradata分析

1、 Teradata 优势 ，能否打数据并发 1）优势
以下是部分Teradata 客户数据仓库管理的内容，可说明Teradata 系统的强大处理能力： •
多达千亿行数据的数据库表格 •
每天数据加载超过30亿条记录 •
每天捕获3000万笔客户交易 •
每天为消费者在线提供150万种个性化产品和服务 •
每小时处理100万次数据库查询 •
每天响应1万个并发数据仓库用户 • 业务查询响应时间仅为40-50毫秒
2）并发问题：
机制 ：Teradata 巨表数据存放机制好像是每个节点均匀分布表中一部分数据，当查询的时候每个节点并行查询，结果汇总到某个节点反馈给查询者。

这个复杂查询的实例形象地说明了Teradata 的多维并行处理机制。

Multi-Step 并 行
并 行 作2. 搜 索 Orders
3. 联 接 Lineitem & Orders 并 行同 时与 各 自 相 关据
图8-16 Teradata 内部并行处理机制说明
这里假设系统配置有4个虚拟处理器(VPROC)，某个复杂查询被优化器分解成了7个步骤，
图中SUPPLIERS、PARTS、PARTSUPP等为数据库中表的名字。

在每个步骤执行时，4个VPROC 同时处理与各自相关的数据块，例如搜索SUPPLIERS表，该表的记录是通过HASH算法均匀分布在四个VPROC各自负责的磁盘中的，搜索时4个VPROC将同时进行，把相关的记录搜索出来，这就是所谓的查询并行。

例子：
例如：使用NCR 5300服务器，2个节点，存储为2TB，RAID1，在业务高峰期，系统并发查询用户在300个以上，最高到1000个，此时系统响应速度有些缓慢大概业务查询响应时间30秒，峰值过后速度就加快了。

主要进行的操作就是表之间的关联查询，4张表，每张6-7千万条记录，ETL加载的数据量不算太大。

2、Teradata内外部集建立原则
针对实际的应用，采用内外部集市可以有效的发挥起各自的优势：
1）松耦合原则
介于要将整个系统划分为数据和应用层，相互存在很多密切关联，在设计库表时要充分考虑数据和应用的相互影响，做到应用不影响到数据的处理，数据处理不直接针对应用的松耦合技术架构
2）任务明确原则
数据处理层和应用层在处理具体业务时，必然存在既可以在数据层处理有可以在应用层处理的问题，需要在设计时充分讨论业务需求，做到责任明确，任务单一，各负其责。

3、teradata比较oracle的优缺点
Teradata是专为数据仓库OLAP设计的，主要用来进行数据的综合分析和处理，
Oracle更多的适合联机事务处理的OLTP应用，针对DW 数据仓库从以下几个角度对teradata进行分析：
1、数据管理能力(Data Management)
数据自动分配
Teradata中只有一种基于HASH算法的数据分配机制，当要插入一条记录时，根据主索引计算出相应的AMP，该条记录即通过此AMP存到其对应的磁盘上。

由于主索引值的不同，一个表的各条记录将通过各AMP均匀地分布到各个磁盘上。

分配过程完全自动进行，不需要DBA干预，这一点和其它OLTP DBMS有很大的区别。

Teradata的HASHING算法经过长期的发展，已经十分完善。

它采用了一个类似矩阵的HASH MAP，将计算出来的HASH值通过此矩阵
的映射与AMP进行联系。

这样，当重新配置AMP数时，只需要变动HASH MAP，速度非常快。

对于OLTP系统而言，其查询的特点是预先知道要回答什么样的问题，因此，DBA会根据业务问题的特点把数据按照相应的规律进行分配，例如把数据按照时间的不同分配到不同的硬盘上。

这种由DBA手工进行的数据分配机制对OLTP系统而言是有意义的，也确实能提高系统性能。

但对数据仓库系统来说，其查询往往比较复杂而且具有不确定性，不同的业务部门可能会提出各种不同的问题，如果再按照一种规律进行数据的分配，则有可能对某些问题系统的响应速度很快，而对另外一些问题的反应则很慢。

在Teradata数据库中，通过选择合适的主索引就可以保证数据在各磁盘上的自动均匀分配，使得其并行处理性能得以充分的发挥，特别适合于数据仓库环境下各种不确定的、动态的业务问题。

另一方面，所有记录的插入、更新都按同样的HASHING算法进行，使得各磁盘上的数据总是混合存储而且是均衡的，不存在“有序”或者“无序”的概念，因而也就不存在数据库的重组问题(Reorganization)。

对于传统的OLTP RDBMS而言，投产运行一段时间后系统性能常常因某种原因(如不断追加记录后造成数据存储不平衡)下降，这时就要考虑对数据库的重组。

这是一项非常耗时而且需要经验丰富DBA参与的工作。

在Teradata中，由于不存在数据库重组这类的工作，使得其管理十分简单。

2、系统管理能力(Data Administration)
Teradata易于管理
Teradata 数据库提供了一整套齐全的工具和功能，可对数据库操作、管理和维护进行控制，您只需通过一个普通的 Windows 用户界面——Teradata 管理器——即可使用这些工具和功能，包括：
•Teradata 备份、存档和恢复解决方案，结合了行业领先合作伙伴和 Teradata 专业技术的实力
•Teradata 仪表盘，用于状态和绩效统计
•管理工作站，用于对整个 Teradata 系统进行单点管理控制
•Teradata 动态工作量管理器，用于查询工作量管理情况
•Teradata 工作量分析器，用于查询绩效分析结果以及对工作量分组和资源分配提出的建议
3、扩充能力和适应能力(Platform Suitability & Scalability )
teradata线性可扩展能力
一般来说，当数据仓库投产以后，随着应用的增加，其数据量也增长得非常快，因此，数据仓库系统对扩展性的要求很高。

可扩展包含两方面的含义，即硬件平台的可扩展和软件平台的可扩展，两者必须相互配合，相辅相成，任何一方存在瓶颈都会影响整个系统的扩充能力。

Teradata的操作系统是Microsoft Windows NT/2000或者是NCR UNIX，如果使用Windows，则可用使用任何支持Windows的服务器，如果使用NCR UNIX，则只能使用NCR的MPP服务器。

之所以存在这种限制的主要原因就在于扩展能力上，因为目前NCR的 MPP服务器是业界扩展能力最强的计算机系统，它配合Teradata，形成了扩展能力最强、并行处理能力最佳的数据仓库基础平台。

考虑一个系统的线性可扩展能力，可以从以下三个方面来进行评估：
▪数据量增长时的线性度：当用户数据量成倍增加时，对于同一个系统(指硬件配置不变)，响应时间是按比例线性增加的；
▪硬件平台的线性度：对于同一个查询，当硬件平台的配置增加一倍时，响应时间应减少一半；
▪并发用户增加时的线性：对于同一个系统，当并发用户的数目增加时，响应时间也按比例线性增加。

对基于Teradata实施的数据仓库系统的扩充是很容易的，可以采用现场升级(Field Upgrade)方式。

下图举例说明了将一个四节点的系统扩充到六节点的情况，首先将新增加的两个节点通过BYNET与原系统联接，然后运行Teradata提供的一个名叫RECONFIG的工具，它将自动把原系统磁盘阵列中1/3的数据按照HASH算法均匀地分布到新节点所控制的磁盘中。

这个过程完全自动进行，不需要DBA过多地干预。

这个特性也是为什么说由Teradata 组成的数据仓库系统比较容易管理的原因之一。

转移1/3 的数据至 ...这里
图8-17 Teradata线性扩展说明
4、并发查询管理能力(Concurrent Query Management)
Teradata最显著的特色之一是其强大的并行处理能力，这也是为什么说它是数据仓库专用引擎的主要原因之一。

其实现方式被称为多维并行处理机制，简单描述如下：
查询并行(Query并行)：这种并行处理是基于上面介绍的HASHING数据分配机制实现的。

每个AMP都是一个VPROC，各自独立负责一部分数据的处理，相互之间没有关系，每个节点一般配置4至16个这样的VPROC。

所有关系运算如表的搜索、索引检索、投影、选择、联接、聚集、排序等都是由各个VPROC并行进行的。

步内并行(Within-a-Step并行)：一个SQL查询进入系统后，首先由优化器进行优化处理，分解成一些小的步骤(Step)，然后再分发给各VPROC进行处理。

一个步骤可能非常简单，如“搜索一个表并返回结果”，也可能非常复杂，如“按照某条件搜索两个表，然后联接，结果投影到某几个列，对它们加和(SUM)后返回结果”。

象这种复杂查询将处理多个关系运算，每个关系运算在一个VPROC内将启动多个进程来实现并行处理，称为步内并行。

多步并行(Multi-Step并行)：上面说过，一个SQL被分解成多个小的步骤，这些步骤的执行将同时进行，称为多步并行。

优化器分解一个SQL查询请求的原则是尽可能使各步独立。

在目前所有的DBMS产品中，只有Teradata实现了多步并行。