优化方案文档

优化方案文档

1

2020年4月19日

优化方案：ETL的过程原理和数据仓库建设

这篇论坛文章（赛迪网技术社区）根据笔者多年的数据仓库实施经验，同时结合ETL的过程原理和数据仓库建设方法归纳总结了以下优化的方案，详细内容请读者参考下文：

1.引言

数据仓库建设中的ETL(Extract, Transform, Load)是数据抽取、转换和装载到模型的过程，整个过程基本是经过控制用SQL语句编写的存储过程和函数的方式来实现对数据的直接操作，SQL语句的效率将直接影响到数据仓库后台的性能。

当前，国内的大中型企业基本都具有四年以上计算机信息系统应用经验，积累了大量可分析的业务数据，这些信息系统中的数据需要经过搭建数据仓库平台才能得到科学的分析，这也是近几年数据仓库系统建设成为IT领域热门话题的原因。

2.优化的思路分析

数据仓库ETL过程的主要特点是：面对海量的数据进行抽取；分时段对大批量数据进行删除、更新和插入操作；面对异常的数据进行规则化的清洗；大量的分析模型重算工作；有特定的过程处理时间规律性，一般整个ETL过程需要在每天的零点开始到6点之前完成。因此，针对ETL过程的优化主要是结合数据仓库自身的特点，抓住需要优化的主要方面，针对不同的情况从如何采用

文档仅供参考，不当之处，请联系改正。

高效的SQL入手来进行。

优化的实例分析

当前数据仓库建设中的后台数据库大部分采用Oracle，以下的SQL采用Oracle的语法来说明，所有的测试在Oracle9i环境中经过，但其优化的方法和原理同样适合除Oracle之外的其它数据库。

3.1索引的正确使用

在海量数据表中，基本每个表都有一个或多个的索引来保证高效的查询，在ETL过程中的索引需要遵循以下使用原则：

(1) 当插入的数据为数据表中的记录数量10%以上时, 首先需要删除该表的索引来提高数据的插入效率，当数据全部插入后再建立索引。

(2) 避免在索引列上使用函数或计算，在WHERE子句中，如果索引列是函数的一部分，优化器将不使用索引而使用全表扫描。举例:

低效： SELECT * ROM DEPT WHERE SAL * 12 > 25000;

高效： SELECT * FROM DEPT WHERE SAL > 25000/12;

(3) 避免在索引列上使用NOT和”!=” ，索引只能告诉什么存在于表中，而不能告诉什么不存在于表中，当数据库遇到NOT

和”!=”时，就会停止使用索引转而执行全表扫描。

3

2020年4月19日