在Oracle中利用Rowid查找和删除表中的重复记录
SQL查询去除重复记录
SQL查询去除重复记录在SQL中,可以使用DISTINCT关键字来去除重复记录。
DISTINCT关键字可以应用于SELECT语句中的单个列或多个列,以去除结果集中重复的行。
例如,假设有一个名为customers的表,包含以下列:id、name和email。
现在我们希望查询所有不重复的顾客姓名。
可以使用以下SQL语句进行查询:SELECT DISTINCT name FROM customers;上述查询将返回一个结果集,其中包含不重复的顾客姓名。
另外,如果希望查询多个列并去除重复记录,可以使用多个列名作为DISTINCT的参数,例如:SELECT DISTINCT name, email FROM customers;上述查询将返回一个结果集,其中包含不重复的顾客姓名和电子邮件。
需要注意的是,DISTINCT关键字只会在SELECT子句中的列上去除重复记录。
如果查询中包含其他列,那么结果集中可能还是会包含重复的记录。
除了DISTINCT关键字,还可以使用GROUPBY子句来进行分组并去除重复记录。
以下是一个使用GROUPBY子句的示例:SELECT name FROM customersGROUP BY name;上述查询将按照姓名对结果集进行分组,并且只返回每个分组的第一条记录。
需要注意的是,使用GROUPBY子句时,还可以使用聚合函数(如SUM、AVG、COUNT等)来对分组后的结果进行计算或统计。
最后,如果希望在查询过程中去除重复记录,可以使用嵌套查询或者临时表来实现。
嵌套查询是嵌入在主查询内部的子查询,可以在子查询中使用DISTINCT关键字来去除重复记录。
以下是一个使用嵌套查询的示例:SELECT name FROM (SELECT DISTINCT name FROM customers) AS subquery;上述查询先执行嵌套子查询,去除重复的顾客姓名,然后将结果作为一个临时表,供主查询使用。
Oracle删除表中重复数据
Oracle删除表中重复数据我们可能会出现这种情况,某个表原来设计不周全,导致表里面的数据数据重复,那么,如何对重复的数据进行删除呢?重复的数据可能有这样两种情况,第一种时表中只有某些字段一样,第二种是两行记录完全一样。
一、对于部分字段重复数据的删除先来谈谈如何查询重复的数据吧。
下面语句可以查询出那些数据是重复的:select 字段1,字段2,count(*) from 表名group by 字段1,字段2 having count(*) > 1将上面的>号改为=号就可以查询出没有重复的数据了。
想要删除这些重复的数据,可以使用下面语句进行删除delete from 表名a where 字段1,字段2 in(select 字段1,字段2,count(*) from 表名group by 字段1,字段 2 having count(*) > 1)上面的语句非常简单,就是将查询到的数据删除掉。
不过这种删除执行的效率非常低,对于大数据量来说,可能会将数据库吊死。
所以我建议先将查询到的重复的数据插入到一个临时表中,然后对进行删除,这样,执行删除的时候就不用再进行一次查询了。
如下:CREATE TABLE 临时表AS(select 字段1,字段2,count(*) from 表名group by 字段1,字段2 having count(*) > 1)上面这句话就是建立了临时表,并将查询到的数据插入其中。
下面就可以进行这样的删除操作了:delete from 表名a where 字段1,字段2 in (select 字段1,字段2 from 临时表);这种先建临时表再进行删除的操作要比直接用一条语句进行删除要高效得多。
这个时候,大家可能会跳出来说,什么?你叫我们执行这种语句,那不是把所有重复的全都删除吗?而我们想保留重复数据中最新的一条记录啊!大家不要急,下面我就讲一下如何进行这种操作。
SQL语句性能调整之ORACLE的执行计划
SQL语句性能调整之ORACLE的执行计划1.背景知识:为了更好的进行下面的内容我们必须了解一些概念性的术语:共享sql语句为了不重复解析相同的SQL语句(因为解析操作比较费资源,会导致性能下降),在第一次解析之后,ORACLE将SQL语句及解析后得到的执行计划存放在内存中。
这块位于系统全局区域SGA(system global area)的共享池(shared buffer pool)中的内存可以被所有的数据库用户共享。
因此,当你执行一个SQL语句(有时被称为一个游标)时,如果该语句和之前的执行过的某一语句完全相同,并且之前执行的该语句与其执行计划仍然在内存中存在,则ORACLE就不需要再进行分析,直接得到该语句的执行路径。
ORACLE的这个功能大大地提高了SQL的执行性能并大大节省了内存的使用。
使用这个功能的关键是将执行过的语句尽可能放到内存中,所以这要求有大的共享池(通过设置shared buffer pool参数值)和尽可能的使用绑定变量的方法执行SQL语句。
当你向ORACLE 提交一个SQL语句,ORACLE会首先在共享内存中查找是否有相同的语句。
这里需要注明的是,ORACLE对两者采取的是一种严格匹配,要达成共享,SQL语句必须完全相同(包括空格,换行等)。
下面是判断SQL语句是否与共享内存中某一SQL相同的步骤:1). 对所发出语句的文本串进行hashed。
如果hash值与已在共享池中SQL 语句的hash值相同,则进行第2步:2) 将所发出语句的文本串(包括大小写、空白和注释)与在第1步中识别的所有已存在的SQL语句相比较。
例如:SELECT * FROM emp WHERE empno = 1000;和下列每一个都不同SELECT * from emp WHERE empno = 1000;SELECT * FROM EMP WHERE empno = 1000;SELECT * FROM emp WHERE empno = 2000;在上面的语句中列值都是直接SQL语句中的,今后我们将这类sql成为硬编码SQL或字面值SQL使用绑定变量的SQL语句中必须使用相同的名字的绑定变量(bind variables) ,例如:a. 该2个sql语句被认为相同select pin , name from people where pin = :blk1.pin;select pin , name from people where pin = :blk1.pin;b. 该2个sql语句被认为不相同select pin , name from people where pin = :blk1.ot_ind;select pin , name from people where pin = :blk1.ov_ind;今后我们将上面的这类语句称为绑定变量SQL。
sql筛选重复记录
sql筛选重复记录SQL筛选重复记录是指在数据库中存在多条记录,它们的某些字段的值完全相同。
这种情况可能会影响数据的准确性和查询结果的正确性,因此需要使用SQL语句来筛选出这些重复记录,以便进行处理或删除。
常用的SQL语句如下:1. 使用GROUP BY和HAVING子句进行筛选SELECT field1, field2, COUNT(*) AS count FROM table_name GROUP BY field1, field2 HAVING COUNT(*) > 1;这条语句首先按照field1和field2两个字段进行分组,然后统计每组中的记录数量,最后筛选出记录数量大于1的分组,即为重复记录。
2. 使用DISTINCT关键字进行筛选SELECT DISTINCT field1, field2 FROM table_name;这条语句会返回所有不同的field1和field2的组合,因此如果有重复记录,它们会被筛选出来。
3. 使用INNER JOIN进行筛选SELECT a.field1, a.field2 FROM table_name a INNER JOIN (SELECT field1, field2 FROM table_name GROUP BY field1, field2 HAVING COUNT(*) > 1) b ON a.field1 = b.field1 AND a.field2 = b.field2;这条语句使用了INNER JOIN连接了两个相同的表,其中第二个表使用了GROUP BY和HAVING子句筛选出重复记录,最终结果只返回包含重复记录的字段值。
总之,SQL筛选重复记录的方式有很多种,具体选择哪种方式,需要根据实际情况进行判断和选择。
高效SQL语句5篇
高效SQL语句5篇第一篇:高效SQL语句1.SELECT子句中避免使用“*”当你想在SELECT子句中列出所有的COLUMN时,使用动态SQL 列引用…*‟是一个方便的方法.不幸的是,这是一个非常低效的方法.实际上,ORACLE在解析的过程中, 会将“*” 依次转换成所有的列名, 这个工作是通过查询数据字典完成的, 这意味着将耗费更多的时间.2.使用DECODE函数来减少处理时间使用DECODE函数可以避免重复扫描相同记录或重复连接相同的表.例如:Sql代码1.SELECT COUNT(*),SUM(SAL)FROM EMP WHERE DEPT_NO = 0020 ANDENAME LIKE …SMITH%‟;2.SELECT COUNT(*),SUM(SAL)FROM EMP WHERE DEPT_NO = 0030 AND ENAME LIKE …SMITH%‟;SELECT COUNT(*),SUM(SAL)FROM EMP WHERE DEPT_NO = 0020 ANDENAME LIKE …SMITH%‟;SELECT COUNT(*),SUM(SAL)FROM EMP WHERE DEPT_NO = 0030 AND ENAME LIKE …SMITH%‟;你可以用DECODE函数高效地得到相同结果:Sql代码1.SELECT COUNT(DECODE(DEPT_NO,0020,‟X ‟,NULL))D0020_COUNT,2.COUNT(DECODE(DEPT_NO,0030,‟X ‟,NULL))D0030_COUNT,3.SUM(DECODE(DEPT_NO,0020,SAL,NUL L))D0020_SAL,4.SUM(DECODE(DEPT_NO,0030,SAL,NULL))D0030 _SAL5.FROM EMP WHERE ENAME LIKE …SMITH%‟;SELECT COUNT(DECODE(DEPT_NO,0020,‟X ‟,NULL))D0020_COUNT,COUNT(DECODE(DEPT_NO,0030,‟X ‟,NULL))D0030_COUNT,SUM(DECODE(DEPT_NO,0020,SAL,NULL))D0020_SAL,SUM(DECODE(DEPT_NO,0030,SAL,NULL))D0030_SA L FROM EMP WHERE ENAME LIKE …SMITH%‟;类似的,DECODE函数也可以运用于GROUP BY 和ORDER BY子句中.3.删除重复记录最高效的删除重复记录方法(因为使用了ROWID)Sql代码1.DELETE FROM EMP E WHERE E.ROWID >(SELECT MIN(X.ROWID)FROM EMP X WHERE X.EMP_NO = E.EMP_NO);DELETE FROM EMP E WHERE E.ROWID >(SELECT MIN(X.ROWID)FROM EMP X WHERE X.EMP_NO = E.EMP_NO);4.用TRUNCATE替代DELETE当删除表中的记录时,在通常情况下,回滚段(rollback segments)用来存放可以被恢复的信息,如果你没有COMMIT事务,ORACLE会将数据恢复到删除之前的状态(准确地说是恢复到执行删除命令之前的状况),而当运用TRUNCATE时, 回滚段不再存放任何可被恢复的信息.当命令运行后,数据不能被恢复.因此很少的资源被调用,执行时间也会很短.5.计算记录条数和一般的观点相反, count(*)比count(1)稍快,当然如果可以通过索引检索,对索引列的计数仍旧是最快的.例如 COUNT(EMPNO)6.用Where子句替换HAVING子句避免使用HAVING子句,HAVING 只会在检索出所有记录之后才对结果集进行过滤,这个处理需要排序、总计等操作,如果能通过WHERE子句限制记录的数目,那就能减少这方面的开销, 例如: Sql代码1.--低效2.SELECT REGION,AVG(LOG_SIZE)FROM LOCATION GROUP BY REGION HAVING REGION REGION!= …SYDNEY‟AND REGION!= …PERTH‟3.--高效4.SELECT REGION,AVG(LOG_SIZE)FROMLOCATION WHERE REGION REGION!= …SYDNEY‟ ND REGION!= …PERTH‟ GROUP BYREGION--低效SELECT REGION,AVG(LOG_SIZE)FROM LOCATION GROUP BY REGION HAVING REGION REGION!= …SYDNEY‟AND REGION!= …PERTH‟--高效SELECT REGION,AVG(LOG_SIZE)FROMLOCATION WHERE REGION REGION!= …SYDNEY‟ ND REGION!= …PERTH‟ GROUP BY REGION7.用EXISTS替代IN在许多基于基础表的查询中,为了满足一个条件,往往需要对另一个表进行联接.在这种情况下, 使用EXISTS(或NOT EXISTS)通常将提高查询的效率.Sql代码1.--低效2.SELECT * FROM EMP WHERE EMPNO > 0 AND DEPTNO IN(SELECT DEPTNO FROM DEPT WHERE LOC = …MELB‟)3.--高效:4.SELECT * FROM EMP WHERE EMPNO > 0 AND EXISTS(SELECT …X‟FROM DEPT WHERE DEPT.DEPTNO = EMP.DEPTNO AND LO C = …MELB‟)--低效SELECT * FROM EMP WHERE EMPNO > 0 AND DEPTNO IN(SELECT DEPTNO FROM DEPT WHERE LOC = …MELB‟) --高效:SELECT * FROM EMP WHERE EMPNO > 0 AND EXISTS(SELECT …X‟FROM DEPT WHERE DEPT.DEPTNO = EMP.DEPTNO AND LOC = …MELB‟)8.用NOT EXISTS替代NOT IN在子查询中,NOT IN子句将执行一个内部的排序和合并.无论在哪种情况下,NOT IN都是最低效的(因为它对子查询中的表执行了一个全表遍历).为了避免使用NOT IN,我们可以把它改写成外连接(Outer Joins)或NOT EXISTS.例如:SELECT …FROM EMPWHERE DEPT_NO NOT IN(SELECT DEPT_NO FROM DEPT WHERE DEPT_CAT=‟A‟);Sql代码1.--为了提高效率改写为:(方法一: 高效)SELECT ….FROM EMP A,DEPT B WHERE A.DEPT_NO = B.DEPT(+)AND B.DEPT_NO IS NULL AND B.DEPT_CAT(+)= …A‟2.--(方法二: 最高效)SELECT ….FROM EMP E WHERE NOT EXISTS(SELECT …X‟FROM DEPT D WHERE D.DEPT_NO = E.DEPT_NO AND DEPT_CAT = …A‟);3.--为了提高效率改写为:(方法一: 高效)SELECT ….FROM EMP A,DEPT B WHERE A.DEPT_NO =B.DEPT(+)AND B.DEPT_NO IS NULL AND B.DEPT_CAT(+)= …A‟4.--(方法二: 最高效)SELECT ….FROM EMP E WHERE NOT EXISTS(SELECT …X‟FROM DEPT D WHERE D.DEPT_NO = E.DEPT_NO AND DEPT_CAT = …A‟);9.用EXISTS替换DISTINCT当提交一个包含一对多表信息(比如部门表和雇员表)的查询时,避免在SELECT子句中使用DISTINCT.一般可以考虑用EXIST替换例如: Sql代码1.--低效:2.SELECT DISTINCT DEPT_NO,DEPT_NAMEFROM DEPT D,EMP E WHERE D.DEPT_NO = E.DEPT_NO3.--高效:4.SELECT DEPT_NO,DEPT_NAMEFROM DEPT D WHERE EXISTS(SELECT …X‟FROM EMP E WHERE E.DEPT_NO =D.DEPT_NO);5.--EXISTS 使查询更为迅速,因为RDBMS核心模块将在子查询的条件一旦满足后,立刻返回结果.--低效:SELECT DISTINCT DEPT_NO,DEPT_NAMEFROM DEPT D,EMP E WHERE D.DEPT_NO = E.DEPT_NO--高效:SELECT DEPT_NO,DEPT_NAMEFROM DEPT D WHERE EXISTS(SELECT …X‟FROM EMP E WHERE E.DEPT_NO = D.DEPT_NO);--EXISTS 使查询更为迅速,因为RDBMS核心模块将在子查询的条件一旦满足后,立刻返回结果.10.用索引提高效率索引是表的一个概念部分,用来提高检索数据的效率,实际上ORACLE使用了一个复杂的自平衡B-tree结构,通常通过索引查询数据比全表扫描要快,当ORACLE找出执行查询和Update语句的最佳路径时,ORACLE优化器将使用索引,同样在联结多个表时使用索引也可以提高效率,另一个使用索引的好处是,它提供了主键(primary key)的唯一性验证,除了那些LONG或LONG RAW数据类型, 你可以索引几乎所有的列.通常, 在大型表中使用索引特别有效.当然,你也会发现, 在扫描小表时,使用索引同样能提高效率,虽然使用索引能得到查询效率的提高,但是我们也必须注意到它的代价.索引需要空间来存储,也需要定期维护,每当有记录在表中增减或索引列被修改时,索引本身也会被修改,这意味着每条记录的INSERT , DELETE , UPDATE将为此多付出4 , 5 次的磁盘I/O,因为索引需要额外的存储空间和处理,那些不必要的索引反而会使查询反应时间变慢注:定期的重构索引是有必要的.11.避免在索引列上使用计算WHERE子句中,如果索引列是函数的一部分,优化器将不使用索引而使用全表扫描.举例:Sql代码1.--低效:2.SELECT …FROM DEPT WHERE SAL * 12 > 25000;3.--高效:4.SELECT … FROM DEPT WHERE SAL> 25000/12;--低效:SELECT …FROM DEPT WHERE SAL * 12 > 25000;--高效:SELECT … FROM DEPT WHERE SAL> 25000/12;12.用>=替代>Sql代码1.--如果DEPTNO上有一个索引2.--高效:SELECT *FROM EMPWHERE DEPTNO >=43.--低效:SELECT *FROM EMPWHERE DEPTNO >3--如果DEPTNO上有一个索引 4.--高效:SELECT *FROM EMPWHERE DEPTNO >=45.--低效:SELECT *FROM EMPWHERE DEPTNO >3两者的区别在于, 前者DBMS将直接跳到第一个DEPT等于4的记录而后者将首先定位到DEPTNO=3的记录并且向前扫描到第一个DEPT大于3的记录.第二篇:高效的SQL语句如何写高效率的SQL语句、Where子句中的连接顺序:ORACLE采用自下而上的顺序解析WHERE子句。
Oracle索引详解
一.索引介绍1.1 索引的创建语法:CREATE UNIUQE | BITMAP INDEX <schema>.<index_name>ON <schema>.<table_name>(<column_name> | <expression> ASC | DESC,<column_name> | <expression> ASC | DESC,...)TABLESPACE <tablespace_name>STORAGE <storage_settings>LOGGING | NOLOGGINGCOMPUTE STATISTICSNOCOMPRESS | COMPRESS<nn>NOSORT | REVERSEPARTITION | GLOBAL PARTITION<partition_setting>相关说明1) UNIQUE | BITMAP:指定UNIQUE为唯一值索引,BITMAP为位图索引,省略为B-Tree索引。
2)<column_name> | <expression> ASC | DESC:可以对多列进行联合索引,当为expression 时即“基于函数的索引”3)TABLESPACE:指定存放索引的表空间(索引和原表不在一个表空间时效率更高)4)STORAGE:可进一步设置表空间的存储参数5)LOGGING | NOLOGGING:是否对索引产生重做日志(对大表尽量使用NOLOGGING来减少占用空间并提高效率)6)COMPUTE STATISTICS:创建新索引时收集统计信息7)NOCOMPRESS | COMPRESS<nn>:是否使用“键压缩”(使用键压缩可以删除一个键列中出现的重复值)8)NOSORT | REVERSE:NOSORT表示与表中相同的顺序创建索引,REVERSE表示相反顺序存储索引值9)PARTITION | NOPARTITION:可以在分区表和未分区表上对创建的索引进行分区1.2 索引特点:第一,通过创建唯一性索引,可以保证数据库表中每一行数据的唯一性。
数据库查找重复数据的方法
数据库查找重复数据的方法数据库是现代信息系统中常用的数据存储和管理工具,它可以存储大量的数据并提供高效的数据检索和管理功能。
然而,由于数据的重复性和冗余性,数据库中可能存在大量的重复数据。
查找并处理这些重复数据对于保证数据的一致性和准确性非常重要。
本文将介绍几种常用的数据库查找重复数据的方法。
一、使用DISTINCT关键字在SQL语句中,可以使用DISTINCT关键字来查找唯一的数据,即去除重复数据。
例如,假设有一个名为student的表,包含学生的学号和姓名信息。
要查找所有不重复的学号,可以使用以下SQL语句:SELECT DISTINCT 学号 FROM student;这样就可以得到所有不重复的学号列表。
需要注意的是,DISTINCT 关键字只能用于查询单个列的唯一值,不能用于查询多个列的组合唯一值。
二、使用GROUP BY语句GROUP BY语句可以将相同的数据分组,并对每个组进行聚合操作。
通过对数据库表使用GROUP BY语句,可以找到重复的数据。
以上述的student表为例,要查找重复的学生信息,可以使用以下SQL语句:SELECT 学号, COUNT(*) as 重复次数FROM studentGROUP BY 学号HAVING COUNT(*) > 1;这样就可以得到学号重复的学生信息以及重复的次数。
通过GROUP BY和HAVING语句的组合使用,可以方便地查找重复数据。
三、使用子查询在SQL语句中,可以使用子查询来查找重复数据。
具体的做法是,先编写一个查询语句,找出所有重复的数据;然后,使用这个查询语句作为子查询,在外层查询语句中使用NOT IN或EXISTS关键字排除重复数据。
例如,要查找重复的学号,可以使用以下SQL语句:SELECT 学号 FROM studentWHERE 学号 NOT IN (SELECT MIN(学号) FROM student GROUP BY 学号);这样就可以得到重复的学号列表。
删除重复数据
解释数据归档和非归档?
归档就是可以备份所有数据库transactions,并恢复到任意的一个时间点。
非归档不可以,但是性能上有少许提高。
存储过程和函数的区别:
存储过程是用户定义的一系列sql语句的集合,涉及特定表或其它对象的任务,
用户可以调用存储过程。函数通常是数据库已定义的方法,它接收参数并返回某种
建立索引后,select会快,但是会影响insert,delete,update,因为要对rowid进行维护.
id like '00%'会影响查询速度,因为不是精确定位,所以会对索引页进行全面扫描.
心得:
如果表的列很少,不适合建索引.
当执行过多次的insert,delete,update后,会出现索引碎片,影响查询速度,我们应该对索引进行重组.
第一范式:要求元组的每一个数据项都不能再分割,都是原子项。
第二范式:如果符合第一范式,并且每一个非关键字属性都完全依赖于
主关键字,那么就可认为该关键模式符合第二范式。
第三范式:如果符合第二范式,所有非关键字属性之间不存在函数依赖关系,
那么就可认为该关键模式符合第三范式。
姓名 工资等级 工资总额(工资总额依赖与工资等级)
//这里max使用min也可以
delete from tbl where rowid not in
(select max(rowid) from tbl tgroup by t.col1, t.col2);
4.excel
select max(id),name from tb_a group by name ;
左,右连接:
左连接左边是主表,+在右边,主表所有字段都会列出来,如果不符合条件的就会检索出null;
oracle查重语句
oracle查重语句Oracle数据库是一种关系型数据库管理系统,提供了丰富的SQL 语句来满足不同的查询需求。
查重是指在数据库中查找重复的数据记录,可以通过使用不同的SQL语句来实现。
下面列举了10个符合要求的Oracle查重语句。
1. 查找表中重复的记录数量```sqlSELECT column1, column2, COUNT(*) AS duplicate_countFROM table_nameGROUP BY column1, column2HAVING COUNT(*) > 1;```这条语句会返回表中所有重复记录的列值和重复的数量。
2. 查找表中重复的记录并删除```sqlDELETE FROM table_nameWHERE rowid NOT IN (SELECT MIN(rowid)FROM table_nameGROUP BY column1, column2);```这条语句会删除表中除了第一次出现的重复记录以外的所有重复记录。
3. 查找表中重复的记录并更新```sqlUPDATE table_nameSET column1 = new_value1, column2 = new_value2WHERE rowid NOT IN (SELECT MIN(rowid)FROM table_nameGROUP BY column1, column2);```这条语句会更新表中除了第一次出现的重复记录以外的所有重复记录的列值。
4. 查找表中重复的记录并将其标记为重复```sqlUPDATE table_nameSET duplicate_flag = 'Y'WHERE rowid IN (SELECT rowidFROM (SELECT rowid, ROW_NUMBER() OVER (PARTITION BY column1, column2 ORDER BY rowid) AS row_numFROM table_name)WHERE row_num > 1);```这条语句会将表中重复的记录的duplicate_flag列设为'Y'。
oracle删除表数据的方法
oracle删除表数据的方法
在Oracle数据库中,删除表数据的方法有三种:DELETE、TRUNCATE和DROP。
1. DELETE语句:用于删除表中的数据,但表结构不会被删除。
这个操作会被放到rollback segment中,事务提交之后才生效。
如果有相应的trigger,执行的时候将被触发。
DELETE语句不会隐式提交,需要手动提交。
2. TRUNCATE语句:是DDL(数据定义语言)的一种,操作立即生效,原数据不放到rollback segment中,不能回滚,操作不触发trigger。
TRUNCATE和delete只删除数据不删除表的结构。
TRUNCATE语句缺省
情况下将空间释放到minextents个extent,除非使用reuse storage,TRUNCATE会将高水线复位(回到最开始)。
3. DROP语句:将删除表的结构以及被依赖的约束(constrain)、触发器(trigger)、索引;依赖于该表的存储过程/函数将保留,但是变为invalid (无效)状态。
DROP语句将表所占用的空间全部释放。
DROP命令的速度最快,因为它不会记录在日志中。
一旦执行没有退步的余地。
请注意,这些操作都应谨慎使用,特别是DROP和TRUNCATE,因为一旦执行没有退步的余地。
select消除重复记录的方法
select消除重复记录的方法在关系型数据库中,常常会遇到需要查询并消除重复记录的情况。
重复记录可能是由于数据录入错误、多次插入相同数据或者其他原因导致的。
为了保证查询结果的准确性和一致性,我们需要使用SELECT语句来消除重复记录。
一、使用DISTINCT关键字DISTINCT关键字用于查询不重复的记录,它可以应用于SELECT语句的列名或者使用*来表示所有列。
以下是使用DISTINCT关键字消除重复记录的语法:SELECT DISTINCT column1, column2, ...FROM table_name;其中,column1, column2, ...是需要查询的列名,table_name是需要查询的表名。
使用DISTINCT关键字时,查询结果将只返回不重复的记录。
例如,我们有一个名为employees的表,其中包含了员工的姓名和所在部门,我们可以使用以下语句查询不重复的部门名称:SELECT DISTINCT departmentFROM employees;二、使用GROUP BY子句除了使用DISTINCT关键字,我们还可以使用GROUP BY子句来消除重复记录。
GROUP BY子句将查询结果按照指定的列进行分组,并对每个分组进行计算或者聚合操作。
以下是使用GROUP BY子句消除重复记录的语法:SELECT column1, column2, ...FROM table_nameGROUP BY column1, column2, ...;其中,column1, column2, ...是需要分组的列名,table_name是需要查询的表名。
使用GROUP BY子句时,查询结果将只返回每个分组的一个记录。
例如,我们有一个名为orders的表,其中包含了订单的编号和客户名称,我们可以使用以下语句查询每个客户的订单数量:SELECT customer, COUNT(order_id) AS order_countFROM ordersGROUP BY customer;三、使用HAVING子句在使用GROUP BY子句进行分组查询时,有时我们需要对分组结果进行进一步的筛选,这时可以使用HAVING子句。
SQL中删除重复记录
SQL中删除重复记录在SQL中删除重复记录是一个常见的操作任务。
重复记录可以在数据表中出现多次,这可能是由于错误的数据导入、重复的插入操作或其他数据更新问题导致的。
删除重复记录可以提高数据的准确性和一致性,从而保证数据的完整性。
下面是一些常见的方法,用于在SQL中删除重复记录。
1.使用DISTINCT关键字:DISTINCT关键字可以用于SELECT语句,以消除查询结果中的重复记录。
通过使用SELECTDISTINCT语句,我们可以获取没有重复记录的结果集。
然后,我们可以将这个结果集插入到新的表中,并删除原始表中的重复记录。
```--创建新表CREATE TABLE new_employeesSELECT DISTINCT name, phoneFROM employees;--删除原始表DROP TABLE employees;--重命名新表ALTER TABLE new_employeesRENAME TO employees;```2.使用ROW_NUMBER(函数和临时表:ROW_NUMBER(函数可以分配唯一的行号给查询结果集中的每一行。
我们可以将这个函数与临时表结合使用,以生成只包含非重复记录的结果集。
然后,我们可以使用新结果集创建一个新表,并删除原始表中的重复记录。
以下示例演示了如何使用ROW_NUMBER(函数和临时表删除重复记录:```--创建临时表CREATE TABLE tmp_employees ASSELECT *, ROW_NUMBER( OVER (PARTITION BY phone ORDER BY name) AS rnFROM employees;--创建新表CREATE TABLE new_employeesSELECT name, phoneFROM tmp_employeesWHERE rn = 1;--删除原始表DROP TABLE employees;--重命名新表ALTER TABLE new_employeesRENAME TO employees;--删除临时表DROP TABLE tmp_employees;```3.使用GROUPBY和HAVING子句:GROUPBY子句用于将查询结果按照指定的列进行分组。
sql删除重复数据方法
sql删除重复数据方法在SQL中,可以使用多种方法删除重复数据。
以下是一些常见的方法:1.使用DISTINCT关键字:DISTINCT关键字用于从结果集中仅选择唯一的值。
可以将DISTINCT用于SELECT语句,以选择指定列中的唯一值。
例如,如果要删除表中name列中的重复数据,可以使用以下语句:```DELETE FROM table_name WHERE id NOT IN (SELECT MIN(id) FROM table_name GROUP BY name);```这将删除除具有最小ID值的记录外,表中所有name列的重复记录。
2.使用临时表:可以使用临时表来删除重复数据。
首先,创建一个临时表,将表中的数据插入到临时表中。
然后,从临时表中删除重复数据。
最后,将临时表中的数据重新插入到原始表中。
以下是一个使用临时表删除重复数据的例子:```--创建临时表CREATE TABLE temp_table AS SELECT DISTINCT * FROMoriginal_table;--清空原始表TRUNCATE TABLE original_table;--从临时表中重新插入数据到原始表INSERT INTO original_table SELECT * FROM temp_table;```请注意,上述示例省略了保持表结构的细节。
3.使用ROW_NUMBER(函数:ROW_NUMBER(函数为每个行分配一个唯一的数字。
可以使用该函数删除重复数据。
以下是一个使用ROW_NUMBER(函数删除重复数据的例子:```DELETEFROMSELECT column1, column2, column3, ROW_NUMBER( OVER (PARTITION BY column1, column2, column3 ORDER BY (SELECT 0)) AS rnFROM table_nametWHERE t.rn > 1;```上述示例按列column1、column2和column3进行分组,并按指定的顺序为每个组分配唯一的行号。
sql执行计划
Oracle sql 性能优化调整1. 选用适合的ORACLE优化器ORACLE的优化器共有3种:a. RULE (基于规则)b. COST (基于成本)c. CHOOSE (选择性)设置缺省的优化器,可以通过对init.ora文件中OPTIMIZER_MODE 参数的各种声明,如RULE,COST,CHOOSE,ALL_ROWS,FIRST_ROWS . 你当然也在SQL句级或是会话(session)级对其进行覆盖.为了使用基于成本的优化器(CBO, Cost-Based Optimizer) , 你必须经常运行analyze 命令,以增加数据库中的对象统计信息(object statistics)的准确性.如果数据库的优化器模式设置为选择性(CHOOSE),那么实际的优化器模式将和是否运行过analyze命令有关. 如果table已经被analyze 过, 优化器模式将自动成为CBO , 反之,数据库将采用RULE形式的优化器.在缺省情况下,ORACLE采用CHOOSE优化器, 为了避免那些不必要的全表扫描(full table scan) , 你必须尽量避免使用CHOOSE优化器,而直接采用基于规则或者基于成本的优化器.2. 访问Table的方式ORACLE 采用两种访问表中记录的方式:a. 全表扫描全表扫描就是顺序地访问表中每条记录. ORACLE采用一次读入多个数据块(database block)的方式优化全表扫描.b. 通过ROWID访问表你可以采用基于ROWID的访问方式情况,提高访问表的效率, , ROWID包含了表中记录的物理位置信息..ORACLE采用索引(INDEX)实现了数据和存放数据的物理位置(ROWID)之间的联系. 通常索引提供了快速访问ROWID的方法,因此那些基于索引列的查询就可以得到性能上的提高.3. 共享SQL语句为了不重复解析相同的SQL语句,在第一次解析之后, ORACLE将SQL语句存放在内存中.这块位于系统全局区域SGA(system global area)的共享池(shared buffer pool)中的内存可以被所有的数据库用户共享. 因此,当你执行一个SQL语句(有时被称为一个游标)时,如果它和之前的执行过的语句完全相同, ORACLE就能很快获得已经被解析的语句以及最好的执行路径. ORACLE的这个功能大大地提高了SQL的执行性能并节省了内存的使用.可惜的是ORACLE只对简单的表提供高速缓冲(cache buffering) ,这个功能并不适用于多表连接查询.第 1 页数据库管理员必须在init.ora中为这个区域设置合适的参数,当这个内存区域越大,就可以保留更多的语句,当然被共享的可能性也就越大了.当你向ORACLE 提交一个SQL语句,ORACLE会首先在这块内存中查找相同的语句.这里需要注明的是,ORACLE对两者采取的是一种严格匹配,要达成共享,SQL语句必须完全相同(包括空格,换行等).共享的语句必须满足三个条件:A. 字符级的比较:当前被执行的语句和共享池中的语句必须完全相同.例如:SELECT * FROM EMP;和下列每一个都不 同SELECT * from EMP;Select * From Emp;SELECT * FROM EMP;B. 两个语句所指的对象必须完全相同:例如:用户对象名如何访问Jack sal_limit private synonymWork_city public synonymPlant_detail public synonymJill sal_limit private synonymWork_city public synonymPlant_detail table owner考虑一下下列SQL语句能否在这两个用户之间共享.SQL能否共享原因select max(sal_cap) from sal_limit;不能每个用户都有一个private synonym - sal_limit , 它们是不同的对象select count(*0 from work_city where sdesc like 'NEW%';能两个用户访问相同的对象public synonym - work_cityselect a.sdesc,b.location from work_city a , plant_detail b where a.city_id = b.city_id不能用户jack 通过private synonym访问plant_detail 而jill 是表的所有者,对象不同.C. 两个SQL语句中必须使用相同的名字的绑定变量(bind variables)例如:第一组的两个SQL语句是相同的(可以共享),而第二组中的两个语句是不同的(即使在运行时,赋于不同的绑定变量相同的值)a.select pin , name from people where pin = :blk1.pin;第 2 页select pin , name from people where pin = :blk1.pin;b.select pin , name from people where pin = :blk1.ot_ind; select pin , name from people where pin = :blk1.ov_ind;4. 选择最有效率的表名顺序(只在基于规则的优化器中有效) ORACLE的解析器按照从右到左的顺序处理FROM子句中的表名,因此FROM子句中写在最后的表(基础表 driving table)将被最先处理. 在FROM子句中包含多个表的情况下,你必须选择记录条数最少的表作为基础表.当ORACLE处理多个表时, 会运用排序及合并的方式连接它们.首先,扫描第一个表(FROM子句中最后的那个表)并对记录进行派序,然后扫描第二个表(FROM子句中最后第二个表),最后将所有从第二个表中检索出的记录与第一个表中合适记录进行合并.例如: 表 TAB1 16,384 条记录表 TAB2 1 条记录选择TAB2作为基础表 (最好的方法)select count(*) from tab1,tab2 执行时间0.96秒选择TAB2作为基础表 (不佳的方法)select count(*) from tab2,tab1 执行时间26.09秒如果有3个以上的表连接查询, 那就需要选择交叉表(intersection table)作为基础表, 交叉表是指那个被其他表所引用的表.例如: EMP表描述了LOCATION表和CATEGORY表的交集.SELECT *FROM LOCATION L ,CATEGORY C,EMP EWHERE E.EMP_NO BETWEEN 1000 AND 2000AND E.CAT_NO = C.CAT_NOAND E.LOCN = L.LOCN将比下列SQL更有效率SELECT *FROM EMP E ,LOCATION L ,CATEGORY CWHERE E.CAT_NO = C.CAT_NOAND E.LOCN = L.LOCNAND E.EMP_NO BETWEEN 1000 AND 20005. WHERE子句中的连接顺序.ORACLE采用自下而上的顺序解析WHERE子句,根据这个原理,表 之间的连接必须写在其他WHERE条件之前, 那些可以过滤掉最大数量记录的条件必须写在WHERE子句的末尾.例如:第 3 页(低效,执行时间156.3秒)SELECT …FROM EMP EWHERE SAL > 50000AND JOB = ‘MANAGER’AND 25 < (SELECT COUNT(*) FROM EMPWHERE MGR=E.EMPNO);(高效,执行时间10.6秒)SELECT …FROM EMP EWHERE 25 < (SELECT COUNT(*) FROM EMPWHERE MGR=E.EMPNO)AND SAL > 50000AND JOB = ‘MANAGER’;6. SELECT子句中避免使用 ‘ * ‘当你想在SELECT子句中列出所有的COLUMN时,使用动态SQL列引用 ‘*’ 是一个方便的方法.不幸的是,这是一个非常低效的方法. 实际上, ORACLE在解析的过程中, 会将’*’ 依次转换成所有的列名, 这个工作是通过查询数据字典完成的, 这意味着将耗费更多的时间.7. 减少访问数据库的次数当执行每条SQL语句时, ORACLE在内部执行了许多工作: 解析SQL语句, 估算索引的利用率, 绑定变量 , 读数据块等等. 由此可见, 减少访问数据库的次数 , 就能实际上减少ORACLE的工作量.例如,以下有三种方法可以检索出雇员号等于0342或0291的职员.方法1 (最低效)SELECT EMP_NAME , SALARY , GRADEFROM EMPWHERE EMP_NO = 342;SELECT EMP_NAME , SALARY , GRADEFROM EMPWHERE EMP_NO = 291;方法2 (次低效)DECLARECURSOR C1 (E_NO NUMBER) ISSELECT EMP_NAME,SALARY,GRADEFROM EMPWHERE EMP_NO = E_NO;BEGINOPEN C1(342);FETCH C1 INTO …,..,.. ;第 4 页OPEN C1(291);FETCH C1 INTO …,..,.. ;CLOSE C1;END;方法3 (高效)SELECT A.EMP_NAME , A.SALARY , A.GRADE,B.EMP_NAME , B.SALARY , B.GRADEFROM EMP A,EMP BWHERE A.EMP_NO = 342AND B.EMP_NO = 291;注意:在SQL*Plus , SQL*Forms和Pro*C中重新设置ARRAYSIZE参数, 可以增加每次数据库访问的检索数据量 ,建议值为200.8. 使用DECODE函数来减少处理时间使用DECODE函数可以避免重复扫描相同记录或重复连接相同的表.例如:SELECT COUNT(*),SUM(SAL)FROM EMPWHERE DEPT_NO = 0020AND ENAME LIKE ‘SMITH%’;SELECT COUNT(*),SUM(SAL)FROM EMPWHERE DEPT_NO = 0030AND ENAME LIKE ‘SMITH%’;你可以用DECODE函数高效地得到相同结果SELECT COUNT(DECODE(DEPT_NO,0020,’X’,NULL)) D0020_COUNT, COUNT(DECODE(DEPT_NO,0030,’X’,NULL)) D0030_COUNT, SUM(DECODE(DEPT_NO,0020,SAL,NULL)) D0020_SAL,SUM(DECODE(DEPT_NO,0030,SAL,NULL)) D0030_SALFROM EMP WHERE ENAME LIKE ‘SMITH%’;类似的,DECODE函数也可以运用于GROUP BY 和ORDER BY子句中.9. 整合简单,无关联的数据库访问如果你有几个简单的数据库查询语句,你可以把它们整合到一个查询中(即使它们之间没有关 系)例如:SELECT NAMEFROM EMPWHERE EMP_NO = 1234;SELECT NAMEFROM DPT第 5 页WHERE DPT_NO = 10 ;SELECT NAMEFROM CATWHERE CAT_TYPE = ‘RD’;上面的3个查询可以被合并成一个:SELECT , , FROM CAT C , DPT D , EMP E,DUAL XWHERE NVL(‘X’,X.DUMMY) = NVL(‘X’,E.ROWID(+))AND NVL(‘X’,X.DUMMY) = NVL(‘X’,D.ROWID(+))AND NVL(‘X’,X.DUMMY) = NVL(‘X’,C.ROWID(+))AND E.EMP_NO(+) = 1234AND D.DEPT_NO(+) = 10AND C.CAT_TYPE(+) = ‘RD’;(译者按: 虽然采取这种方法,效率得到提高,但是程序的可读性大大降低,所以读者 还是要权衡之间的利弊)10. 删除重复记录最高效的删除重复记录方法 ( 因为使用了ROWID)DELETE FROM EMP EWHERE E.ROWID > (SELECT MIN(X.ROWID)FROM EMP XWHERE X.EMP_NO = E.EMP_NO);11. 用TRUNCATE替代DELETE当删除表中的记录时,在通常情况下, 回滚段(rollback segments ) 用来存放可以被恢复的信息. 如果你没有COMMIT事务,ORACLE会将数据恢复到删除之前的状态(准确地说是恢复到执行删除命令之前的状况)而当运用TRUNCATE时, 回滚段不再存放任何可被恢复的信息.当命令运行后,数据不能被恢复.因此很少的资源被调用,执行时间也会很短. (译者按: TRUNCATE只在删除全表适用,TRUNCATE是DDL不是DML) 12. 尽量多使用COMMIT只要有可能,在程序中尽量多使用COMMIT, 这样程序的性能得到提高,需求也会因为COMMIT所释放的资源而减少:COMMIT所释放的资源:a. 回滚段上用于恢复数据的信息.b. 被程序语句获得的锁c. redo log buffer 中的空间d. ORACLE为管理上述3种资源中的内部花费(译者按: 在使用COMMIT时必须要注意到事务的完整性,现实中效率和事务完整性往往是鱼和熊掌不可得兼)13. 计算记录条数第 6 页和一般的观点相反, count(*) 比count(1)稍快 , 当然如果可以通过索引检索,对索引列的计数仍旧是最快的. 例如 COUNT(EMPNO) (译者按: 在CSDN论坛中,曾经对此有过相当热烈的讨论, 作者的观点并不十分准确,通过实际的测试,上述三种方法并没有显著的性能差别)14. 用Where子句替换HAVING子句避免使用HAVING子句, HAVING 只会在检索出所有记录之后才对结果集进行过滤. 这个处理需要排序,总计等操作. 如果能通过WHERE子句限制记录的数目,那就能减少这方面的开销.例如:低效:SELECT REGION,AVG(LOG_SIZE)FROM LOCATIONGROUP BY REGIONHAVING REGION REGION != ‘SYDNEY’AND REGION != ‘PERTH’高效SELECT REGION,AVG(LOG_SIZE)FROM LOCATIONWHERE REGION REGION != ‘SYDNEY’AND REGION != ‘PERTH’GROUP BY REGION(译者按: HAVING 中的条件一般用于对一些集合函数的比较 ,如COUNT() 等等. 除此而外,一般的条件应该写在WHERE子句中)15. 减少对表的查询在含有子查询的SQL语句中,要特别注意减少对表的查询.例如:低效SELECT TAB_NAMEFROM TABLESWHERE TAB_NAME = ( SELECT TAB_NAMEFROM TAB_COLUMNSWHERE VERSION = 604)AND DB_VER= ( SELECT DB_VERFROM TAB_COLUMNSWHERE VERSION = 604)高效SELECT TAB_NAMEFROM TABLESWHERE (TAB_NAME,DB_VER)= ( SELECT TAB_NAME,DB_VER)第 7 页FROM TAB_COLUMNSWHERE VERSION = 604)Update 多个Column 例子:低效:UPDATE EMPSET EMP_CAT = (SELECT MAX(CATEGORY) FROM EMP_CATEGORIES),SAL_RANGE = (SELECT MAX(SAL_RANGE) FROM EMP_CATEGORIES)WHERE EMP_DEPT = 0020;高效:UPDATE EMPSET (EMP_CAT, SAL_RANGE)= (SELECT MAX(CATEGORY) , MAX(SAL_RANGE)FROM EMP_CATEGORIES)WHERE EMP_DEPT = 0020;16. 通过内部函数提高SQL效率.SELECTH.EMPNO,E.ENAME,H.HIST_TYPE,T.TYPE_DESC,COUNT(*)FROM HISTORY_TYPE T,EMP E,EMP_HISTORY HWHERE H.EMPNO = E.EMPNOAND H.HIST_TYPE = T.HIST_TYPEGROUP BY H.EMPNO,E.ENAME,H.HIST_TYPE,T.TYPE_DESC;通过调用下面的函数可以提高效率.FUNCTION LOOKUP_HIST_TYPE(TYP IN NUMBER) RETURN VARCHAR2 ASTDESC VARCHAR2(30);CURSOR C1 ISSELECT TYPE_DESCFROM HISTORY_TYPEWHERE HIST_TYPE = TYP;BEGINOPEN C1;FETCH C1 INTO TDESC;CLOSE C1;RETURN (NVL(TDESC,’?’));END;FUNCTION LOOKUP_EMP(EMP IN NUMBER) RETURN VARCHAR2ASENAME VARCHAR2(30);第 8 页CURSOR C1 ISSELECT ENAMEFROM EMPWHERE EMPNO=EMP;BEGINOPEN C1;FETCH C1 INTO ENAME;CLOSE C1;RETURN (NVL(ENAME,’?’));END;SELECT H.EMPNO,LOOKUP_EMP(H.EMPNO),H.HIST_TYPE,LOOKUP_HIST_TYPE(H.HIST_TYPE),COUNT(*)FROM EMP_HISTORY HGROUP BY H.EMPNO , H.HIST_TYPE;(译者按: 经常在论坛中看到如 ’能不能用一个SQL写出….’ 的贴子, 殊不知复杂的SQL往往牺牲了执行效率. 能够掌握上面的运用函数解决问题的方法在实际工作中是非常有意义的)17. 使用表的别名(Alias)当在SQL语句中连接多个表时, 请使用表的别名并把别名前缀于每个Column上.这样一来,就可以减少解析的时间并减少那些由Column歧义引起的语法错误.(译者注: Column歧义指的是由于SQL中不同的表具有相同的Column 名,当SQL语句中出现这个Column时,SQL解析器无法判断这个Column的归属)18. 用EXISTS替代IN在许多基于基础表的查询中,为了满足一个条件,往往需要对另一个表进行联接.在这种情况下, 使用E XISTS(或NOT EXISTS)通常将提高查询的效率.低效:SELECT *FROM EMP (基础表)WHERE EMPNO > 0AND DEPTNO IN (SELECT DEPTNOFROM DEPTWHERE LOC = ‘MELB’)高效:SELECT *FROM EMP (基础表)WHERE EMPNO > 0AND EXISTS (SELECT ‘X’第 9 页FROM DEPTWHERE DEPT.DEPTNO = EMP.DEPTNOAND LOC = ‘MELB’)(译者按: 相对来说,用NOT EXISTS替换NOT IN 将更显著地提高效率,下一节中将指出)19. 用NOT EXISTS替代NOT IN在子查询中,NOT IN子句将执行一个内部的排序和合并. 无论在哪种情况下,NOT IN都是最低效的 (因为它对子查询中的表执行了一个全表遍历). 为了避免使用NOT IN ,我们可以把它改写成外连接(Outer Joins)或NOT EXISTS.例如:SELECT …FROM EMPWHERE DEPT_NO NOT IN (SELECT DEPT_NOFROM DEPTWHERE DEPT_CAT=’A’);为了提高效率.改写为:(方法一: 高效)SELECT ….FROM EMP A,DEPT BWHERE A.DEPT_NO = B.DEPT(+)AND B.DEPT_NO IS NULLAND B.DEPT_CAT(+) = ‘A’(方法二: 最高效)SELECT ….FROM EMP EWHERE NOT EXISTS (SELECT ‘X’FROM DEPT DWHERE D.DEPT_NO = E.DEPT_NOAND DEPT_CAT = ‘A’);20. 用表连接替换EXISTS通常来说 , 采用表连接的方式比EXISTS更有效率SELECT ENAMEFROM EMP EWHERE EXISTS (SELECT ‘X’FROM DEPTWHERE DEPT_NO = E.DEPT_NOAND DEPT_CAT = ‘A’);(更高效)SELECT ENAMEFROM DEPT D,EMP E第 10 页WHERE E.DEPT_NO = D.DEPT_NOAND DEPT_CAT = ‘A’ ;(译者按: 在RBO的情况下,前者的执行路径包括FILTER,后者使用NESTED LOOP)21. 用EXISTS替换DISTINCT当提交一个包含一对多表信息(比如部门表和雇员表)的查询时,避免在SELECT子句中使用DISTINCT. 一般可以考虑用EXIST替换例如:低效:SELECT DISTINCT DEPT_NO,DEPT_NAMEFROM DEPT D,EMP EWHERE D.DEPT_NO = E.DEPT_NO高效:SELECT DEPT_NO,DEPT_NAMEFROM DEPT DWHERE EXISTS ( SELECT ‘X’FROM EMP EWHERE E.DEPT_NO = D.DEPT_NO);EXISTS 使查询更为迅速,因为RDBMS核心模块将在子查询的条件一旦满足后,立刻返回结果.22. 识别’低效执行’的SQL语句用下列SQL工具找出低效SQL:SELECT EXECUTIONS , DISK_READS, BUFFER_GETS,ROUND((BUFFER_GETS-DISK_READS)/BUFFER_GETS,2)Hit_radio,ROUND(DISK_READS/EXECUTIONS,2) Reads_per_run,SQL_TEXTFROM V$SQLAREAWHERE EXECUTIONS>0AND BUFFER_GETS > 0AND (BUFFER_GETS-DISK_READS)/BUFFER_GETS < 0.8ORDER BY 4 DESC;(译者按: 虽然目前各种关于SQL优化的图形化工具层出不穷,但是写出自己的SQL工具来解决问题始终是一个最好的方法)23. 使用TKPROF 工具来查询SQL性能状态SQL trace 工具收集正在执行的SQL的性能状态数据并记录到一个跟踪文件中. 这个跟踪文件提供了许多有用的信息,例如解析次数.执行次数,CPU使用时间等.这些数据将可以用来优化你的系统.设置SQL TRACE在会话级别: 有效ALTER SESSION SET SQL_TRACE TRUE设置SQL TRACE 在整个数据库有效仿, 你必须将SQL_TRACE参数在第 11 页init.ora中设为TRUE, USER_DUMP_DEST参数说明了生成跟踪文件的目录(译者按: 这一节中,作者并没有提到TKPROF的用法, 对SQL TRACE 的用法也不够准确, 设置SQL TRACE首先要在init.ora中设定TIMED_STATISTICS, 这样才能得到那些重要的时间状态. 生成的trace文件是不可读的,所以要用TKPROF工具对其进行转换,TKPROF有许多执行参数. 大家可以参考ORACLE手册来了解具体的配置. )24. 用EXPLAIN PLAN 分析SQL语句EXPLAIN PLAN 是一个很好的分析SQL语句的工具,它甚至可以在不执行SQL的情况下分析语句. 通过分析,我们就可以知道ORACLE是怎么样连接表,使用什么方式扫描表(索引扫描或全表扫描)以及使用到的索引名称.你需要按照从里到外,从上到下的次序解读分析的结果. EXPLAIN PLAN分析的结果是用缩进的格式排列的, 最内部的操作将被最先解读, 如果两个操作处于同一层中,带有最小操作号的将被首先执行. NESTED LOOP是少数不按照上述规则处理的操作, 正确的执行路径是检查对NESTED LOOP提供数据的操作,其中操作号最小的将被最先处理.译者按:通过实践, 感到还是用SQLPLUS中的SET TRACE 功能比较方便.举例:SQL> list1 SELECT *2 FROM dept, emp3* WHERE emp.deptno = dept.deptnoSQL> set autotrace traceonly /*traceonly 可以不显示执行结果*/SQL> /14 rows selected.Execution Plan----------------------------------------------------------0 SELECT STATEMENT Optimizer=CHOOSE1 0 NESTED LOOPS2 1 TABLE ACCESS (FULL) OF 'EMP'3 1 TABLE ACCESS (BY INDEX ROWID) OF 'DEPT'4 3 INDEX (UNIQUE SCAN) OF 'PK_DEPT' (UNIQUE) Statistics---------------------------------------------------------- 0 recursive calls2 db block gets第 12 页30 consistent gets0 physical reads0 redo size2598 bytes sent via SQL*Net to client503 bytes received via SQL*Net from client2 SQL*Net roundtrips to/from client0 sorts (memory)0 sorts (disk)14 rows processed通过以上分析,可以得出实际的执行步骤是:1. TABLE ACCESS (FULL) OF 'EMP'2. INDEX (UNIQUE SCAN) OF 'PK_DEPT' (UNIQUE)3. TABLE ACCESS (BY INDEX ROWID) OF 'DEPT'4. NESTED LOOPS (JOINING 1 AND 3)注: 目前许多第三方的工具如TOAD和ORACLE本身提供的工具如OMS的SQL Analyze都提供了极 其方便的EXPLAIN PLAN工具.也许喜欢图形化界面的朋友们可以选用它们.25. 用索引提高效率索引是表的一个概念部分,用来提高检索数据的效率. 实际上,ORACLE 使用了一个复杂的自平衡B-tree结构. 通常,通过索引查询数据比全表扫描要快. 当ORACLE找出执行查询和Update语句的最佳路径时, ORACLE优化器将使用索引. 同样在联结多个表时使用索引也可以提高效率. 另一个使用索引的好处是,它提供了主键(primary key)的唯一性验证.除了那些LONG或LONG RAW数据类型, 你可以索引几乎所有的列. 通常, 在大型表中使用索引特别有效. 当然,你也会发现, 在扫描小表时,使用索引同样能提高效率.虽然使用索引能得到查询效率的提高,但是我们也必须注意到它的代价. 索引需要空间来存储,也需要定期维护, 每当有记录在表中增减或索引列被修改时, 索引本身也会被修改. 这意味着每条记录的INSERT , DELETE , UPDATE将为此多付出4 , 5 次的磁盘I/O . 因为索引需要额外的存储空间和处理,那些不必要的索引反而会使查询反应时间变慢.译者按:定期的重构索引是有必要的.ALTER INDEX <INDEXNAME> REBUILD <TABLESPACENAME>26. 索引的操作第 13 页ORACLE对索引有两种访问模式.索引唯一扫描 ( INDEX UNIQUE SCAN)大多数情况下, 优化器通过WHERE子句访问INDEX.例如:表LODGING有两个索引 : 建立在LODGING列上的唯一性索引LODGING_PK和建立在MANAGER列上的非唯一性索引LODGING$MANAGER. SELECT *FROM LODGINGWHERE LODGING = ‘ROSE HILL’;在内部 , 上述SQL将被分成两步执行, 首先 , LODGING_PK 索引将通过索引唯一扫描的方式被访问 , 获得相对应的ROWID, 通过ROWID访问表的方式 执行下一步检索.如果被检索返回的列包括在INDEX列中,ORACLE将不执行第二步的处理(通过ROWID访问表). 因为检索数据保存在索引中, 单单访问索引就可以完全满足查询结果.下面SQL只需要INDEX UNIQUE SCAN 操作.SELECT LODGINGFROM LODGINGWHERE LODGING = ‘ROSE HILL’;索引范围查询(INDEX RANGE SCAN)适用于两种情况:1. 基于一个范围的检索2. 基于非唯一性索引的检索例1:SELECT LODGINGFROM LODGINGWHERE LODGING LIKE ‘M%’;WHERE子句条件包括一系列值, ORACLE将通过索引范围查询的方式查询LODGING_PK . 由于索引范围查询将返回一组值, 它的效率就要比第 14 页索引唯一扫描低一些.例2:SELECT LODGINGFROM LODGINGWHERE MANAGER = ‘BILL GATES’;这个SQL的执行分两步, LODGING$MANAGER的索引范围查询(得到所有符合条件记录的ROWID) 和下一步同过ROWID访问表得到LODGING列的值. 由于LODGING$MANAGER是一个非唯一性的索引,数据库不 能对它执行索引唯一扫描.由于SQL返回LODGING列,而它并不存在于LODGING$MANAGER索引中, 所以在索引范围查询后会执行一个通过ROWID访问表的操作.WHERE子句中, 如果索引列所对应的值的第一个字符由通配符(WILDCARD)开始, 索引将不被采用.SELECT LODGINGFROM LODGINGWHERE MANAGER LIKE ‘%HANMAN’;在这种情况下,ORACLE将使用全表扫描.27. 基础表的选择基础表(Driving Table)是指被最先访问的表(通常以全表扫描的方式被访问). 根据优化器的不同, SQL语句中基础表的选择是不一样的.如果你使用的是CBO (COST BASED OPTIMIZER),优化器会检查SQL语句中的每个表的物理大小,索引的状态,然后选用花费最低的执行路径.如果你用RBO (RULE BASED OPTIMIZER) , 并且所有的连接条件都有索引对应, 在这种情况下, 基础表就是FROM 子句中列在最后的那个表.举例:SELECT , B.MANAGERFROM WORKER A,LODGING BWHERE A.LODGING = B.LODING;由于LODGING表的LODING列上有一个索引, 而且WORKER表中没有相比较的索引, WORKER表将被作为查询中的基础表.第 15 页28. 多个平等的索引当SQL语句的执行路径可以使用分布在多个表上的多个索引时, ORACLE会同时使用多个索引并在运行时对它们的记录进行合并, 检索出仅对全部索引有效的记录.在ORACLE选择执行路径时,唯一性索引的等级高于非唯一性索引. 然而这个规则只有当WHERE子句中索引列和常量比较才有效.如果索引列和其他表的索引类相比较. 这种子句在优化器中的等级是非常低的.如果不同表中两个想同等级的索引将被引用, FROM子句中表的顺序将决定哪个会被率先使用. FROM子句中最后的表的索引将有最高的优先级.如果相同表中两个想同等级的索引将被引用, WHERE子句中最先被引用的索引将有最高的优先级.举例:DEPTNO上有一个非唯一性索引,EMP_CAT也有一个非唯一性索引. SELECT ENAME,FROM EMPWHERE DEPT_NO = 20AND EMP_CAT = ‘A’;这里,DEPTNO索引将被最先检索,然后同EMP_CAT索引检索出的记录进行合并. 执行路径如下:TABLE ACCESS BY ROWID ON EMPAND-EQUALINDEX RANGE SCAN ON DEPT_IDXINDEX RANGE SCAN ON CAT_IDX29. 等式比较和范围比较当WHERE子句中有索引列, ORACLE不能合并它们,ORACLE将用范围比较.举例:DEPTNO上有一个非唯一性索引,EMP_CAT也有一个非唯一性索引. SELECT ENAMEFROM EMPWHERE DEPTNO > 20AND EMP_CAT = ‘A’;这里只有EMP_CAT索引被用到,然后所有的记录将逐条与DEPTNO 条件进行比较. 执行路径如下:第 16 页TABLE ACCESS BY ROWID ON EMPINDEX RANGE SCAN ON CAT_IDX30. 不明确的索 引等级当ORACLE无法判断索引的等级高低差别,优化器将只使用一个索引,它就是在WHERE子句中被列在最前面的.举例:DEPTNO上有一个非唯一性索引,EMP_CAT也有一个非唯一性索引. SELECT ENAMEFROM EMPWHERE DEPTNO > 20AND EMP_CAT > ‘A’;这里, ORACLE只用到了DEPT_NO索引. 执行路径如下:TABLE ACCESS BY ROWID ON EMPINDEX RANGE SCAN ON DEPT_IDX译者按:我们来试一下以下这种情况:SQL> select index_name, uniqueness from user_indexes where table_name = 'EMP';INDEX_NAME UNIQUENES------------------------------ ---------EMPNO UNIQUEEMPTYPE NONUNIQUESQL> select * from emp where empno >= 2 and emp_type = 'A' ; no rows selectedExecution Plan----------------------------------------------------------0 SELECT STATEMENT Optimizer=CHOOSE1 0 TABLE ACCESS (BY INDEX ROWID) OF 'EMP'2 1 INDEX (RANGE SCAN) OF 'EMPTYPE' (NON-UNIQUE)第 17 页虽然EMPNO是唯一性索引,但是由于它所做的是范围比较, 等级要比非唯一性索引的等式比较低!31. 强制索引失效如果两个或以上索引具有相同的等级,你可以强制命令ORACLE优化器使用其中的一个(通过它,检索出的记录数量少) .举例:SELECT ENAMEFROM EMPWHERE EMPNO = 7935AND DEPTNO + 0 = 10 /*DEPTNO上的索引将失效*/AND EMP_TYPE || ‘’ = ‘A’ /*EMP_TYPE上的索引将失效*/这是一种相当直接的提高查询效率的办法. 但是你必须谨慎考虑这种策略,一般来说,只有在你希望单独优化几个SQL时才能采用它.这里有一个例子关于何时采用这种策略,假设在EMP表的EMP_TYPE列上有一个非唯一性的索引而EMP_CLASS上没有索引.SELECT ENAMEFROM EMPWHERE EMP_TYPE = ‘A’AND EMP_CLASS = ‘X’;优化器会注意到EMP_TYPE上的索引并使用它. 这是目前唯一的选择. 如果,一段时间以后, 另一个非唯一性建立在EMP_CLASS上,优化器必须对两个索引进行选择,在通常情况下,优化器将使用两个索引并在他们的结果集合上执行排序及合并. 然而,如果其中一个索引(EMP_TYPE)接近于唯一性而另一个索引(EMP_CLASS)上有几千个重复的值. 排序及合并就会成为一种不必要的负担. 在这种情况下,你希望使优化器屏蔽掉EMP_CLASS索引.用下面的方案就可以解决问题.SELECT ENAMEFROM EMPWHERE EMP_TYPE = ‘A’AND EMP_CLASS||’’ = ‘X’;第 18 页32. 避免在索引列上使用计算.WHERE子句中,如果索引列是函数的一部分.优化器将不使用索引而使用全表扫描.举例:低效:SELECT …FROM DEPTWHERE SAL * 12 > 25000;高效:SELECT …FROM DEPTWHERE SAL > 25000/12;译者按:这是一个非常 实用的规则,请务必牢记33. 自动选择索引如果表中有两个以上(包括两个)索引,其中有一个唯一性索引,而其他是非唯一性.在这种情况下,ORACLE将使用唯一性索引而完全忽略非唯一性索引.举例:SELECT ENAMEFROM EMPWHERE EMPNO = 2326AND DEPTNO = 20 ;这里,只有EMPNO上的索引是唯一性的,所以EMPNO索引将用来检索记录.TABLE ACCESS BY ROWID ON EMPINDEX UNIQUE SCAN ON EMP_NO_IDX34. 避免在索引列上使用NOT通常, 我们要避免在索引列上使用NOT, NOT会产生在和在索引列上使用函数相同的影响. 当ORACLE”遇到”NOT,他就会停止使用索引转而执行全表扫描.第 19 页举例:低效: (这里,不使用索引)SELECT …FROM DEPTWHERE DEPT_CODE NOT = 0;高效: (这里,使用了索引)SELECT …FROM DEPTWHERE DEPT_CODE > 0;需要注意的是,在某些时候, ORACLE优化器会自动将NOT转化成相对应的关系操作符.NOT > to <=NOT >= to <NOT < to >=NOT <= to >译者按:在这个例子中,作者犯了一些错误. 例子中的低效率SQL是不能被执行的.我做了一些测试:SQL> select * from emp where NOT empno > 1;no rows selectedExecution Plan----------------------------------------------------------0 SELECT STATEMENT Optimizer=CHOOSE1 0 TABLE ACCESS (BY INDEX ROWID) OF 'EMP'2 1 INDEX (RANGE SCAN) OF 'EMPNO' (UNIQUE) SQL> select * from emp where empno <= 1;no rows selectedExecution Plan----------------------------------------------------------0 SELECT STATEMENT Optimizer=CHOOSE1 0 TABLE ACCESS (BY INDEX ROWID) OF 'EMP'第 20 页2 1 INDEX (RANGE SCAN) OF 'EMPNO' (UNIQUE)两者的效率完全一样,也许这符合作者关于” 在某些时候, ORACLE优化器会自动将NOT转化成相对应的关系操作符” 的观点.35. 用>=替代>如果DEPTNO上有一个索引,高效:SELECT *FROM EMPWHERE DEPTNO >=4低效:SELECT *FROM EMPWHERE DEPTNO >3两者的区别在于, 前者DBMS将直接跳到第一个DEPT等于4的记录而后者将首先定位到DEPTNO=3的记录并且向前扫描到第一个DEPT大于3的记录.36. 用UNION替换OR (适用于索引列)通常情况下, 用UNION替换WHERE子句中的OR将会起到较好的效果. 对索引列使用OR将造成全表扫描. 注意, 以上规则只针对多个索引列有效. 如果有column没有被索引, 查询效率可能会因为你没有选择OR而降低.在下面的例子中, LOC_ID 和REGION上都建有索引.高效:SELECT LOC_ID , LOC_DESC , REGIONFROM LOCATIONWHERE LOC_ID = 10UNIONSELECT LOC_ID , LOC_DESC , REGIONFROM LOCATIONWHERE REGION = “MELBOURNE”低效:SEL ECT LOC_ID , LOC_DESC , REGION第 21 页FROM LOCATIONWHERE LOC_ID = 10 OR REGION = “MELBOURNE”如果你坚持要用OR, 那就需要返回记录最少的索引列写在最前面.注意:WHERE KEY1 = 10 (返回最少记录)OR KEY2 = 20 (返回最多记录)ORACLE 内部将以上转换为WHERE KEY1 = 10 AND((NOT KEY1 = 10) AND KEY2 = 20)译者按:下面的测试数据仅供参考: (a = 1003 返回一条记录 , b = 1 返回1003条记录)SQL> select * from unionvsor /*1st test*/2 where a = 1003 or b = 1;1003 rows selected.Execution Plan----------------------------------------------------------0 SELECT STATEMENT Optimizer=CHOOSE1 0 CONCATENATION2 1 TABLE ACCESS (BY INDEX ROWID) OF 'UNIONVSOR'3 2 INDEX (RANGE SCAN) OF 'UB' (NON-UNIQUE)4 1 TABLE ACCESS (BY INDEX ROWID) OF 'UNIONVSOR'5 4 INDEX (RANGE SCAN) OF 'UA' (NON-UNIQUE) Statistics---------------------------------------------------------- 0 recursive calls0 db block gets144 consistent gets0 physical reads0 redo size63749 bytes sent via SQL*Net to client7751 bytes received via SQL*Net from client68 SQL*Net roundtrips to/from client0 sorts (memory)0 sorts (disk)第 22 页1003 rows processedSQL> select * from unionvsor /*2nd test*/2 where b = 1 or a = 1003 ;1003 rows selected.Execution Plan----------------------------------------------------------0 SELECT STATEMENT Optimizer=CHOOSE1 0 CONCATENATION2 1 TABLE ACCESS (BY INDEX ROWID) OF 'UNIONVSOR'3 2 INDEX (RANGE SCAN) OF 'UA' (NON-UNIQUE)4 1 TABLE ACCESS (BY INDEX ROWID) OF 'UNIONVSOR'5 4 INDEX (RANGE SCAN) OF 'UB' (NON-UNIQUE) Statistics---------------------------------------------------------- 0 recursive calls0 db block gets143 consistent gets0 physical reads0 redo size63749 bytes sent via SQL*Net to client7751 bytes received via SQL*Net from client68 SQL*Net roundtrips to/from client0 sorts (memory)0 sorts (disk)1003 rows processedSQL> select * from unionvsor /*3rd test*/2 where a = 10033 union4 select * from unionvsor5 where b = 1;1003 rows selected.Execution Plan----------------------------------------------------------0 SELECT STATEMENT Optimizer=CHOOSE1 0 SORT (UNIQUE)2 1 UNION-ALL3 2 TABLE ACCESS (BY INDEX ROWID) OF 'UNIONVSOR'4 3 INDEX (RANGE SCAN) OF 'UA' (NON-UNIQUE)5 2 TABLE ACCESS (BY INDEX ROWID) OF 'UNIONVSOR'6 5 INDEX (RANGE SCAN) OF 'UB' (NON-UNIQUE)第 23 页Statistics---------------------------------------------------------- 0 recursive calls0 db block gets10 consistent gets0 physical reads0 redo size63735 bytes sent via SQL*Net to client7751 bytes received via SQL*Net from client68 SQL*Net roundtrips to/from client1 sorts (memory)0 sorts (disk)1003 rows processed用UNION的效果可以从consistent gets和 SQL*NET的数据交换量的减少看出37. 用IN来替换OR下面的查询可以被更有效率的语句替换:低效:SELECT….FROM LOCATIONWHERE LOC_ID = 10OR LOC_ID = 20OR LOC_ID = 30高效SELECT…FROM LOCATIONWHERE LOC_IN IN (10,20,30);译者按:这是一条简单易记的规则,但是实际的执行效果还须检验,在ORACLE8i下,两者的执行路径似乎是相同的. 38. 避免在索引列上使用IS NULL和IS NOT NULL避免在索引中使用任何可以为空的列,ORACLE将无法使用该索引 .对于单列索引,如果列包含空值,索引中将不存在此记录. 对于复合第 24 页。
Oracle_SQL_rule优化
Oracle语句优化53个规则详解该资料可以在【】下载如果你觉得有帮助,请转发给群里的朋友,多谢。
################################################################Oracle语句优化53个规则详解################################################################Oracle语句优化53个规则详解(1)Oracle sql 性能优化调整 1. 选用适合的ORACLE优化器ORACLE的优化器共有3种:a. RULE (基于规则)b. COST (基于成本)c. CHOOSE (选择性)设置缺省的优化器,可以通过对init.ora文件中OPTIMIZER_MODE参数的各种声明,如RULE,COST,CHOOSE,ALL_ROWS,FIRST_ROWS . 你当然也在SQL句级或是会话(session)级对其进行覆盖。
为了使用基于成本的优化器(CBO,Cost-Based Optimizer),你必须经常运行analyze 命令,以增加数据库中的对象统计信息(object statistics)的准确性。
如果数据库的优化器模式设置为选择性(CHOOSE),那么实际的优化器模式将和是否运行过analyze命令有关。
如果table已经被analyze过,优化器模式将自动成为CBO ,反之,数据库将采用RULE形式的优化器。
在缺省情况下,ORACLE采用CHOOSE优化器,为了避免那些不必要的全表扫描(full table scan),你必须尽量避免使用CHOOSE优化器,而直接采用基于规则或者基于成本的优化器。
2. 访问Table的方式ORACLE 采用两种访问表中记录的方式:a. 全表扫描全表扫描就是顺序地访问表中每条记录。
ORACLE采用一次读入多个数据块(database block)的方式优化全表扫描。
Oracle语句优化规则汇总
Oracle语句优化规则汇总(1)1.选用适合的ORACLE优化器ORACLE的优化器共有3种:a.RULE(基于规则)b.COST(基于成本)c.CHOOSE(选择性)设置缺省的优化器,可以通过对init.ora文件中OPTIMIZER_MODE参数的各种声明,如RULE,COST,CHOOSE,ALL_ROWS,FIRST_ROWS.你当然也在SQL句级或是会话(session)级对其进行覆盖。
为了使用基于成本的优化器(CBO,Cost-Based Optimizer),你必须经常运行analyze命令,以增加数据库中的对象统计信息(object statistics)的准确性。
如果数据库的优化器模式设置为选择性(CHOOSE),那么实际的优化器模式将和是否运行过analyze命令有关。
如果table已经被analyze过,优化器模式将自动成为CBO,反之,数据库将采用RULE形式的优化器。
在缺省情况下,ORACLE采用CHOOSE优化器,为了避免那些不必要的全表扫描(full table scan),你必须尽量避免使用CHOOSE优化器,而直接采用基于规则或者基于成本的优化器。
2.访问Table的方式ORACLE采用两种访问表中记录的方式a.全表扫描全表扫描就是顺序地访问表中每条记录。
ORACLE采用一次读入多个数据块(database block)的方式优化全表扫描。
b.通过ROWID访问表你可以采用基于ROWID的访问方式情况,提高访问表的效率,ROWID包含了表中记录的物理位置信息……ORACLE采用索引(INDEX)实现了数据和存放数据的物理位置(ROWID)之间的联系。
通常索引提供了快速访问ROWID的方法,因此那些基于索引列的查询就可以得到性能上的提高。
3.共享SQL语句为了不重复解析相同的SQL语句,在第一次解析之后,ORACLE将SQL语句存放在内存中。
这块位于系统全局区域SGA(system global area)的共享池(shared buffer pool)中的内存可以被所有的数据库用户共享。
数据库中数据去重与合并的方法与效果评估
数据库中数据去重与合并的方法与效果评估数据在数据库中的重复性问题一直是数据管理中的一个重要任务。
在数据库中存在大量的冗余数据会影响到查询和分析的效率,并增加数据存储成本。
因此,需要采取适当的方法去重和合并数据库中的数据,以优化数据的质量和性能。
1. 数据库中数据去重的方法数据库中的数据去重是指在数据库表中删除或合并所有重复记录的过程。
以下是几种常用的数据库数据去重方法:- 根据主键去重:主键是唯一标识数据库表中记录的字段,在表中不存在重复的主键。
通过检查主键列并删除其中的重复值,可以实现数据去重的目的。
这种方法适用于有主键存在的数据库表。
- 利用DISTINCT关键字去重:DISTINCT关键字用于返回唯一不同的记录。
通过在查询语句中使用DISTINCT关键字,可以去除重复记录并返回不重复的结果。
这种方法适用于查询结果中记录较少的情况。
- 使用索引去重:通过创建索引,在数据库表中创建一个索引列,然后利用索引的特性实现数据去重。
索引可以加快查询和去重的速度,提高数据库的性能。
这种方法适用于大型数据库表和需要频繁进行去重操作的场景。
- 利用临时表去重:创建一个临时表,将需要去重的数据插入到临时表中,并通过在临时表中进行分组和排序,删除重复的记录。
然后将去重后的数据重新插入到原数据库表中。
这种方法适用于数据量较大、逻辑复杂的情况。
2. 数据库中数据合并的方法数据库中数据合并是指将来自不同数据源的数据进行整合和归纳的过程。
以下是几种常用的数据库数据合并方法:- 使用UNION操作符合并数据:使用SQL的UNION操作符可以合并两个或多个SELECT语句的结果集。
UNION操作符会自动去除重复记录,返回合并后的唯一记录集。
这种方法适用于来自多个数据源的相同类型的数据合并。
- 利用JOIN操作合并数据:JOIN操作用于合并两个或多个表的列,以生成新的数据库表。
可以根据共享的列值在两个或多个表之间建立连接,进而合并数据。
ifixVB连接数据库,数据库数据处理附带代码参考
二,在vb中需要引用内容 (7)三,采用2中引用的ADO ext 方式连接用户数据库参考 (8)四,具体的参考代码 (9)4.1 创建新表 (9)4.2 删除不需要时间范围数据 (12)4.3 删除某个表 (13)4.4 清除表中重复数据 (15)4.5 将临时数据表中数据倒回主数据表 (24)4.6 删除某个表中全部数据 (26)4.7 读一个数据库中数据,将该数据写入另一个数据库 (29)附件1:网络下载参考数据 (40)附录2:sql参考 (57)附录3:附带一个小资料sql参数 (65)SQL常用命令使用方法 (71)参考1:日表代码 (81)参考2:污水月表代码 (92)参考3:单年表代码 (112)页脚内容1参考4:多年表代码 (125)参考5:污水设备运行时间表代码 (141)参考6:删除某表指定时间前数据 (155)一,在ifix帮组手册中的参考内容页脚内容2页脚内容3页脚内容4Driver={Microsoft Access Driver (*.MDB)};DBQ=E:\\报表\\gyws_report.mdb;页脚内容5"INSERT INTO fixreport" + _"(datatime, datatag, datavalue) " + _"VALUES( '2010-7-13 10:11:23', 'addbc', '124.45')"页脚内容6二,在vb中需要引用内容页脚内容7三,采用2中引用的ADO ext 方式连接用户数据库参考页脚内容8四,具体的参考代码4.1 创建新表页脚内容9Private Sub close_pic16_Click()'++++++再已存在库中创建表+++++Dim cat As ADOX.CatalogDim tbl As New ADOX.TableSet cat = New ADOX.Catalogcat.ActiveConnection = "Provider=Microsoft.Jet.OLEDB.4.0;" & _ "Data Source=E:\~污水报表\gyws_report.mdb;"With tbl.Name = "fixreport_temp"页脚内容10' Create a field and append it to the new Table' object. This must be done before appending the' Table object to the Tables collection of the' Catalog..Columns.Append "datatime", adDate.Columns.Append "datatag", adVarWChar.Columns.Append "datavalue", adDouble.Columns.Append "datatxt", adVarWCharEnd With' Add the new table to the database.cat.Tables.Append tbl'Clean up the referencesSet cat = NothingSet tbl = NothingEnd Sub页脚内容114.2 删除不需要时间范围数据、Private Sub close_pic14_Click()Dim conADO As ADODB.ConnectionDim rsADO As ADODB.RecordsetDim strQuery1 As StringDim StartTime报表设计.datestar.RefreshStartTime = Format(报表设计.datestar.Value, "yyyy-mm-dd") & " " & Format(报表设计.timestar.Value,页脚内容12"hh:mm:ss")Me.timestar1.Value = StartTimeDim Data, Data1, Data2, Datasm, Tagsm(1)Set conADO = New ADODB.ConnectionconADO.ConnectionString = "Driver={Microsoft Access Driver (*.MDB)};DBQ=E:\\~污水报表\\gyws_report.mdb;UID=aa;PWD=;"strQuery1 = "delete " + _"FROM fixreport " + _"WHERE (datatime <={ts '" + StartTime + "'})"conADO.OpenSet rsADO1 = New ADODB.RecordsetrsADO1.Open strQuery1, conADO, adOpenForwardOnly, adLockReadOnly, adCmdTextEnd Sub4.3 删除某个表页脚内容13Private Sub close_pic15_Click()'++++++s删除表+++++Dim conADO As ADODB.ConnectionDim rsADO As ADODB.RecordsetDim strQuery As StringDim Datat, Datatag, Datav, Datasm, Tagsm(1)Dim jDim smtime, smm As StringSet conADO = New ADODB.Connection页脚内容14conADO.ConnectionString = "Driver={Microsoft Access Driver (*.MDB)};DBQ=E:\\~污水报表\\gyws_report.mdb;UID=aa;PWD=;"conADO.OpenstrQuery = "DROP {TABLE fixreport_temp }"Set rsADO = New ADODB.RecordsetrsADO.Open strQuery, conADO, adOpenForwardOnly, adLockOptimistic, adCmdTextEnd Sub4.4 清除表中重复数据页脚内容15Private Sub close_pic17_Click()Dim conADO As ADODB.ConnectionDim rsADO As ADODB.RecordsetDim strQuery As String'+++++fix数据连接定义+++++Dim conADOfix As ConnectionDim rsADOfix As RecordsetDim strQueryfix As String'+++++fix数据处理定义+++++Dim StartTime As String页脚内容16Dim Tag As StringDim i'++++++以下内容为从fix系统数据读出需要数据++++++Tag = "AA1"'Tag(10) = "AA1"fixreport.datatime' strQueryfix = "SELECT fixreport.datatime,fixreport.datatag,fixreport.datavalue,fixreport.datatxt FROM fixreport " + _' "WHERE fixreport.datatag = 'AA1' "DISTINCTstrQuery = "INSERT INTO fixreport_temp " + _"SELECT DISTINCT datatime,datatag,datavalue,datatxt FROM fixreport " + _"WHERE datatag = ' AA1' "Set conADO = New ADODB.ConnectionconADO.ConnectionString = "Driver={Microsoft Access Driver (*.MDB)};DBQ=E:\\~污水报表\\gyws_report.mdb;UID=aa;PWD=;"conADO.Open页脚内容17Set rsADO = New ADODB.RecordsetrsADO.Open strQuery, conADO, adOpenForwardOnly, adLockReadOnly, adCmdText End SubPrivate Sub close_pic18_Click()Dim conADO As ADODB.ConnectionDim rsADO As ADODB.RecordsetDim strQuery As String'+++++fix数据连接定义+++++Dim conADOfix As Connection页脚内容18Dim rsADOfix As RecordsetDim strQueryfix As String'+++++fix数据处理定义+++++Dim StartTime As StringDim Tag As StringDim i, j, k, hhh'delete from people'where peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1)'and rowid not in (select min(rowid) from people group by peopleId having count(peopleId )>1)'++++++以下内容为从fix系统数据读出需要数据++++++'"datatime not in (SELECT DISTINCT count(datatime) FROM fixreport group by datatime having DISTINCT count datatime = 1) and " + _Tag = "AA1"'Tag(10) = "AA1"fixreport.datatime DISTINCT fixreport.' having count(datatime) > 1) delete' strQueryfix = "SELECT fixreport.datatime,fixreport.datatag,fixreport.datavalue,fixreport.datatxt FROM fixreport " + _' "WHERE fixreport.datatag = 'AA1' "DISTINCT页脚内容19strQuery = "SELECT sum(datavalue) from (SELECT DISTINCT datatime,datatag,datavalue,datatxt FROM fixreport " + _"WHERE datatag = ' AA1' )"'"datatime not in (SELECT datatime FROM fixreport group by datatime having count( DISTINCT datatime) ) and " + _ '"datatag = ' AA1' "Set conADO = New ADODB.ConnectionconADO.ConnectionString = "Driver={Microsoft Access Driver (*.MDB)};DBQ=E:\\~污水报表\\gyws_report.mdb;UID=aa;PWD=;"conADO.OpenSet rsADO = New ADODB.RecordsetrsADO.Open strQuery, conADO, adOpenDynamic, adLockOptimistic, adCmdTexti = rsADO(0)j = i + 1页脚内容20k = i + 2End SubPrivate Sub close_pic27_Click()Dim conADO As ADODB.ConnectionDim rsADO As ADODB.RecordsetDim strQuery As String'+++++fix数据连接定义+++++Dim conADOfix As ConnectionDim rsADOfix As Recordset页脚内容21Dim strQueryfix As String'+++++fix数据处理定义+++++'On Error GoTo ErrorHandler'+++++自建数据库数据连接定义+++++Dim StartTime, StartTime1, EenTime, EenTime1 As StringDim Tag(15) As StringDim i, j, kDim Datat, Datatag, Datav, Datasm, Tagsm(1)Dim smtime, smm As String'++++++以下内容为从fix系统数据读出需要数据++++++'--------时间控件取值--------StartTime1 = dateadd("d", -1, Now)StartTime = Format(StartTime1, "yyyy-mm-dd") & " " & Format("00:00:01", "hh:mm:ss") EndTime1 = dateadd("h", 23, StartTime)EndTime = Format(EndTime1, "yyyy-mm-dd") & " " & Format("23:00:01", "hh:mm:ss")页脚内容22strQuery = "SELECT datavalue FROM (SELECT DISTINCT datatime,datatag,datavalue,datatxt FROM fixreport " + _ "WHERE datatag = 'COD211' " + _"AND (datatime >={ts '" + StartTime + "'} AND " + _"datatime <={ts '" + EndTime + "'})" + _"order by datatime )"Set conADO = New ADODB.ConnectionconADO.ConnectionString = "Driver={Microsoft Access Driver (*.MDB)};DBQ=E:\\~污水报表\\gyws_report.mdb;UID=aa;PWD=;"conADO.OpenSet rsADO = New ADODB.RecordsetrsADO.Open strQuery, conADO, adOpenDynamic, adLockOptimistic, adCmdTexti = rsADO(0)j = i + 1k = i + 2页脚内容23End Sub4.5 将临时数据表中数据倒回主数据表Private Sub close_pic13_Click()Dim conADO, conADO2 As ADODB.ConnectionDim rsADO, rsADO2 As ADODB.RecordsetDim strQuery, strQuery2 As String'+++++fix数据连接定义+++++Dim conADOfix As ConnectionDim rsADOfix As Recordset页脚内容24Dim strQueryfix As String'+++++fix数据处理定义+++++Dim StartTime As StringDim Tag As StringDim i'++++++以下内容为从fix系统数据读出需要数据++++++Tag = "AA1"strQuery = "delete from fixreport "strQuery2 = "INSERT INTO fixreport SELECT * FROM fixreport_temp "' "INSERT INTO fixreport " + _'"(datatime, datatag, datavalue,datatxt) " + _'"VALUES( ' " + Datat + " ',' " + Datatag + " ', ' " + Datav + " ',' " + Datasm + " ')"Set conADO = New ADODB.ConnectionconADO.ConnectionString = "Driver={Microsoft Access Driver (*.MDB)};DBQ=E:\\~污水报表\\gyws_report.mdb;UID=aa;PWD=;"页脚内容25conADO.OpenSet conADO2 = New ADODB.ConnectionconADO2.ConnectionString = "Driver={Microsoft Access Driver (*.MDB)};DBQ=E:\\~污水报表\\gyws_report.mdb;UID=aa;PWD=;"conADO2.OpenSet rsADO = New ADODB.RecordsetSet rsADO2 = New ADODB.RecordsetrsADO.Open strQuery, conADO, adOpenForwardOnly, adLockReadOnly, adCmdTextrsADO2.Open strQuery2, conADO, adOpenForwardOnly, adLockReadOnly, adCmdTextEnd Sub4.6 删除某个表中全部数据页脚内容26Private Sub close_pic21_Click()Dim conADO, conADO2 As ADODB.ConnectionDim rsADO, rsADO2 As ADODB.RecordsetDim strQuery, strQuery2 As String'+++++fix数据连接定义+++++Dim conADOfix As ConnectionDim rsADOfix As RecordsetDim strQueryfix As String'+++++fix数据处理定义+++++页脚内容27Dim StartTime As StringDim Tag As StringDim i'++++++以下内容为从fix系统数据读出需要数据++++++Tag = "AA1"strQuery = "delete from fixreport "'Set conADO = New ADODB.ConnectionconADO.ConnectionString = "Driver={Microsoft Access Driver (*.MDB)};DBQ=\\192.168.1.222\新建文件夹\\gyws_report.mdb;UID=aa;PWD=;"conADO.OpenSet rsADO = New ADODB.Recordset' Set rsADO2 = New ADODB.RecordsetrsADO.Open strQuery, conADO, adOpenForwardOnly, adLockReadOnly, adCmdText页脚内容28End Sub4.7 读一个数据库中数据,将该数据写入另一个数据库页脚内容29Private Sub close_pic3_Click()Dim conADO(10) As ADODB.ConnectionDim rsADO(10) As ADODB.Recordset页脚内容30Dim strQuery(10) As String'+++++fix数据连接定义+++++Dim conADOfix(10) As ConnectionDim rsADOfix(10) As RecordsetDim strQueryfix(10) As String'+++++fix数据处理定义+++++Dim StartTime As StringDim Tag(10) As StringDim i'StartsmmTime = Now()'Data = Second(StartTime)'Data2 = CStr(Minute(StartTime))'++++++以下内容为从fix系统数据读出需要数据++++++Dim dateadd1, dateadd2dateadd1 = Format(Me.datestar.Value, "yyyy-mm-dd") & " " & Format(Me.timestar.Value, "hh:mm:ss") dateadd2 = dateadd("h", 23, dateadd1)Me.dateend = Format(dateadd2, "yyyy-mm-dd")页脚内容31Me.timeend = Format(dateadd2, "hh:mm:ss")Me.datestar.RefreshMe.timestar.RefreshStartTime = Format(Me.datestar.Value, "yyyy-mm-dd") & " " & Format(Me.timestar.Value, "hh:mm:ss") EndTime = Format(Me.dateend.Value, "yyyy-mm-dd") & " " & Format(Me.timeend.Value, "hh:mm:ss") Tag(0) = "LDT211_1"Tag(1) = "LDT211_2"Tag(2) = "FT211"Tag(3) = "FT212"Tag(4) = "LDT212_1"Tag(5) = "LDT212_2"Tag(6) = "PH211"Tag(7) = "TT211"Tag(8) = "DO211"Tag(9) = "COD211"'Tag(10) = "AA1"' strQueryfix = "SELECT VALUE FROM SERVER " + _页脚内容32' "WHERE (TAG = '" + Tag(1) + "'" + _' ")" + _' "AND INTERVAL = '01:00:00' " + _' "AND (DATETIME >={ts '" + StartTime + "'} AND " + _' "DATETIME <={ts '" + EndTime + "'})"For i = 0 To 9strQueryfix(i) = "SELECT DATETIME,VALUE,TAG FROM SERVER " + _"WHERE (TAG = '" + Tag(i) + "'" + _")" + _"AND INTERVAL = '01:00:00' " + _"AND (DATETIME >={ts '2010-06-14 00:00:01'} AND " + _"DATETIME <={ts '2010-06-14 23:00:01'})" + _" ORDER BY DATETIME"'2010-06-14 23:00:00Set conADOfix(i) = New ADODB.ConnectionconADOfix(i).ConnectionString = "DSN=FIX Dynamics Historical Data;UID=sa;PWD=;"conADOfix(i).Open页脚内容33Set rsADOfix(i) = New ADODB.RecordsetrsADOfix(i).Open strQueryfix(i), conADOfix(i), adOpenForwardOnly, adLockReadOnly, adCmdTextNext i'++++++以下内容为向数据库中插入数据+++++++'Datasm = "当前插入数据为时间,本数据为" & Data2 & "分!"'Data1 = CStr(Data)' Set conADO = New ADODB.Connection' conADO.ConnectionString = "Driver={Microsoft Access Driver (*.MDB)};DBQ=E:\\~污水报表\\gyws_report.mdb;UID=aa;PWD=;"'conADO.Open'strQuery = "INSERT INTO fixreport " + _'"(datatime, datatag, datavalue,datatxt) " + _'"VALUES( ' " + StartTime + " ',' " + Data2 + " ', ' " + Data1 + " ',' " + Datasm + " ')"'Set rsADO = New ADODB.Recordset页脚内容34' rsADO.Open strQuery, conADO, adOpenForwardOnly, adLockReadOnly, adCmdText'++++++以下内容为将读出fix数据写入数据库fixreport+++++++Dim Datat, Datatag, Datav, Datasm, Tagsm(1)Dim jDim smtime, smm As StringFor j = 0 To 9Set conADO(j) = New ADODB.ConnectionconADO(j).ConnectionString = "Driver={Microsoft Access Driver (*.MDB)};DBQ=\\192.168.1.222\新建文件夹\\gyws_report.mdb;UID=aa;PWD=;"conADO(j).OpenWhile rsADOfix(j).EOF <> True'Datasm = "当前插入数据为时间,本数据为" & Data2 & "分!" CStr'If rsADO(c) <> "" Thensmtime = rsADOfix(j)(0)页脚内容35smm = Minute(smtime)Datasm = "当前入数据为地" & "次" & smm & "分时的数值!"Datat = CStr(rsADOfix(j)(0))Datatag = CStr(rsADOfix(j)(2))Datav = CStr(rsADOfix(j)(1))strQuery(j) = "INSERT INTO fixreport " + _"(datatime, datatag, datavalue,datatxt) " + _"VALUES( ' " + Datat + " ',' " + Datatag + " ', ' " + Datav + " ',' " + Datasm + " ')"' If rsADO(c) <> "" Then .Cells(r, c + l + 1).Value = rsADO(c)' ElseIf rsADO(c) = 0 Then Intyexcel.Quit' If CStr(rsADO(c)) Like "!1234567890" Then Intyexcel.Quit _' Else .Cells(r, c + l + 1).Value = rsADO(c)Set rsADO(j) = New ADODB.RecordsetrsADO(j).Open strQuery(j), conADO(j), adOpenForwardOnly, adLockReadOnly, adCmdText页脚内容36rsADOfix(j).MoveNextWendNext jEnd Sub页脚内容37'++++++s删除表+++++Dim conADO As ADODB.ConnectionDim rsADO As ADODB.RecordsetDim strQuery As StringDim Datat, Datatag, Datav, Datasm, Tagsm(1)Dim jDim smtime, smm As StringSet conADO = New ADODB.ConnectionconADO.ConnectionString = "Driver={Microsoft Access Driver (*.MDB)};DBQ=E:\\~污水报表\\gyws_report.mdb;UID=aa;PWD=;"conADO.OpenstrQuery = "DROP {TABLE fixreport_temp }"Set rsADO = New ADODB.Recordset页脚内容38rsADO.Open strQuery, conADO, adOpenForwardOnly, adLockOptimistic, adCmdText'++++++再已存在库中创建表+++++Dim cat As ADOX.CatalogDim tbl As New ADOX.TableSet cat = New ADOX.Catalogcat.ActiveConnection = "Provider=Microsoft.Jet.OLEDB.4.0;" & _"Data Source=E:\~污水报表\gyws_report.mdb;"With tbl.Name = "fixreport_temp"' Create a field and append it to the new Table' object. This must be done before appending the' Table object to the Tables collection of the' Catalog..Columns.Append "datatime", adDate.Columns.Append "datatag", adVarWChar.Columns.Append "datavalue", adDouble页脚内容39.Columns.Append "datatxt", adVarWCharEnd With' Add the new table to the database.cat.Tables.Append tbl'Clean up the referencesSet cat = NothingSet tbl = Nothing附件1:网络下载参考数据删除Access中的重复记录,用sql如何写PL--SQL 2007-12-13 13:52:32 阅读200 评论0 字号:大中小1、查找表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断select * from people页脚内容40where peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1)2、删除表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断,只留有rowid最小的记录delete from peoplewhere peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1)and rowid not in (select min(rowid) from people group by peopleId having count(peopleId )>1)3、查找表中多余的重复记录(多个字段)select * from vitae awhere (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)4、删除表中多余的重复记录(多个字段),只留有rowid最小的记录delete from vitae awhere (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1) and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(*)>1)5、查找表中多余的重复记录(多个字段),不包含rowid最小的记录select * from vitae awhere (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1) and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(*)>1)页脚内容41几个删除重复记录的SQL语句来源:2007年11月29日09:53网友评论:0条点击:5553比如现在有一人员表(表名:peosons)若想将姓名、身份证号、住址这三个字段完全相同的记录查询出来select p1.* from persons p1,persons p2 where p1.id<>p2.id and p1.cardid = p2.cardid an d p1.pname = p2.pname and p1.address = p2.address可以实现上述效果.几个删除重复记录的SQL语句1.用rowid方法2.用group by方法3.用distinct方法1。
VFP重复记录删除的问题
VFP重复记录删除的问题
以下就重复记录删除的问题作一阐述。
有两个意义上的重复记录,一是完全重复的记录,也即所有字段均重复的记录,二是部分关键字段重复的记录,比如Name字段重复,而其他字段不一定重复或都重复可以忽略。
1、对于第一种重复,比较容易解决,使用
select distinct * from tableName
就可以得到无重复记录的结果集。
如果该表需要删除重复的记录(重复记录保留1条),可以按以下方法删除
select distinct * into #Tmp from tableName
drop table tableName
select * into tableName from #Tmp
drop table #Tmp
发生这种重复的原因是表设计不周产生的,增加唯一索引列即可解决。
2、这类重复问题通常要求保留重复记录中的第一条记录,操作方法如下
假设有重复的字段为Name,Address,要求得到这两个字段唯一的结果集
select identity(int,1,1) as autoID, * into #Tmp from tableName select min(autoID) as autoID into #Tmp2 from #Tmp group by Name,autoID
select * from #Tmp where autoID in(select autoID from #tmp2)
最后一个select即得到了Name,Address不重复的结果集(但多了一个autoID字段,实际写时可以写在select子句中省去此列)。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
SQL>delete from cz where rowid in ( select row_id from exceptions);
16 rows deleted.
SQL>insert into cz select distinct * from dups;
3 rows created.
C1 C10 C20
---------- ---------- ---
1 2 dsf
2 3 che
3 4 dff
(3).SQL>select * from cz a where rowid=(select max(rowid) from cz where c1=a.c1 and c10=a.c10 and c20=a.c20);
(2).适用于有少量重复记录的情况(注意,对于有大量重复记录的情况,用以下语句效率会很低):
SQL>delete from cz a where a.rowid!=(select max(rowid) from cz b where a.c1=b.c1 and a.c10=b.c10 and a.c20=b.c20);
SQL>delete from cz a where a.rowid<(select max(rowid) from cz b where a.c1=b.c1 and a.c10=b.c10 and a.c20=b.c20);
SQL>delete from cz a where rowid <(select max(rowid) from cz where c1=a.c1 and c10=a.c10 and c20=a.c20);
Table created.
SQL>select * from dups;
C1 C10 C20
---------- ---------- ---
1 2 dsf
1 2 dsf
1 2 dsf
1 2 dsf
2 3 che
1 2 dsf
1 2 dsf
1 2 dsf
1 2 dsf
(select min(rowid) from cz group by c1,c10,c20 having count(*)>1);
SQL>delete cz where rowid not in(select min(rowid) from cz group by c1,c10,c20);
具体步骤如下:
SQL>@?/rdbms/admin/utlexcpt.sql
Table created.
SQL>desc exceptions
Name Null? Type
----------------------------------------- -------- --------------
(3).适用于有少量重复记录的情况(临时表法):
SQL>create table test as select distinct * from cz; (建一个临时表test用来存放重复的记录)
SQL>truncate table cz; (清空cz表的数据,但保留cz表的结构)
SQL>insert into cz select * from test; (再将临时表test里的内容反插回来)
*
ERROR at line 1:
ORA-02299: cannot validate (TEST.CZ_UNIQUE) - duplicate keys found
SQL>create table dups as select * from cz where rowid in (select row_id from exceptions);
AAAHD/AAIAAAADSAAB
AAAHD/AAIAAAADSAAC
AAAHD/AAIAAAADSAAF
AAAHD/AAIAAAADSAAH
AAAHD/AAIAAAADSAAI
AAAHD/AAIAAAADSAAG
AAAHD/AAIAAAADSAAD
AAAHD/AAIAAAADSAAE
在Oracle中利用Rowid查找和删除表中的重复记录.txt爱情就像脚上的鞋,只有失去的时候才知道赤脚走路是什么滋味骗人有风险,说慌要谨慎。不要爱上年纪小的男人,他会把你当成爱情学校,一旦学徒圆满,便会义无反顾地离开你。在Oracle中利用Rowid查找和删除表中的重复记录.txt师太,你是我心中的魔,贫僧离你越近,就离佛越远……初中的体育老师说:谁敢再穿裙子上我的课,就罚她倒立。平时工作中可能会遇到当试图对库表中的某一列或几列创建唯一索引时,系统提示 ORA-01452 :不能创建唯一索引,发现重复记录。
重复记录判断的标准是:
C1,C10和C20这三列的值都相同才算是重复记录。
经查看表CZ总共有16条记录:
SQL>set pagesize 100
SQL>select * from cz;
C1 C10 C20
---------- ---------- ---
1 2 dsf
1 2 dsf
下面总结一下几种查找和删除重复记录的方法(以表CZ为例):
表CZ的结构如下:
SQL> desc cz
Name Null? Type
----------------------------------------- -------- ------------------
C1 NUMBER(10)
ROW_ID ROWID
OWNER VARCHAR2(30)
TABLE_NAME VARCHAR2(30)
CONSTRAINT VARCHAR2(30)
SQL>alter table cz add constraint cz_unique unique(c1,c10,c20) exceptions into exceptions;
C10 NUMBER(5)
C20 VARCHAR2(3)
删除重复记录的方法原理:
(1).在Oracle中,每一条记录都有一个rowid,rowid在整个数据库中是唯一的,rowid确定了每条记录是在Oracle中的哪一个数据文件、块、行上。
(2).在重复的记录中,可能所有列的内容都相同,但rowid不会相同,所以只要确定出重复记录中那些具有最大rowid的就可以了,其余全部删除。
SQL>select *from cz;
C1 C10 C20
---------- ---------- ---
1 2 dsf
2 3 che
3 4 dff
4 5 err
5 3 dar
6 1 wee
7 2 zxc
7 rows selected.
从结果里可以看到重复记录已经删除。
1 2 dsf
1 2 dsf
2 3 che
1 2 dsf
1 2 dsf
1 2 dsf
1 2 dsf
2 3 che
2 3 che
2 3 che
2 3 che
3 4 dБайду номын сангаасf
3 4 dff
3 4 dff
4 5 err
5 3 dar
6 1 wee
7 2 zxc
20 rows selected.
1.查找重复记录的几种方法:
(1).SQL>select * from cz group by c1,c10,c20 having count(*) >1;
C1 C10 C20
---------- ---------- ---
1 2 dsf
2 3 che
3 4 dff
(2).SQL>select distinct * from cz;
2 3 che
2 3 che
2 3 che
2 3 che
3 4 dff
3 4 dff
3 4 dff
16 rows selected.
SQL>select row_id from exceptions;
ROW_ID
------------------
AAAHD/AAIAAAADSAAA
AAAHD/AAIAAAADSAAJ
AAAHD/AAIAAAADSAAK
AAAHD/AAIAAAADSAAL
AAAHD/AAIAAAADSAAM
AAAHD/AAIAAAADSAAN
AAAHD/AAIAAAADSAAO
AAAHD/AAIAAAADSAAP
16 rows selected.
C1 C10 C20
---------- ---------- ---
1 2 dsf
2 3 che
3 4 dff
2.删除重复记录的几种方法:
(1).适用于有大量重复记录的情况(在C1,C10和C20列上建有索引的时候,用以下语句效率会很高):
SQL>delete cz where (c1,c10,c20) in (select c1,c10,c20 from cz group by c1,c10,c20 having count(*)>1) and rowid not in
(4).适用于有大量重复记录的情况(Exception into 子句法):