文档库

最新最全的文档下载
当前位置:文档库 > 孙子兵法之sql优化三十六计

孙子兵法之sql优化三十六计

孙子兵法之sql优化三十六计

孙子兵法之sql优化三十六计

中科软科技股份有限公司

寿险事业部

2008年6月

孙子兵法之sql优化三十六计

关于本文档

本文件包含保密内容,本文件并具有著作权。未经幸福人寿保险有限公司和中科软科技股份有限公司书面同意,任何一方都不得复制或通过任何方式传播,无论是电子格式、纸张格式、影印格式或其他任何格式,也不得存储在任何性质的检索系统中。

孙子兵法之sql优化三十六计

说明:类型-创建(C)、修改(U)、删除(D)、增加(A);

孙子兵法之sql优化三十六计

孙子兵法之sql优化三十六计

孙子兵法之sql优化三十六计

目录

关于本文档................................................................................................................................. I 1第一计:选择最有效率的表名顺序.. (1)

1.1原理 (1)

1.2举例 (1)

2第二计:WHERE子句的联结顺序 (1)

2.1原理 (1)

2.2举例 (2)

3第三计:SELECT 子句中避免使用* (2)

3.1原理 (2)

3.2举例 (2)

4第四计:减少访问数据库的次数 (2)

4.1原理 (2)

4.2举例 (3)

5第五计:在PL/SQL使用解释计划测试SQL性能 (3)

5.1原理 (3)

5.2举例 (3)

6第六计:使用DECODE函数减少处理时间 (3)

6.1原理 (3)

6.2举例 (3)

7第七计:整合简单、无关联的数据库访问 (6)

7.1原理 (6)

7.2举例 (6)

8第八计:删除重复记录 (6)

8.1原理 (6)

孙子兵法之sql优化三十六计

8.2举例 (6)

9第九计:用TRUNCATE代替DELETE (7)

9.1原理 (7)

9.2举例 (7)

10第十计:尽量多使用COMMIT (7)

10.1原理 (7)

10.2举例 (7)

11第十一计:用WHERE子句代替HA VING子句 (8)

11.1原理 (8)

11.2举例 (8)

12第十二计:减少对表的查询 (8)

12.1原理 (8)

12.2举例 (9)

13第十三计:通过内部函数提高SQL效率 (9)

13.1原理 (9)

13.2举例 (9)

14第十四计:使用表的别名 (9)

14.1原理 (9)

14.2举例 (9)

15第十五计:分情况使用EXISTS和IN、用NOT EXISTS代替NOT IN (10)

15.1原理 (10)

15.2举例 (10)

16第十六计:识别低效执行的SQL语句 (11)

16.1原理 (11)

16.2举例 (11)

17第十七计:用索引提高效率 (12)

孙子兵法之sql优化三十六计

17.1原理 (12)

17.2举例 (12)

18第十八计:用EXISTS替换DISTINCT (12)

18.1原理 (12)

18.2举例 (13)

19第十九计:SQL语句使用大写 (13)

19.1原理 (13)

19.2举例 (13)

20第二十计:在JA V A代码中尽量少使用连接符“+”连接字符串 (13)

20.1原理 (13)

20.2举例 (13)

21第二十一计:尽量不使用操作符<> (13)

21.1原理 (14)

21.2举例 (14)

22第二十二计:避免在索引列上使用NOT (14)

22.1原理 (14)

22.2举例 (14)

23第二十三计:避免在索引列上使用计算 (14)

23.1原理 (14)

23.2举例 (14)

24第二十四计:> 及< 操作符(大于或小于操作符 (15)

24.1原理 (15)

24.2举例 (15)

25第二十五计:用UNION代替OR(适用于索引列) (15)

25.1原理 (15)

25.2举例 (16)

孙子兵法之sql优化三十六计

26第二十六计:用IN替换OR (16)

26.1原理 (16)

26.2举例 (16)

27第二十七计:避免在索引列上使用IS NULL和IS NOT NULL(判空操作符)17

27.1原理 (17)

27.2举例 (17)

28第二十八计:总是使用索引的第一个列 (18)

28.1原理 (18)

28.2举例 (18)

29第二十九计:用UNION ALL代替UNION (18)

29.1原理 (18)

29.2举例 (18)

30第三十计:用WHERE代替ORDER BY (19)

30.1原理 (19)

30.2举例 (19)

31第三十一计:避免改变索引列的类型 (20)

31.1原理 (20)

31.2举例 (20)

32第三十二计:需要当心的WHERE子句 (20)

32.1原理 (20)

32.2举例 (21)

33第三十三计:索引使用的选择 (21)

33.1原理 (21)

33.2举例 (21)

34第三十四计:避免使用耗费资源的操作 (21)

孙子兵法之sql优化三十六计

34.1原理 (21)

34.2举例 (21)

35第三十五计:优化GROUP BY (22)

35.1原理 (22)

35.2举例 (22)

36第三十六计:LIKE操作符 (22)

36.1原理 (22)

36.2举例 (22)

37附:ORACLE数据库重要概念 (23)

37.1数据字典 (23)

孙子兵法之sql优化三十六计

1第一计:选择最有效率的表名顺序

1.1原理

ORACLE 的解析器按照从右到左的顺序处理 FROM 子句中的表名,FROM 子句中写在最后的表 ( 基础表 driving table) 将被最先处理,在 FROM 子句中包含多个表的情况下 , 你必须选择记录条数最少的表作为基础表。如果有 3 个以上的表连接查询 , 那就需要选择交叉表(intersection table) 作为基础表 , 交叉表是指那个被其他表所引用的表。

1.2举例

以核心业务系统中的新契约模块的个人保单表、个人险种表为例。个人保单表是保单明细表,而个人险种表是把保单再明细到险种的表。所以在联合这两张表查询时:

select a.* from lcpol a,lccont b where a.grpcontno=b.grpcontno and b.signdate='2008-6-10' //效率较高

select a.* from lccont b,lcpol a where a.grpcontno=b.grpcontno and b.signdate='2008-6-10'//效率较低

上述sql已经在查询优化器中进行比较。

2第二计:WHERE子句的联结顺序

2.1原理

Oracle采用自下而上的顺序解析WHERE子句,根据这个原理,表之间的连接条件必须写在其他WHERE条件之前,那些可以过滤最大数量记录的条件必须写在WHERE子句的末尾。

孙子兵法之sql优化三十六计

2.2举例

以核心业务系统中的新契约模块的个人保单表、个人险种表为例。个人保单表是保单明细表,而个人险种表是把保单再明细到险种的表。所以在联合这两张表查询时:

select a.* from lcpol a,lccont b where a.grpcontno=b.grpcontno and b.signdate='2008-6-10' //效率较高

select a.* from lcpol a,lccont b where b.signdate='2008-6-10'and a.grpcontno=b.grpcontno //效率较低

上述sql已经在查询优化器中进行比较。

3第三计:SELECT 子句中避免使用*

3.1原理

ORACLE 在解析的过程中 , 会将 '*' 依次转换成所有的列名 , 这个工作是通过查询数据字典完成的 , 这意味着将耗费更多的时间。

3.2举例

略。

4第四计:减少访问数据库的次数

4.1原理

每次访问数据库,ORACLE 在内部都执行了许多工作 : 解析 SQL 语句、估算索引的利用率、绑定变量、读数据块等,sql多次访问数据库意味着耗费时间会很长。

孙子兵法之sql优化三十六计

4.2举例

略。

5第五计:在PL/SQL使用解释计划测试sql性能

5.1原理

在PL/SQL中可以使用解释计划测试自己所写的sql的性能,当你在解释计划窗口中执行测试sql后,解释计划窗口会显示执行sql的各种耗费,一边你检测性能。

5.2举例

6第六计:使用DECODE函数减少处理时间

6.1原理

使用DECODE函数可以避免重复扫描相同记录或重复连接相同的表。

6.2举例

1、含义解释:

decode(条件,值1,翻译值1,值2,翻译值2,...值n,翻译值n,缺省值)

2、该函数的含义如下:

IF 条件=值1 THEN

RETURN(翻译值1)

ELSE IF 条件=值2 THEN

RETURN(翻译值2)

…………………….

…………………….

…………………….

孙子兵法之sql优化三十六计

ELSE IF 条件=值n THEN

RETURN(翻译值n)

ELSE

RETURN(缺省值)

END IF

3、使用方法:

A、比较大小

select decode(sign(变量1-变量2),-1,变量1,变量2) from dual; //取较小值

*sign()函数是一个判断俩个值的大小的函数,根据两个值的差是0、正数还是负数,分别返回0、1、-1

例如:

变量1=10,变量2=20

则sign(变量1-变量2)返回-1,decode解码结果为“变量1”,达到了取较小值的目的。

B、表、视图结构转化

孙子兵法之sql优化三十六计

现有数据为:

2000011000

2000021100

2000031200

2000041300

2000051400

2000061500

2000071600

2001011100

2002021200

孙子兵法之sql优化三十六计

2003011300

想要转化为以下结构的数据:

孙子兵法之sql优化三十六计

结构转化的SQL语句为:

create or replace view

v_sale(year,month1,month2,month3,month4,month5,month6,month7,month8,month9, month10,month11,month12)

as

select

substr(month,1,4),

sum(decode(substrb(month,5,2),'01',sell,0)),

sum(decode(substrb(month,5,2),'02',sell,0)),

sum(decode(substrb(month,5,2),'03',sell,0)),

sum(decode(substrb(month,5,2),'04',sell,0)),

sum(decode(substrb(month,5,2),'05',sell,0)),

sum(decode(substrb(month,5,2),'06',sell,0)),

sum(decode(substrb(month,5,2),'07',sell,0)),

sum(decode(substrb(month,5,2),'08',sell,0)),

孙子兵法之sql优化三十六计

sum(decode(substrb(month,5,2),'09',sell,0)),

sum(decode(substrb(month,5,2),'10',sell,0)),

sum(decode(substrb(month,5,2),'11',sell,0)),

sum(decode(substrb(month,5,2),'12',sell,0))

from sale

group by substr(month,1,4);

7第七计:整合简单、无关联的数据库访问

7.1原理

如果你有几个简单的数据库查询访问,你可以把它们整合到一个查询中(即使它们之间没有任何关系)。

7.2举例

略。

8第八计:删除重复记录

8.1原理

略。

8.2举例

1、最高效的删除重复记录方法( 因为使用了ROWID) 例子:

DELETE FROM EMP E WHERE E.ROWID > (SELECT MIN(X.ROWID) FROM EMP X WHERE X.EMP_NO = E.EMP_NO);

孙子兵法之sql优化三十六计

9第九计:用TRUNCATE代替DELETE

9.1原理

当删除表中的记录时, 在通常情况下, 回滚段(rollback segments ) 用来存放可以被恢复的信息. 如果你没有COMMIT 事务,ORACLE 会将数据恢复到删除之前的状态( 准确地说是恢复到执行删除命令之前的状况) 而当运用TRUNCA TE 时, 回滚段不再存放任何可被恢复的信息. 当命令运行后, 数据不能被恢复. 因此很少的资源被调用, 执行时间也会很短(注:TRUNCATE 只在删除全表适用,并且TRUNCA TE 是DDL 语句而不是DML语句)

9.2举例

1、执行时间较快:truncate table t1;

2、执行时间较慢:delete from t1;

10第十计:尽量多使用COMMIT

10.1原理

只要有可能,在程序中尽量多使用COMMIT,这样程序的性能得到提高,执行请求也会因为COMMIT 所释放的资源而减少::

COMMIT 所释放的资源::

a. 回滚段上用于恢复数据的信息.。

b. 被程序语句获得的锁。

c. redo log buffer 中的空间。

d. ORACLE 为管理上述3 种资源中的内部花费。

10.2举例

略。

孙子兵法之sql优化三十六计

11第十一计:用Where子句代替HA VING子句

11.1原理

避免使用HA VING 子句, HA VING 只会在检索出所有记录之后才对结果

集进行过滤. 这个处理需要排序, 总计等操作. 如果能通过WHERE 子句限

制记录的数目, 那就能减少这方面的开销. ( 非oracle 中) on 、where 、having 这三个都可以加条件的子句中,on 是最先执行,where 次之,having 最后,因为on 是先把不符合条件的记录过滤后才进行统计,它就可以减少中间运算要处理的数据,按理说应该速度是最快的,where 也应该比having 快点的,因为它过滤数据后才进行sum ,在两个表联接时才用on 的,所以在一个表的时候,就剩下where 跟having 比较了。在这单表查询统计的情况下,如果要过滤的条件没有涉及到要计算字段,那它们的结果是一样的,只是where 可以使用rushmore 技术,而having 就不能,在速度上后者要慢如果要涉及到计算的字段,就表示在没计算之前,这个字段的值是不确定的,根据上篇写的工作流程,where 的作用时间是在计算之前就完成的,而having 就是在计算后才起作用的,所以在这种情况下,两者的结果会不同。在多表联接查询时,on 比where 更早起作用。系统首先根据各个表之间的联接条件,把多个表合成一个临时表后,再由where 进行过滤,然后再计算,计算完后再由having 进行过滤。由此可见,要想过滤条件起到正确的作用,首先要明白这个条件应该在什么时候起作用,然后再决定放在那里。

11.2举例

略。

12第十二计:减少对表的查询

12.1原理

孙子兵法之sql优化三十六计

12.2举例

在含有子查询的SQL 语句中,要特别注意减少对表的查询。例子:

Select tab_name from tables where (tab_name,db_ver) = (select tab_name,db_ver from tab_)

13第十三计:通过内部函数提高sql效率

13.1原理

复杂的SQL 往往牺牲了执行效率。而能够运用oracle的内部函数所写的sql 将大大提高sql效率。

13.2举例

略。

14第十四计:使用表的别名

14.1原理

当在SQL 语句中连接多个表时,请使用表的别名并把别名前缀于每个表的Column 上。这样一来,就可以减少解析的时间并减少那些由Column 歧义引起的语法错误。

14.2举例

Select a.* from table1 a ,table 2 b where a.X=b.Y;//效率较高

孙子兵法之sql优化三十六计

15第十五计:分情况使用EXISTS和IN、用NOT EXISTS代替NOT IN

15.1原理

在许多基于基础表的查询中,为了满足一个条件,往往需要对另一个表进行联接。在这种情况下,使用EXISTS( 或NOT EXISTS) 通常将提高查询的效率。

一般来讲,在子查询中,IN子句将执行一个内部的排序和合并。IN是对外表和内表作Hash Join,而EXISTS是对外表和内表作Nested Loop,也就是说对于EXISTS,针对外表(需要遍历其所有内容)需要遍历的每一行,都会对内表进行一次查询,因此如果外表和内表大小相当,IN和EXISTS在性能上差别不大。

如果两个表中一个是较小的表,一个是较大的表,如果内表大则用EXISTS 性能会更好(因为外表小了,遍历的次数遍历内表的次数就少了很多),内表较小的用IN性能会更好。

对于NOT IN 和NOT EXISTS,无论在哪种情况下,NOT IN 都是最低效的,因为它对内外表都进行全表扫描,并没有用到索引。而NOT EXISTS的子查询依然能用到表上的索引,所以无论那个表大,用NOT EXISTS都比NOT IN要快。为了避免使用NOT IN , 我们可以把它改写成外连接(Outer Joins) 或NOT EXISTS。

15.2举例

1、举例:表A(小表),表B(大表),CC列上有索引

在外表小,内表大的情况下用in(Hash Join A和B两个表)效率就会很低,比如:select * from A where cc in (select cc from B)

这个时候查询用到了A表上cc列的索引,但是因为A是小表,而且大表B上的索引也没有充分利用,因此效率不高。

而如果用了exist,我们发现走的是对A,B两个表的nested Loop,对于遍历A的每一行,都会对大表B进行一次查询(可能对B表的查询结果不是太多.)

select * from A where exists(select cc from B where cc=http://www.wendangku.net/doc/fbdaf2f6ba0d4a7302763a33.html)

孙子兵法之sql优化三十六计

这样效率会高些,因为用到了B表(大表)上cc列的索引。

2、举例:

(高效)SELECT * FROM EMP ( 基础表) WHERE EMPNO >

0 AND EXISTS ( SELECT …X' FROM DEPT WHERE DEPT.DEPTNO = EMP.DEPTNO AND LOC = …MELB')

( 低效) SELECT * FROM EMP ( 基础表) WHERE EMPNO >

0 AND DEPTNO IN (SELECT DEPTNO FROM DEPT WHERE LOC = …MELB' ) 。

16第十六计:识别低效执行的sql语句

16.1原理

可以使用目前比较流行的sql优化图形工具,或者写出自己的sql工具来解决sql 优化的问题。

SELECT EXECUTIONS , DISK_READS, BUFFER_GETS,

ROUND ((BUFFER_GETS-DISK_READS)/BUFFER_GETS,2 ) Hit_radio, ROUND (DISK_READS/EXECUTIONS,2) Reads_per_run,

SQL_TEXT

FROM V$SQLAREA

WHERE EXECUTIONS>0

AND BUFFER_GETS > 0

AND (BUFFER_GETS-DISK_READS)/BUFFER_GETS < 0.8

ORDER BY 4 DESC ;

16.2举例

略。