当前位置: 代码迷 >> SQL >> SQL优化 札记 (转)
  详细解决方案

SQL优化 札记 (转)

热度:61   发布时间:2016-05-05 10:50:10.0
SQL优化 笔记 (转)

优化思路

1.???数据库结构(主要是索引)、

2.???服务器当前性能(共享内存、磁盘文件碎片)、

3.???查询语句复杂:反范式设计

4.???记录数过多:分表

Sql优化

执行顺序

???????? Where字句选择所有合适的行,Group???By用来分组个统计行,Having字句用来剔除多余的分组。

???????? 这样Group???By???个Having的开销小,查询快.对于大的数据行进行分组和Having十分消耗资源。如果Group???BY的目的不包括计算,只是分组,那么用Distinct更快

分析查询语句?

使用explain 对select语句进行分析,如

EXPLAIN SELECT * FROM account? WHERE id=10,得到结果:

?

???????? Type代表时间复杂度,此处为常量;key为primary代表是主键索引

?

???????? All代表全表扫描,key为null代表没有索引

???????? 对于update的分析,可以将update改成select ,from后边不变

分析慢查询

???????? 在运行环境中,对各种查询进行explain分析不太现实,而且你不知道什么时候去分析

???????? 位置: my.cnf的log-slow-queries? 得到慢sql位置

???????? 使用mysqldumpslow、 mysqlsla(第三方统计统计)查看慢查询,

Msyqldumpslow

/path/mysqldumpslow -s c -t 10/database/mysql/slow-log

这会输出记录次数最多的10条SQL语句,其中:

-s, 是表示按照何种方式排序,c、t、l、r分别是按照记录次数、时间、查询时间、返回的记录数来排序,ac、at、al、ar,表示相应的倒叙;

-t, 是top n的意思,即为返回前面多少条的数据;

-g, 后边可以写一个正则匹配模式,大小写不敏感的;

Mysqlsla

mysqlsla –lt slow /data/var/mysql_slow.log

Mysqlreport

???????? 第三方的mysql的状态报告工具,对showstatus的结果执行一系列后期处理,以可读性好的方式展现。

操作符优化

in or 和 not in

???????? 子句常会使用临时表使索引失效。?

???????? IN适合于外表大而内表小的情况;EXISTS适合于外表小而内表大的情况

推荐方案

???????? 在业务密集的SQL当中尽量不采用IN操作符,用EXISTS 方案代替; {}为连续值使用betweenand替换;离散值最频繁的放在前边

? ? ?? select num from a where num in (select num from b)

? ? ?? select ?num from a where exist( select * from b whereb.num=a.num)

? ?? ? select * from table1 where time between time1 and time2

? ? ?? select a,b,c, from table1 where a not between 数值1 and 数值2

NOTIN操作符

???????? 此操作是强列不推荐使用的,因为它不能应用表的索引。

推荐方案:

???????? 用NOT EXISTS 方案代替

子查询

?????? 尽量少使用子查询。 方法:

?????? 1)使用联合查询,或者是外连接查询,并对链接字段建立索引。

?????? 2)如果不可避免,在子查询中尽量过滤较多的行

null 和 not null

? 不会应用索引,如:

???????? select?*?from?emp?where?dept_code?is?not?null??(不使用)?
???????? select?*?from?emp?where?dept_code?>?0??(使用)?

推荐方案:

???????? 修改?用其它相同功能的操作运算代替,如:a is not null 改为 a>0 或a>’’等。

???????? 对该字段设置默认值替代空值,如 a==0

> <和 >= <=

???????? 如一个表有100万记录,一个数值型字段A,30万记录的A=0,30万记录的A=1,39万记录的A=2,1万记录的A=3。那么执行A>2与A>=3的效果就有很大的区别了,因为A>2时ORACLE会先找出为2的记录索引再进行比较,而A>=3时ORACLE则直接找到=3的记录索引。

推荐方案:

???????? 使用 <=替换<?>=替换>

!=

? 不会使用索引,而是全表扫描

select?account_name?from?test?where?amount?!=?0??(不使用)?
select?account_name?from?test?where?amount?>?0??(使用)?

LIKE

???????? 如LIKE ‘%5400%’ 这种查询不会引用索引,而LIKE ‘X5400%’则会引用范围索引。

推荐方案:

???????? 第一个字符尽量是确定的????

???????? 实在不行考虑全文检索

UNION 和OR

???????? OR经常会产生临时表。?考虑把or的每个值改成一条一句,该子句中应该包含索引

???????? UNION在进行表链接后会筛选掉重复的记录,所以在表链接后会对所产生的结果集进行排序运算,删除重复的记录再返回结果。实际大部分应用中是不会产生重复的记录,最常见的是过程表与历史表UNION。如:

select * from gc_dfys? union? select* from ls_jg_dfys

???????? 这个SQL在运行时先取出两个表的结果,再用排序空间进行排序删除重复的记录,最后返回结果集,如果表数据量大的话可能会导致用磁盘进行排序。

推荐方案:

???????? 采用UNION ALL操作符替代UNION,因为UNION ALL操作只是简单的将两个结果合并后就返回。

Order by

?????? 尽量简化或避免对大型表的排序,以下是不好的: 1)order by 中没有索引中定义的列; 2)group by 或order by列的次序和索引中顺序不一致;3)排序的列

?????? ORDER?BY?子句只在两种严格的条件下使用索引:1)ORDER?BY中所有的列必须包含在相同的索引中并保持在索引中的排列顺序。2)ORDER?BY中所有的列必须定义为非空。 ?

?????? WHERE子句使用的索引和ORDER?BY子句中所使用的索引不能并列。

?

字段

1. 优先选择数字型字段,而不是字符型(比较方便)

2. 使用varchar 和nvarchar 替代char和nchar(空间小)

3. 尽量替换 select * from 为具体字段

4. 尽量减少事务执行时间,多commit

索引

使用原则

l? 在经常进行连接,但是没有指定为外键的列上建立索引

l? 在频繁进行排序或分组(即进行group ? by或order ? by操作)的列上建立索引。

l? 在条件表达式中经常用到的不同值较多的列上建立检索,在不同值少的列上不要建立索引。比如在雇员表的“性别”列上只有“男”与“女”两个不同值,因此就无必要建立索引。

l? 数据库表更新大量数据后,删除并重建索引可以提高查询速度。 ??

l? 是否使用根据select和修改的sql比例来进行权衡

where子句

? ?在子句上创建组合索引:(索引包含多列);使用最频繁、最大减少结果集的列作为索引前导列;

? where子句第一个字段是索引第一个,后边的不要求

? order by 和group by中也可使用

? ? 如索引 key'normal_key' (key1,key2,key3)对以下查询都能应用索引

? ? select * from keyt wherekey1=1 ? ...where key1=1 and key2=2 ??

? ? select * from key_t order bykey1,key2,key3

函数处理、计算的字段

???????? 进行了显式或隐式的运算的字段不能进行索引,如:

???????? select?*?from?emp?where?to_char(hire_date,'yyyymmdd')='20080411'?(不使用) ?

? ? ?? elect?*?from?emp?where?hire_date?=?to_char('20080411','yyyymmdd')?(使用) ?

? ????? select ? * ? from ? record ?where?amount/30 <1000(不使用)?

? ????? select? * ? from ? record ? where?amount <1000*30 (使用)

?

???????? substr(hbs_bh,1,4)=’5400’,优化处理:hbs_bhlike ‘5400%’

???????? trunc(sk_rq)=trunc(sysdate), 优化处理:sk_rq>=trunc(sysdate)and sk_rq<trunc(sysdate+1)

???????? ss_df+20>50,优化处理:ss_df>30

???????? ‘X’|| hbs_bh>’X5400021452’,优化处理:hbs_bh>’5400021542’

???????? sk_rq+5=sysdate,优化处理:sk_rq=sysdate-5

索引的权衡

1.??????关键是select和更新的比例,在mysqlreport的DMS部分

2.???该列重复值太多

3.???尽可能减少更新clusted index列

聚集索引

?????? 表中只有一个,用于

?????? 1)包含大量非重复值的列。

???????? 2使用下列运算符返回一个范围值的查询:BETWEEN>>=<??<=?group by ?order by

???????? 3返回大型结果集的查询。? ?如select ? date,sum(amount) ? from ? record? group ? by ? date?

反范式化设计

???????? 在表中增加冗余信息,违反第三范式,修改时需要考虑冗余信息的一致性:

1.??????修改行为比较罕见

2.??????影响范围比较小

3.??????允许短时间的数据不一致

4.??????通过定期的数据整理自动修复不一致的数据

?

使用临时表

把表的一个子集进行排序并创建临时表,有时能加速查询。它有助于避免多重排序操作,而且在其他方面还能简化优化器的工作。例如: ??
???????? SELECT ? cust.name,rcvbles.balance,……other? columns ??FROM ? cust,rcvbles ??
WHERE ? cust.customer_id ? = ? rcvlbes.customer_id ??AND? rcvblls.balance> 0 ??AND ? cust.postcode> “98000”??ORDER ? BY ? cust.name ??

???????? 如果这个查询要被执行多次而不止一次,可以把所有未付款的客户找出来放在一个临时文件中,并按客户的名字进行排序: ??
SELECT ? cust.name,rcvbles.balance,……other ? columns ??FROM ? cust,rcvbles??
WHERE ? cust.customer_id ? = ? rcvlbes.customer_id ??AND? rcvblls.balance> 0 ??ORDER ? BY ? cust.name??INTO ? TEMP ? cust_with_balance ??
???????? 然后以下面的方式在临时表中查询:??
???????? SELECT ? * ? FROM? cust_with_balance ??WHERE ? postcode> “98000”??

???????? 注意:临时表创建后不会反映主表的修改。在主表中数据频繁修改的情况下,注意不要丢失数据。

NoSql数据库

???????? 可以用来存储冗余信息

???????? 优点:1.更好的并发性能 2. Key-value格式

配置优化

索引缓存

???????? 将索引缓存到内存中,在mysqlreport的Key部分

???????? Key_buffer配置 缓存的大小:需要监控通常情况下索引的使用大小,从而进行配置

? ???? Innodb_buffer_pool_size: 配置innoDB数据和索引的内存缓冲池大小

查询缓存

???????? Mysqlreport的Query Cache部分

???????? 将select结果放在内存中,方便下次使用,配置 query_cache_size? query_cache_typequery_cache_limit

???????? 但是要注意缓存过期策略:更新就会过期。如果是select和update交替就比较惨

表锁定和行锁定

???????? Mysqlreport的Table Locks 和Line Locks

???????? 锁定策略:读可并发,写必须等待,写锁优先。

???????? 表锁定:适用于大部分查询,少量更新

???????? 行锁定:适用于select和update交替出现

???????? Mysql为MyISAM提供表锁定,为InnoDB提供行锁定

临时表

???????? Mysqlreport的Create Temp部分

???????? 将临时表尽量放在内存中,可设置tmp_table_size配置临时表的内存空间大小

线程池

???????? Mysqlreport的Threads部分

??? 配置thread_cache_size? 线程池大小

常用命令

连接数

???????? showstatus like '%thread%';

???? mysqladmin-uroot --password='password' status like ‘%slow%’ -i 5? //5秒刷新一次

连接详情

???????? showfull processlist,如果进程过多,就把进程打印下来,然后查看?mysql-e 'show full processlist;' > 111

参考网址

? ?http://blog.csdn.net/xiaoyi92/article/details/7045201

? ?http://blog.csdn.net/xiaoyi92/article/details/7046032

? ?http://www.cnblogs.com/wxj1020/archive/2008/04/27/1173638.html

??http://wenku.baidu.com/view/043eea8a84868762caaed54f.html?re=view

  相关解决方案