如何利用Explain和Profiling来做MySQL的查询优化

本篇是MySQL查询优化系列文章的第三篇,前两篇我们分别介绍了Query语句优化的思路及基本原则什么是MySQL Query Optimizer。今天咱们来说道说道做查询优化经常用到的两个工具:Explain和Profiling。

一、Explain详解

Explain是检验我们优化效果的最直接、最有效的工具。

换句话说,MySQL Query Optimizer通过执行EXPLAIN命令来告诉我们它将使用一个怎样的执行计划来优化Query。

先给出一个使用Explain的示例:

mysql> explain select test_users.id,test_users.name  from ( select user_id  from test_users_nationality_map  where nationality_id=10  order by id asc limit 20 ) t,test_users  where t.user_id = test_users.id;
+----+-------------+----------------------------+--------+---------------------+---------------------+---------+-----------+---------+-----------------------+
| id | select_type | table                      | type   | possible_keys       | key                 | key_len | ref       | rows    | Extra                 |
+----+-------------+----------------------------+--------+---------------------+---------------------+---------+-----------+---------+-----------------------+
|  1 | PRIMARY     | <derived2>                 | ALL    | NULL                | NULL                | NULL    | NULL      |      20 | NULL                  |
|  1 | PRIMARY     | test_users                 | eq_ref | PRIMARY             | PRIMARY             | 4       | t.user_id |       1 | Using index condition |
|  2 | DERIVED     | test_users_nationality_map | index  | key_unationality_id | key_unationality_id | 1       | const     | 4499596 | Using where           |
+----+-------------+----------------------------+--------+---------------------+---------------------+---------+-----------+---------+-----------------------+
3 rows in set (0.00 sec)

下面是Explain功能中各种数据的详细说明:

  • id:MySQL Query Optimizer选定的执行计划中查询的序列号。
  • select_type:所使用的查询类型,主要有以下这几种查询类型:
    • DEPENDENT SUBQUERY:子查询内层的第一个SELECT,依赖于外部查询的结果集。
    • DEPENDENT UNION:子查询中的UNION,且为UNION中从第二个SELECT开始的后面所有SELECT,同样依赖于外部查询的结果集。
    • PRIMARY:子查询中的最外层查询,注意并不是主键查询。
    • SIMPLE:除子查询或UNION之外的其他查询。
    • SUBQUERY:子查询内层查询的第一个SE-LECT,结果不依赖于外部查询结果集。
    • UNCACHEABLE SUBQUERY:结果集无法缓存的子查询。
    • UNION:UNION语句中第二个SELECT开始后面的所有SELECT,第一个SELECT为PRIMARY。
    • UNION RESULT:UNION中的合并结果。
    • DERIVED:派生表的SELECT(FROM子句的子查询)
  • table:显示这一步所访问的数据库中的表的名称
  • <litype:告诉我们对表使用的访问方式,主要包含如下集中类型:
    • all:全表扫描。
    • const:读常量,最多只会有一条记录匹配,由于是常量,实际上只须要读一次。
    • eq_ref:最多只会有一条匹配结果,一般是通过主键或唯一键索引来访问。
    • fulltext:进行全文索引检索。
    • index:全索引扫描。
    • index_merge:查询中同时使用两个(或更多)索引,然后对索引结果进行合并(merge),再读取表数据。
    • index_subquery:子查询中的返回结果字段组合是一个索引(或索引组合),但不是一个主键或唯一索引。
    • rang:索引范围扫描。
    • ref:Join语句中被驱动表索引引用的查询。
    • ref_or_null:与ref的唯一区别就是在使用索引引用的查询之外再增加一个空值的查询。
  • possible_keys:该查询可以利用的索引。如果没有任何索引可以使用,就会显示成null,这项内容对优化索引时的调整非常重要。</p>
  • key:MySQL Query Optimizer从possi-ble_keys中所选择使用的索引。
  • key_len:被选中使用索引的索引键长度。
  • ref:列出是通过常量(const),还是某个表的某个字段(如果是join)来过滤(通过key)的。
  • rows::MySQL Query Optimizer通过系统收集的统计信息估算出来的结果集记录条数。
  • extra:查询中每一步实现的额外细节信息,主要会是以下内容:
    • Distinct:查找distinct值,当mysql找到了第一条匹配的结果时,将停止该值的查询,转为后面其他值查询。
    • Full scan on NULL key:子查询中的一种优化方式,主要在遇到无法通过索引访问null值的使用。
    • Impossible WHERE noticed after readingconst tables:MySQL Query Optimizer通过收集到的统计信息判断出不可能存在结果。
    • No tables:Query语句中使用FROM DUAL或不包含任何FROM子句。
    • Not exists:在某些左连接中,MySQL QueryOptimizer通过改变原有Query的组成而使用的优化方法,可以部分减少数据访问次数。
    • Range checked for each record (index map:N):通过MySQL官方手册的描述,当MySQL Query Optimizer没有发现好的可以使用的索引时,如果发现前面表的列值已知,部分索引可以使用。对前面表的每个行组合,MySQL检查是否可以使用range或in-dex_merge访问方法来索取行。
    • SELECT tables optimized away:当我们使用某些聚合函数来访问存在索引的某个字段时,MySQL Query Optimizer会通过索引直接一次定位到所需的数据行完成整个查询。当然,前提是在Query中不能有GROUP BY操作。如使用MIN()或MAX()的时候。
    • Using filesort:当Query中包含ORDER BY操作,而且无法利用索引完成排序操作的时候,MySQL Query Optimizer不得不选择相应的排序算法来实现。
    • Using index:所需数据只需在Index即可全部获得,不须要再到表中取数据。
    • Using index for group-by:数据访问和Us-ing index一样,所需数据只须要读取索引,当Query中使用GROUP BY或DISTINCT子句时,如果分组字段也在索引中,Extra中的信息就会是Using index for group-by。
    • Using temporary:当MySQL在某些操作中必须使用临时表时,在Extra信息中就会出现Using temporary 。主要常见于GROUP BY和ORDER BY等操作中。
    • Using where:如果不读取表的所有数据,或不是仅仅通过索引就可以获取所有需要的数据,则会出现Using where信息。
    • Using where with pushed condition:这是一个仅仅在NDBCluster存储引擎中才会出现的信息,而且还须要通过打开Condition Pushdown优化功能才可能被使用。控制参数为engine_condition_pushdown。

言而总之,总而言之,我们可以通过Explain功能分析生产环境中的各种查询语句,了解它们在MySQL中到底是怎么运行的。

二、Profiling详解

通过Query Profiling能够定位一个Query语句的性能瓶颈。

要想优化一条Query,就需要清楚这条Query的性能瓶颈到底在哪里,是消耗的CPU计算太多,还是需要的IO操作太多?

MySQL的Query Profiling是一个使用非常方便的Query诊断分析工具,通过该工具可以获取一条Query在整个执行过程中多种资源的消耗情况。

下面看看Profiling的具体用法。

(1)通过执行“set profiling=1”命令,开启Query Profiling功能。示例如下:

mysql> set profiling=1;
Query OK, 0 rows affected, 1 warning (0.00 sec)

(2)开启Profiling功能之后,MySQL就会自动记录所有执行的Query的profile信息。下面我们执行一条Query,例如:

mysql> select * from users order by age desc limit 10;
+-----+--------+-----+------+---------------------+
| id  | name   | age | sex  | date                |
+-----+--------+-----+------+---------------------+
| 388 | fml    |  60 |    1 | 2016-12-13 00:56:36 |
| 713 | gjnb   |  60 |    1 | 2016-12-13 00:56:37 |
| 415 | gjkha  |  60 |    0 | 2016-12-13 00:56:36 |
| 208 | hnag   |  60 |    0 | 2016-12-13 00:56:36 |
| 171 | akn    |  60 |    0 | 2016-12-13 00:56:36 |
| 391 | ih     |  60 |    1 | 2016-12-13 00:56:36 |
| 532 | mhnijk |  60 |    1 | 2016-12-13 00:56:36 |
|   4 | ebld   |  60 |    0 | 2016-12-13 00:53:48 |
| 478 | kb     |  60 |    1 | 2016-12-13 00:56:36 |
| 715 | ndlj   |  60 |    0 | 2016-12-13 00:56:37 |
+-----+--------+-----+------+---------------------+
10 rows in set (1.02 sec)

(3)通过执行“show profiles”命令获取当前系统中保存的多个Query的profile的概要信息,示例如下:

mysql> show profiles;
+----------+------------+-----------------------------------------------------+
| Query_ID | Duration   | Query                                               |
+----------+------------+-----------------------------------------------------+
|        1 | 0.99625500 | select * from test_users order by age desc limit 10 |
+----------+------------+-----------------------------------------------------+
1 row in set, 1 warning (0.00 sec)

(4)针对单个Query获取详细的profile 信息。

在获取概要信息之后,就可以根据概要信息中的Query_ID来获取某个Query在执行过程中详细的profile信息了。例如:

mysql> show profile cpu, block io for query 1;
+----------------------+----------+----------+------------+--------------+---------------+
| Status               | Duration | CPU_user | CPU_system | Block_ops_in | Block_ops_out |
+----------------------+----------+----------+------------+--------------+---------------+
| starting             | 0.000048 | 0.000043 |   0.000005 |            0 |             0 |
| checking permissions | 0.000006 | 0.000004 |   0.000002 |            0 |             0 |
| Opening tables       | 0.000016 | 0.000015 |   0.000001 |            0 |             0 |
| init                 | 0.000021 | 0.000021 |   0.000001 |            0 |             0 |
| System lock          | 0.000009 | 0.000007 |   0.000002 |            0 |             0 |
| optimizing           | 0.000004 | 0.000003 |   0.000001 |            0 |             0 |
| statistics           | 0.000011 | 0.000010 |   0.000001 |            0 |             0 |
| preparing            | 0.000008 | 0.000007 |   0.000001 |            0 |             0 |
| Sorting result       | 0.000003 | 0.000002 |   0.000001 |            0 |             0 |
| executing            | 0.000003 | 0.000002 |   0.000000 |            0 |             0 |
| Sending data         | 0.000008 | 0.000007 |   0.000001 |            0 |             0 |
| Creating sort index  | 0.996076 | 0.976648 |   0.018069 |            0 |             0 |
| end                  | 0.000008 | 0.000004 |   0.000004 |            0 |             0 |
| query end            | 0.000003 | 0.000001 |   0.000001 |            0 |             0 |
| closing tables       | 0.000010 | 0.000009 |   0.000001 |            0 |             0 |
| freeing items        | 0.000012 | 0.000005 |   0.000007 |            0 |             0 |
| cleaning up          | 0.000009 | 0.000008 |   0.000001 |            0 |             0 |
+----------------------+----------+----------+------------+--------------+---------------+
17 rows in set, 1 warning (0.01 sec)

上面执行的sql,获取了我们Query语句的CPU和IO消耗,性能瓶颈非常明显,即为“Create sort index”一行,分析出了原因,这样我们就可以有针对性的对这个Query做性能优化了


程序员日常

搞IT = 修电脑?

同学甲:好久不见了,听说你在北京工作?

我: 恩恩,好久不见了

同学甲: 听说你是搞IT的,好厉害啊。。

我: 混口饭呗,凑合着过

同学甲: 我们家电脑坏了,反应超级慢,还嗡嗡响,啥时候回家你给我看一下吧

我: 用了几年了?

同学甲: 四年多了吧,结婚时买的

我: 换个新的吧

同学甲: 你不是搞这个的么,修个这个不是小case,买新的不得花钱么

同学甲: 听说你还在XXX公司,多牛逼啊,修好了请你吃饭

同学甲: 正好咱们也好久没见了,喝几杯

我: ......

-----草泥马 分割线-----

遇到这种情况,怎么解?

扫码关注李苦李公众号

李苦李公众号

标签: 存储, 数据库, 性能优化