百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 编程文章 > 正文

MySQL数据库修改小众参数解决大众问题

qiyuwang 2025-04-09 19:53 6 浏览 0 评论

MySQL数据库中的SQL执行的时候经常会遇到未按预期走索引从而导致SQL执行时间长的情况出现。本文通过实际案例演示如何通过不修改SQL脚本而是通过修改数据库的参数来解决的案例。

1. 基础信息

数据库版本:MySQL5.7.30 (percona分支)

表结构信息如下

因包含字段较多,只截取部分重要字段
CREATE TABLE `tb1` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '主键',
  c3 varchar(50) NOT NULL COMMENT '',
  c1 varchar(20) NOT NULL COMMENT '',
  c2 varchar(30) NOT NULL COMMENT '',
  c4 tinyint(1) NOT NULL DEFAULT '0' COMMENT '',
  c6 datetime NOT NULL COMMENT '',
  c5 datetime NOT NULL COMMENT '',
  c7 varchar(10) DEFAULT '' COMMENT '',
  'c20' text ,
  PRIMARY KEY (`id`),
  KEY `idx_c1_c2` (c1,c2) USING BTREE,
  KEY `idx_c3` (c3),
  KEY `idx_c1_c4` (c1,c4),
  KEY `idx_c1_c5` (c1,c5),
  KEY `idx_c6_c7_c4` (c6,c7,c4) USING BTREE,
  KEY `idx_c7_c2_c6` (c7,c2,c6)
) ENGINE=InnoDB AUTO_INCREMENT=76579517 DEFAULT CHARSET=utf8

索引统计信息如下

+------+-----------+--------------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+
| Table| Non_unique| Key_name     | Seq_in_index | Column_name | Collation | Cardinality | Sub_part | Packed | Null | Index_type | Comment | Index_comment |
+------------------+--------------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+
| tb1 |          0 | PRIMARY      |            1 | id          | A         |    32237890 |     NULL | NULL   |      | BTREE      |         |               |
| tb1 |          1 | idx_c1_c2    |            1 | c1          | A         |      246510 |     NULL | NULL   |      | BTREE      |         |               |
| tb1 |          1 | idx_c1_c2    |            2 | c2          | A         |      558882 |     NULL | NULL   |      | BTREE      |         |               |
| tb1 |          1 | idx_c3       |            1 | c3          | A         |    32237890 |     NULL | NULL   |      | BTREE      |         |               |
| tb1 |          1 | idx_c1_c4    |            1 | c1          | A         |      567771 |     NULL | NULL   |      | BTREE      |         |               |
| tb1 |          1 | idx_c1_c4    |            2 | c4          | A         |      450892 |     NULL | NULL   |      | BTREE      |         |               |
| tb1 |          1 | idx_c1_c5    |            1 | c1          | A         |      260380 |     NULL | NULL   |      | BTREE      |         |               |
| tb1 |          1 | idx_c1_c5    |            2 | c5          | A         |    32237890 |     NULL | NULL   |      | BTREE      |         |               |
| tb1 |          1 | idx_c6_c7_c4 |            1 | c6          | A         |    15031719 |     NULL | NULL   |      | BTREE      |         |               |
| tb1 |          1 | idx_c6_c7_c4 |            2 | c7          | A         |    21172686 |     NULL | NULL   | YES  | BTREE      |         |               |
| tb1 |          1 | idx_c6_c7_c4 |            3 | c4          | A         |    22562920 |     NULL | NULL   |      | BTREE      |         |               |
| tb1 |          1 | idx_c7_c2_c6 |            1 | c7          | A         |        9330 |     NULL | NULL   | YES  | BTREE      |         |               |
| tb1 |          1 | idx_c7_c2_c6 |            2 | c2          | A         |       53700 |     NULL | NULL   |      | BTREE      |         |               |
| tb1 |          1 | idx_c7_c2_c6 |            3 | c6          | A         |    22523070 |     NULL | NULL   |      | BTREE      |         |               |
+------------------+--------------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+

实际数据量约4千万。

已出现的慢SQL,最大耗时超过10mins

 select a.* from tb1 a where a.c1 = '123' and c4 in (0, 3) and c5 >=DATE_SUB('2025-03-21 14:40:14', INTERVAL 15 DAY) order by id  limit 100;

执行计划如下

 +----+-------------+-------+------------+-------+--------------------------------+---------+---------+------+-------+----------+-------------+
| id | select_type | table | partitions | type  | possible_keys                   | key     | key_len | ref  | rows  | filtered | Extra       |
+----+-------------+-------+------------+-------+---------------------------------+---------+---------+------+-------+----------+-------------+
|  1 | SIMPLE      | a     | NULL       | index | idx_c1_c2,idx_c1_c4,idx_c1_c5   | PRIMARY | 8       | NULL | 21978 |     0.11 | Using where |
+----+-------------+-------+------------+-------+---------------------------------+---------+---------+------+-------+----------+-------------+

2. 原因分析

简而言之以上SQL不走其他索引的原因如下:

主键索引通常是聚集索引,在InnoDB中,表的数据是按照主键顺序存储的。当执行ORDER BY id时,优化器可能认为使用主键索引可以避免额外的排序,因为数据已经按主键顺序存储了。所以如果查询中带有ORDER BY主键字段,优化器可能会倾向于使用主键索引,尤其是当有其他条件过滤后,如果结果集较小,可能更高效。

只不过本次优化器的判断有点小失误,实际上使用上述其他索引(例如idx_c1_c2,idx_c1_c4,idx_c1_c5 )中的任意一个都比走PRIMARY耗时更低。

3. 常规优化方式

2.1 修改SQL语句

原SQL语句可以有多种修改方式,最简单的方式便是去掉order by id,即改为

 select a.* from tb1 a where a.c1 = '123' and c4 in (0, 3) and c5 >=DATE_SUB('2025-03-21 14:40:14', INTERVAL 15 DAY)  limit 100;

修改后执行计划如下:

 +----+-------------+-------+-----------+-------+--------------------------------+------------+---------+------+-------+----------+-------------------------------------+
| id | select_type | table | partitions | type  | possible_keys                   | key       | key_len | ref  | rows  | filtered | Extra                               |
+----+-------------+-------+------------+-------+---------------------------------+-----------+---------+------+-------+----------+-------------------------------------+
|  1 | SIMPLE      | a     | NULL       | range | idx_c1_c2,idx_c1_c4,idx_c1_c5   | idx_c1_c4 | 63       | NULL |158207 |    33.33 | Using index condition; Using where|
+----+-------------+-------+------------+-------+---------------------------------+-----------+---------+------+-------+----------+-------------------------------------+

可见修改后执行计划明显变优。

当然也可以有其他的优化方式,例如忽略主键索引、强制走其他索引等,但是选择顺位相对靠后一点。

2.2 修改索引

还有一种方式是修改索引,这也是比较常用的方式,例如添加一个c1_c4_c5的组合索引

alter table tb1 add key idx_c1_c4_c5(c1,c4,c5);

修改后原SQL即使不修改也会走此组合索引,效率也会提升的更明显。

但是: 如果数据量很大时(例如本表),添加索引耗时较久,且会导致数据库IO加大,主从延迟等情况。如需操作可以使用pt-osc等工具在业务低谷时进行。

另外,在MySQL8.0中,还可以修改索引的可见或隐藏来解决一些问题,本案例不适用。

2.3 归档数据

因本案例的表部分数据可以归档,因此可以归档数据,降低本表数据量来解决

2.4 参数调整

optimizer_switch :常规调整的参数是optimizer_switch ,例如关闭index_merge,打开mrr、关闭batched_key_access等。本案例通过尝试均未能改变执行计划

sort_buffer:当sortbuffer不足时,可以调整sort buffer解决,本案例依旧未生效。

max_length_for_sort_data: 修改max_length_for_sort_data参数,也是为了解决排序问题(MySQL8.0此参数在实际优化过程中有变化,此处不再赘述)

当然还有其他的参数也可以调整进行尝试,此处省略


3. 本案例主角:max_seeks_for_key

参数简介:

max_seeks_for_key通过限制优化器假设的索引扫描最大搜索次数,间接控制查询计划的选择。例如,即使某个索引的实际基数(cardinality)较低(即重复值较多),若将此参数设置为较低值(如100),优化器会认为“通过索引最多只需100次键值搜索即可完成查询”,从而更倾向于选择索引扫描而非全表扫描。其默认值很大,相当于优化器完全依赖索引的统计信息(如基数)估算扫描成本,不对搜索次数做额外限制。

适用场景:

当表中存在低基数字段(如性别字段)或优化器因统计信息不准确而错误选择全表扫描时,通过调整此参数可强制优化器优先使用索引,尤其在以下情况:

  • 索引实际效率高于优化器估算值(例如大表中通过索引快速定位少量数据全表扫描
  • 因磁盘I/O或数据量过大导致性能瓶颈。


本案例调整演示

该参数使用的很小众,但本案例正好适用,例如:

mysql> set max_seeks_for_key=100;
Query OK, 0 rows affected (0.00 sec)

修改后执行计划如下:

 +----+-------------+-------+-----------+-------+--------------------------------+------------+---------+------+-------+----------+---------------------------------------------------+
| id | select_type | table | partitions | type  | possible_keys                   | key       | key_len | ref  | rows  | filtered | Extra                                             |
+----+-------------+-------+------------+-------+---------------------------------+-----------+---------+------+-------+----------+---------------------------------------------------+
|  1 | SIMPLE      | a     | NULL       | range | idx_c1_c2,idx_c1_c4,idx_c1_c5   | idx_c1_c2 | 62       | NULL |524552 |    6.67 | Using index condition; Using where; Using filesort|
+----+-------------+-------+------------+-------+---------------------------------+-----------+---------+------+-------+----------+---------------------------------------------------+

可见,虽然调整后虽然选择的索引依然不是最优的,但是已经相对较快了。优化后执行时间不到1s。

因此可以在添加组合索引及数据归档清理前临时调整该参数临时解决。

想要全局生效需要修改全局参数

set global  max_seeks_for_key=100;

相关推荐

# 安装打开 ubuntu-22.04.3-LTS 报错 解决方案

#安装打开ubuntu-22.04.3-LTS报错解决方案WslRegisterDistributionfailedwitherror:0x800701bcError:0x80070...

利用阿里云镜像在ubuntu上安装Docker

简介:...

如何将Ubuntu Kylin(优麒麟)19.10系统升级到20.04版本

UbuntuKylin系统使用一段时间后,有新的版本发布,如何将现有的UbuntuKylin系统升级到最新版本?可以通过下面的方法进行升级。1.先查看相关的UbuntuKylin系统版本情况。使...

Ubuntu 16.10内部代号确认为Yakkety Yak

在正式宣布Ubuntu16.04LTS(XenialXerus)的当天,Canonical创始人MarkShuttleworth还非常开心的在个人微博上宣布Ubuntu下个版本16.10的内...

如何在win11的wsl上装ubuntu(怎么在windows上安装ubuntu)

在Windows11的WSL(WindowsSubsystemforLinux)上安装Ubuntu非常简单。以下是详细的步骤:---...

Win11学院:如何在Windows 11上使用WSL安装Ubuntu

IT之家2月18日消息,科技媒体pureinfotech昨日(2月17日)发布博文,介绍了3中简便的方法,让你轻松在Windows11系统中,使用WindowsSubs...

如何查看Linux的IP地址(如何查看Linux的ip地址)

本头条号每天坚持更新原创干货技术文章,欢迎关注本头条号"Linux学习教程",公众号名称“Linux入门学习教程"。...

怎么看电脑系统?(怎么看电脑系统配置)

要查看电脑的操作系统信息,可以按照以下步骤操作,根据不同的操作系统选择对应的方法:一、Windows系统通过系统属性查看右键点击桌面上的“此电脑”(或“我的电脑”)图标,选择“属性”。在打开的...

如何查询 Linux 内核版本?这些命令一定要会!

Linux内核是操作系统的核心,负责管理硬件资源、调度进程、处理系统调用等关键任务。不同的内核版本可能支持不同的硬件特性、提供新的功能,或者修复了已知的安全漏洞。以下是查询内核版本的几个常见场景:...

深度剖析:Linux下查看系统版本与CPU架构

在Linux系统管理、维护以及软件部署的过程中,精准掌握系统版本和CPU架构是极为关键的基础操作。这些信息不仅有助于我们深入了解系统特性、判断软件兼容性,还能为后续的软件安装、性能优化提供重要依据。接...

504 错误代码解析与应对策略(504错误咋解决)

在互联网的使用过程中,用户偶尔会遭遇各种错误提示,其中504错误代码是较为常见的一种。504错误并非意味着网站被屏蔽,它实际上是指服务器在规定时间内未能从上游服务器获取响应,专业术语称为“Ga...

猎聘APP和官网崩了?回应:正对部分职位整改,临时域名可登录

10月12日,有网友反映猎聘网无法打开,猎聘APP无法登录。截至10月14日,仍有网友不断向猎聘官方微博下反映该情况,而猎聘官方微博未发布相关情况说明,只是在微博内对反映该情况的用户进行回复,“抱歉,...

域名解析的原理是什么?域名解析的流程是怎样的?

域名解析是网站正常运行的关键因素,因此网站管理者了解域名解析的原理和流程对于做好域名管理、解决常见解析问题,保障网站的正常运转十分必要。那么域名解析的原理是什么?域名解析的流程是怎样的?接下来,中科三...

Linux无法解析域名的解决办法(linux 不能解析域名)

如果由于误操作,删除了系统原有的dhcp相关设置就无法正常解析域名。  此时,需要手动修改配置文件:  /etc/resolv.conf  将域名解析服务器手动添加到配置文件中  该文件是DNS域名解...

域名劫持是什么?(域名劫持是什么)

域名劫持是互联网攻击的一种方式,通过攻击域名解析服务器(DNS),或伪造域名解析服务器(DNS)的方法,把目标网站域名解析到错误的地址从而实现用户无法访问目标网站的目的。说的直白些,域名劫持,就是把互...

取消回复欢迎 发表评论: