mysql-分页查询优化

最新推荐文章于 2026-04-01 22:48:02 发布
原创 最新推荐文章于 2026-04-01 22:48:02 发布 · 289 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#mysql #java #数据库
文章讨论了SQL分页查询的性能问题，提出通过主键排序和优化算法如NJL和BNL来提升效率。NJL算法利用索引进行关联查询，而BNL算法则涉及join_buffer的使用。这两种方法避免了无谓的数据扫描，提高了大数据量下的查询速度。 
select *  from  user   limit   10000，10；

上面的sql分页实际上是先查出1-10010条数据，然后留下后面10条数据【性能不高】

常见分页场景的优化

  • 根据自增且连续的主键排序的分页查询：select * from user where id>10000 limit 10；这样效率高，不用查询出前面10000条数据
  • 嵌套循环连接算法【NJL算法，关联走索引】：从小表一次一次拿数据到大表中关联查询【小表为驱动表，大表为被驱动表】【关联字段有索引】
  • 基于块的嵌套循环连接【BNL算法，关联没有索引】：从小表一次一次拿数据到join_buffer中然后到大表中逐条对比【先把小表所有的数据放到join_buffer中，然后从大表的每条数据取出来跟join_buffer中的数据做对比，最后返回满足join条件的数据】
MySQL分页查询性能优化
Mr.xing的博客
03-14 626
select 列 from 表 limit [offset,] count;offset：表⽰偏移量，通俗点讲就是跳过多少⾏，offset可以省略，默认为0，表⽰跳过0⾏，范围：[0,+∞)。count：跳过offset⾏之后开始取数据，取count⾏记录；范围：[0,+∞)。limit中offset和count的值不能⽤表达式。//取前n⾏记录select 列 from 表 limit 0,n;//或者select 列 from 表 limit n;
MySQL千万数据量下的分页查询优化：从原理到实践
李长渊的博客
02-11 1428
在现代应用程序中，数据库是核心组件之一，而分页查询是常见的数据库操作之一。然而，当数据量达到千万级别时，传统的分页查询（如`LIMIT offset, size`）可能会变得非常缓慢，尤其是在`offset`值较大的情况下。这是因为MySQL需要扫描大量的数据才能找到正确的起始位置。本文将深入探讨千万数据量下的分页查询优化策略，从原理到实践，帮助你更好地应对这一挑战。
在 MySQL 中优化分页的 3 种方法
allway2的博客
12-04 2299
很多很多的 Web 应用程序需要分页浏览信息。从客户记录到 iTunes 收藏中的专辑。因此，作为Web开发人员和架构师，我们必须有效地完成所有这些工作。首先查看如何从 MySQL 数据库中获取信息。我们概述了实现此目的的三种方法。最终，我们试图避免丢弃记录。毕竟，如果服务器不获取它们，我们节省了很多。我们还能如何避免这种额外的工作。怎么记得姓氏。例如： 当然，这样的解决方案只有在按 ID 分页时才有效。如果您按姓名分页，它可能会变得更加混乱，因为可能有多个人具有相同的名称。如果 ID 不适用于您的应用
MySQL 千万级分页查询优化，8种方案彻底搞定
最新发布
qq_28372005的博客
04-01 708
MySQL 大数据量分页慢，本质不是 LIMIT 本身慢，而是大偏移量导致大量无效扫描 + 回表随机 IO + 无索引排序。本文提供的 8 种方案，从简单 SQL 优化到架构级改造，覆盖所有业务场景： 1.低成本快速优化：延迟关联、子查询、覆盖索引 2.高性能无偏移分页：主键定位法 3.亿级数据跳页：分段范围、分区表 4.超高并发与复杂检索：冗余表、ES 实际开发中，优先使用延迟关联法与主键定位法，基本可以解决 95% 以上的分页性能问题。只有当数据量达到亿级且查询复杂时，才考虑引入 ES 或分库分表。
Mysql分页查询优化
wdquan19851029的专栏
09-07 4434
1.插入大量数据 创建存储过程，向表中插入大量数据 drop procedure if EXISTS `my_procedure`; delimiter // create procedure my_procedure() BEGIN DECLARE n int DEFAULT 1; WHILE n < 10001 DO insert INTO weather (city,shidu,pm25,pm10,quality,high_temp,low_temp) VALUE ('Q
优化mysql分页查询
yangyanping20108的博客
06-29 1644
MySQL的系统结构图，客户端程序发送sql语句查询请求给服务层，服务层会解析、优化sql语句，之后交给存储引擎，也就是说，存储引擎是真正完成查询的(增加、删除、修改也是由存储引擎负责的)
MySQL 分页查询优化
qq_56158663的博客
05-12 2757
MySQL分页查询优化，通俗易懂！🎉
MYSQL百万级数据分页查询优化实战
热门推荐
leon
04-07 2万+
MYSQL大数据量分页查询优化 一、记一次mysql分页查询优化 最近项目中，需要将公司老的订单日志数据迁移到新的ElasticSearch统一日志存储，我们老日志数据是分库分表存储在mysql数据库中(按天分表)，单表数据量在500w左右，本人就写了一个小程序负责mysql到es的数据迁移，功能其实很简单，但其中出现了一些没有考虑到的问题，比如查询的效率问题，在此做下记录。老日志数据如下 数...
MySQL如何优化分页查询
Mreden的博客
05-01 875
打卡(2020-05-02) MySQL如何优化分页查询 一般分页查询是创建覆盖索引能够比较好的提升性能。 第一种优化思路 在索引上完成分页操作，最后根据主键关联回原表查询所需要的其他列内容 // 未优化之前的sql,这个相当于是全表扫描 select film_id,description from film order by title limit 50,5; ...
数据库系列之MySQL中的分页查询优化
牧羊人的方向
09-30 6237
分页查询的效率在数据量大的时候尤为重要，影响到前端响应和用户体验。本文简要测试了几种分页查询优化的方法，适用于数据库开发性能优化场景。
MySQL 分页优化：让查询速度飞起来！
novelly的专栏
12-01 2277
优化方式大分页，带 WHERE大分页，不带 WHERE大分页平均提升比例小分页，带 WHERE小分页，不带 WHERE总体平均提升比例子查询优化28.20%10.60%19.40%24.90%554.40%154.53%INNER JOIN 优化30.80%30.20%30.50%156.50%11.70%57.30%覆盖索引优化（示例）显著提升（具体根据数据和查询而定）显著提升（具体根据数据和查询而定）显著提升（具体根据数据和查询而定）
Mysql分页以及优化的几种方式。
felix
09-07 4759
1，分页语句 m:页的长度，n:分页起始位置大小 第一种写法 select * from [table_name] limit m offset n; 第二种写法 select * from [table_name] limit n , m; 获取从第n个开始的m个记录。 select * from `order` limit 10 获取从第1个开始的m个记录 2，分页优化 直接使用limit函数进行分页，在数据小的情况下没什么问题，但数据量过大，则会显得很吃力。 下面以一张简单的订单表为
MySQL深度分页优化
JavaMa的博客
05-16 7049
Mysql深度分页优化 1. 背景 mysql使用select * from table limit offset, rows分页在深度分页的情况下, 性能急剧下降。 例如：select * 的情况下直接⽤limit 600000，10 扫描的是约60万条数据，并且是需要回表 60W次，也就是说⼤部分性能都耗在随机访问上，到头来只⽤到10条数据(总共取600010条数据只留10条记录) 2. 优化 2.1 业务层面限制跨度比较大的跳页 百度和Google方案: [外链图片转存失败,源站可能有防盗链机制,
MySQL性能调优与深度分页优化策略
小码农的博客
07-09 3744
在现代的Web应用和大数据环境中，MySQL作为一款广泛使用的开源关系数据库管理系统，其性能直接影响着应用程序的响应时间和用户体验。尤其是在面对海量数据的深度分页查询时，性能问题尤为突出。本文旨在探讨MySQL的性能调优策略以及深度分页查询的优化方法。MySQL性能调优是一个复杂的过程，涉及到数据库配置、查询优化、系统资源管理等多个方面。而深度分页查询的优化则需要结合具体的应用场景和数据特性，采用灵活的策略来实现高效的数据检索。通过上述的优化措施，可以显著提升MySQL在高并发和大数据环境下的表现。
MySQL调优--09--分页查询优化
时光里的博客
07-23 1571
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档。
MySQL 深度分页性能急剧下降，该如何优化？
欢迎来到我的博客
09-14 241
例如：select * 的情况下直接⽤limit 600000，10 扫描的是约60万条数据，并且是需要回表60W次，也就是说⼤部分性能都耗在随机访问上，到头来只⽤到10条数据(总共取600010条数据只留10条记录)如果对于有where 条件，又想走索引用limit的，必须设计一个索引，将where 放第一位，limit用到的主键放第2位，而且只能select 主键！入参2：排序索引字段 可以是主键，也可以是其他索引。入参3：主键可手动传入，也可以根据表名计算出来：现在只支持单列主键的。
Mysql数据库分页查询及优化
小丑鱼的专栏
10-21 1771
最近遇到个数据库分页查询问题，mysql数据库分页查询默认是升序查询，就是第一页查询的是最先插入的数据，最后一页才是最新插入的数据，弄了个小的数据库表单。
MySQL-千万数据量深分页优化，拒绝线上故障，Java中级工程师面试题及答案
m0_60635084的博客
09-08 209
* 书签记录 ORDER BY 巨坑，慎踩 ORDER BY 索引失效举例 结言 软硬件说明 MySQL VERSION mysql> select version(); +-----------+ | version() | +-----------+ | 5.7.30 | +-----------+ 1 row in set (0.01 sec) 表结构说明 借鉴公司表结构，字段、长度以及名称均已删减 mysql> DESC MCS_PROD; +------.
查询效率提升10倍！3种优化方案，帮你解决MySQL深分页问题
chuixue24的博客
04-20 1519
开发经常遇到分页查询的需求，但是当翻页过多的时候，就会产生深分页，导致查询效率急剧下降。有没有什么办法，能解决深分页的问题呢？本文总结了三种优化方案，查询直接效率提升10倍，一起学习一下。先创建一张用户表，只在create_time字段上加索引： 然后往用户表中插入100万条测试数据，这里可以使用存储过程： 2. 验证深分页问题 每页10条，当我们查询第一页的时候，速度很快： 在不到0.01秒内直接返回了，所以没显示出执行时间。当我们翻到第10000页的时候，查询效率急剧下降： 执行时间变
MySQL 千万数据量深分页优化, 拒绝线上故障！
Long-Tai
12-25 3142
前言 优化项目代码过程中发现一个千万级数据深分页问题，缘由是这样的 库里有一张耗材 MCS_PROD 表，通过同步外部数据中台多维度数据，在系统内部组装为单一耗材产品，最终同步到 ES 搜索引擎 MySQL 同步 ES 流程如下： 通过定时任务的形式触发同步，比如间隔半天或一天的时间频率 同步的形式为增量同步，根据更新时间的机制，比如第一次同步查询 >= 1970-01-01 00:00:00.0 记录最大的更新时间进行存储，下次更新同步以此为条件 以分页的形式获取数据，当前页数量加一，循环..
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值