Redis 异步机制：如何避免单线程模型的阻塞？

最新推荐文章于 2025-01-14 16:11:52 发布
原创 最新推荐文章于 2025-01-14 16:11:52 发布 · 514 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#redis
本文探讨了影响Redis性能的五个关键方面：内部阻塞操作、CPU与NUMA架构、系统配置、内存碎片和缓冲区管理。客户端操作如网络IO、键值对操作及集合查询可能导致阻塞；磁盘交互如AOF日志同步和主从节点的数据传输也可能成为瓶颈。Redis采用异步子线程机制以减少阻塞，如AOF日志重写、键值对删除和数据库清空操作。通过理解和优化这些点，可以显著提升Redis实例的性能。

影响Redis性能的5大方面的潜在因素

  • Redis内部的阻塞式操作
  • CPU核和NUMA架构的影响
  • Redis关键系统配置
  • Redis内存碎片
  • Redis缓冲区

Redis实例有哪些阻塞点

  • 客户端：网络IO，键值对增删改查操作，数据库操作
  • 磁盘：生成RDB快照，记录AOF日志，AOF日志重写
  • 主从节点：主库生成、传输RDB文件，从库接收RDB文件，清空数据库，加载RDB文件
  • 切片集群实例：向其他实例传输哈希槽信息，数据迁移

客户端操作阻塞点

  • 网络IO部分，redis使用IO多路复用机制，避免主线程一直处于等待网络链接或请求到来的状态
  • 键值对增删改查操作，如果操作复杂度或者操作所需时间复杂度比较高的话，会阻塞redis
  • 集合全量查询和聚合操作 hgetall smembers
  • 删除bigkey也会造成阻塞，删除内存释放空间时，操作系统会向释放掉的内存块中插入一个链表，用于空闲内存管理
  • 清空数据库相比删除会更影响redis

磁盘交互阻塞点

  • AOF日志同步写

主从节点交互阻塞点

  • 主库复制内存，创建和传输rdb文件都是有子进程完成的，但是从库清空数据库会造成从库阻塞
  • 从库加载RDB文件，文件越大加载过程越慢，加载RDB文件就成为了阻塞点

切片集群实例交互阻塞点

  • redis cluster模式同步迁移bigkey

异步子线程机制

  • redis主线程启动后创建3个子线程负责AOF日志重写，键值对删除以及文件异步关闭
  • 主线程通过一个链表形式的任务队列和子线程进行交互。当收到键值对删除和清空数据库的操作时，主线程会把这个操作封装成一个任务，放入到任务队列中，然后给客户端返回一个完成信息，表明删除已经完成。这种异步删除也被称为惰性删除，此时删除或清空操作不会阻塞主线程，这就避免了对主线程的性能影响
  • AOF 日志配置成 everysec，主线程会把 AOF 写日志操作封装成一个任务，也放到任务队列中。后台子线程读取任务后，开始自行写入 AOF 日志，主线程不用一直等待 AOF 日志写完
  • 键值对删除：集合类型中有大量元素（例如有百万级别或千万级别元素）需要删除时，使用 UNLINK 命令
  • 清空数据库：可以在 FLUSHDB 和 FLUSHALL 命令后加上 ASYNC 选项，让后台子线程异步地清空数据库
    在这里插入图片描述
redis单线程模型阻塞问题浅析
java_cch的博客
04-10 2082
redis知识速览 解决问题很好的一个方式就是先建立起“系统观”。这也就是说，如果我们想要深入理解和优化 Redis，就必须要对它的总体架构和关键模块有一个全局的认知，然后再深入到具体的技术点。 redis6.0之后就是多线程版本的了。 好久没写了，今日就浅分享一下我的第一次在公司的技术分享吧，拿走吧，拿这个和面试官过招。 两大维度和三大主线 redis常见问题图 举个例子，如果你遇到了 Redis 的响应变慢问题，对照着这张图，你就可以发现，这个问题和 Redis 的性能主线相关，而性能主线又和数据结
redis是单线程的，那么他是怎么样避免阻塞的
qq_52988841的博客
08-08 602
集合全量查询和聚合操作；bigkey 删除；清空数据库；AOF 日志同步写；从库加载 RDB 文件为了避免阻塞式操作，Redis 提供了异步线程机制。所谓的异步线程机制，就是指，Redis 会启动一些子线程，然后把一些任务交给这些子线程，让它们在后台完成，而不再由主线程来执行这些任务。使用异步线程机制执行操作，可以避免阻塞主线程。
Redis之异步机制：如何避免单线程模型的阻塞？
香农三定律的博客
12-06 847
Redis性能篇之异步机制：如何避免单线程模型的阻塞？引言Redis 实例有哪些阻塞点1.和客户端交互时的阻塞点2. 和磁盘交互时的阻塞点3. 主从节点交互时的阻塞点4. 切片集群实例交互时的阻塞点哪些阻塞点可以异步执行异步的子线程机制 引言 影响 Redis 性能的 5 大方面的潜在因素，分别是： Redis 内部的阻塞式操作； CPU 核和 NUMA 架构的影响； Redis 关键系统配置； Redis 内存碎片； Redis 缓冲区。 Redis 的网络 IO 和键值对读写是由主线程完成的。那么，
16 异步机制：如何避免单线程模型的阻塞？
wmt0501的博客
04-09 322
Redis 之所以被广泛的使用，其原因就是 Redis 能够支持高性能的访问，但是对于使用单线程模型的 Redis 而言，造成 Redis 被阻塞有五大方面的潜在因素。 一、Redis 内部的阻塞操作 Redis 在运行之后就需要和多个实例之间进行交互，这些交互的过程涉及到的不同的操作就会阻塞 Redis，其中有四个主要方面的交互：客户端交互，主从库交互，磁盘交互和切片集群交互。 客户端交互：网络IO，键值对的增删改查，数据库的操作 磁盘交互：生成 RDB 文件，生成 AOF 日志文件，AOF 日志的重写
Redis篇之redis是单线程
冲鸭的博客
02-07 2615
可以看到，非阻塞IO模型中，用户进程在第一个阶段是非阻塞，第二个阶段是阻塞状态。虽然是非阻塞，但性能并没有得到提高。而且忙等机制会导致CPU空转，CPU使用率暴增。
Redis学习笔记——异步机制：如何避免单线程模型的阻塞？
qq_34132502的博客
06-23 308
Redis 的网络 IO 和键值对读写是由主线程完成的，如果在主线程上执行的操作消耗的时间太长，就会引起主线程阻塞。但是，Redis 既有服务客户端请求的键值对增删改查操作，也有保证可靠性的持久化操作，还有进行主从复制时的数据同步操作，等等。操作这么多，究竟哪些会引起阻塞呢？ Redis实例有哪些阻塞点 与Redis交互的对象及其操作： 客户端：网络 IO，键值对增删改查操作，数据库操作； 磁盘：生成 RDB 快照，记录 AOF 日志，AOF 日志重写； 主从节点：主库生成、传输 RDB 文件，从库接收
16 | 异步机制：如何避免单线程模型的阻塞？
吉衣の秋先生的博客
11-15 1331
Redis核心技术与实战 实践篇 16 | 异步机制：如何避免单线程模型的阻塞？ 影响 Redis 性能的 5 大方面的潜在因素，分别是： Redis 内部的阻塞式操作； CPU 核和 NUMA 架构的影响； Redis 关键系统配置； Redis 内存碎片； Redis 缓冲区。 Redis 实例有哪些阻塞点？ 客户端：网络 IO，键值对增删改查操作，数据库操作； 磁盘：生成 RDB 快照，记录 AOF 日志，AOF 日志重写； 主从节点：主库生成、传输 RDB 文件，从库接收 RDB 文件、清空数
Redis是单线程为什么还这么快？
最新发布
夏壹分享
01-14 1237
综上所述，Redis之所以能够在单线程模型下实现如此高的性能，主要得益于其纯内存操作、高效的数据结构、单线程模型的简化性、非阻塞I/O和I/O多路复用技术、异步持久化以及（在部分版本中）多线程IO读写的引入。综上所述，Redis之所以能够在单线程模型下保持高性能，主要得益于其纯内存操作、高效的数据结构设计、单线程模型的简化性、I/O多路复用技术的应用以及异步持久化的实现。例如，内存的访问延迟通常在纳秒级别，而SSD的访问延迟则在微秒级别，这种数量级的差异直接体现在Redis的响应速度上。
什么情况下可能会导致 Redis 阻塞？
wupanP的博客
08-02 640
在执行持久化操作时，尤其是生成 RDB 快照或 AOF 重写时，会消耗大量的 CPU 和 I/O 资源，可能会导致 Redis 响应变慢，甚至阻塞。此外，在主节点处理复制请求时，也会消耗一定的资源，影响主节点的性能。如果某个命令执行时间过长，会阻塞后续命令的执行。在 Redis 集群模式下，当进行重平衡操作（如增加或删除节点）时，数据的重新分布会消耗大量资源，可能会导致 Redis 节点的短暂阻塞。Redis 中某些命令的时间复杂度较高，如果在大数据集上使用这些命令，可能会导致 Redis 阻塞。
【实践篇】异步机制：如何避免单线程模型的阻塞？
shenyongsi的博客
11-14 997
Redis 之所以被广泛应用，很重要的一个原因就是它支持高性能访问。也正因为这样，我们必须要重视所有可能影响 Redis 性能的因素（例如命令操作、系统配置、关键机制、硬件配置等），不仅要知道具体的机制，尽可能避免性能异常的情况出现，还要提前准备好应对异常的方案。
Redis问题
qq_61465103的博客
04-21 917
Redis问题
redis之单线程的redis都有哪些阻塞点
wang0907的博客
11-14 1041
我们知道在Redis6.0之前Redis处理网络IO，数据读写都是使用一些线程来执行，我们将这个线程也叫做是主线程，那么，当某些操作阻塞了主线程时，就会影响redis对外提供正常的数据读取服务，本文就一起来看下都可能有哪些操作会阻塞主线程，即看下阻塞点都有哪些，这样我们才能更好的使用Redis，避免出现性能问题。接下来我们就一起来看下吧！1：bigkey删除2：清空库操作3：全量查询和聚合操作4：AOF日志的同步写入5：加载RBD文件1：bigkey删除。
16 Redis 的异步机制
海陆云的博客
12-07 2万+
16 Redis 的异步机制前言一、Redis 的阻塞点4 类交互对象和具体的操作之间的关系：和客户端交互时的阻塞点：Redis 的第一个阻塞点：集合全量查询和聚合操作：Redis 的第二个阻塞点 :bigkey 删除操作Redis 的第三个阻塞点：清空数据库Redis 的第四个阻塞点：AOF 日志同步写Redis 的第五个阻塞点：从库加载 RDB 文件切片集群实例交互时的阻塞点二、可以异步执行的阻塞点三、异步的子线程机制总结 前言 命令操作、系统配置、关键机制、硬件配置等会影响 Redis 的性能，不仅
Redis的AOF和RDB会不会造成阻塞
weixin_46374887的博客
01-20 3335
目前，Redis的持久化主要有两大机制，即AOF日志和RDB快照。那么通过这两种方式进行持久化的时候，会不会阻塞redis的读写，造成redis的性能下降呢？ AOF AOF是写后日志，它是先执行命令，把数据写入内存，然后才记录日志。 AOF日志是在主线程中执行的，采用先存数据再写日志的方式，可以避免对当前命令的阻塞。但可能会给下一个操作带来阻塞风险。这是因为如果把日志文件写入磁盘时，磁盘写压力大，就会导致写盘很慢，进而阻塞后续操作。 AOF提供了三种写回策略，也就是AOF配置项appendfsync的三
Redis面试题（一）: Redis到底是多线程还是单线程？
热门推荐
寒山空明月
04-02 12万+
0.redis单线程问题单线程指的是网络请求模块使用了一个线程（所以不需考虑并发安全性），即一个线程处理所有网络请求，其他模块仍用了多个线程。1.为什么说redis能够快速执行(1) 绝大部分请求是纯粹的内存操作（非常快速）(2) 采用单线程,避免了不必要的上下文切换和竞争条件(3) 非阻塞IO - IO多路复用2. redis的内部实现 内部实现采用epoll，采用了epoll+自己...
Redis时延问题分析及应对
weixin_33964094的博客
12-10 343
Redis时延问题分析及应对 Redis的事件循环在一个线程中处理，作为一个单线程程序，重要的是要保证事件处理的时延短，这样，事件循环中的后续任务才不会阻塞； 当redis的数据量达到一定级别后（比如20G），阻塞操作对性能的影响尤为严重； 下面我们总结下在redis中有哪些耗时的场景及应对方法； 耗时长的命令造成阻塞 keys、sort等命令 keys命令用于查找所有符合给定模式...
Redis学习笔记-避免Redis单线程阻塞
qq_38937634的博客
01-11 653
文章目录Redis学习笔记-避免Redis单线程阻塞1.笔记图2.影响 Redis 性能的因素3.和 Redis 实例的交互方式4.Redis 潜在阻塞点5.潜在阻塞点优化(执行异步操作)5.1 关键路径上的操作5.2 非关键路径上的操作6.异步子线程机制 Redis学习笔记-避免Redis单线程阻塞 我们都知道 Redis 中的增删改查操作使用的是单线程模型(对于读写操作，Redis 6.0也是单线程)，既然 Redis 是单线程就需要注意其潜在阻塞点，这篇文章学习一下 Redis 有哪些可能造成单线程阻
redis单线程处理，以及单双线程的优缺点
有才而性缓，定属大才。有智而气和，斯为大智。
12-11 1359
Redis快的主要原因是： 完全基于内存 数据结构简单，对数据操作也简单 使用多路 I/O 复用模型 单进程单线程好处 代码更清晰，处理逻辑更简单 不用去考虑各种锁的问题，不存在加锁释放锁操作，没有因为可能出现死锁而导致的性能消耗 不存在多进程或者多线程导致的切换而消耗CPU 单进程单线程弊端 无法发挥多核CPU性能，不过可以通过在单机开多个Redis实例来完善； 每一个进程或者线程...
单线程的redis如何处理阻塞命令
alwaysBrother的博客
08-06 5475
今天有个问题，既然redis是单线程的，那么像 BLPOP 这种的阻塞命令不会一直占用着线程，其他命令无法执行吗？然而事实上是可以执行的。 BLPOP key1 [key2 ] timeout 移出并获取列表的第一个元素， 如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止 而且redis的线程模型，是 I/O 多路复用，通过文件事件分配器单线程执行的。如下图，程序总是会将所有...
Redis核心技术-异步机制
ALONG的博客
01-03 3004
  Redis单线程处理网络IO、key-value操作、加载RDB文件等，但是部分操作会导致Redis主线程阻塞。那么都有哪些阻塞主线程的操作，以及哪些操作可以异步处理呢？ Redis实例交互式操作 client和Redis的操作   client和Redis的操作包含：网络 IO，键值对增删改查操作，清空数据库操作。   另外，bgsave、bgrewriter等操作时主线程fork子进程处理，如果Redis实例不是大内存（32G以上）Redis主线程阻塞时间较短。 网络 IO   Redis采用多路复
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值