分布式秒杀系统四

本文探讨了分布式秒杀系统中确保请求下单数据一致性的问题,包括库存同步、事务处理、数据库锁与分布式锁的使用。介绍了Redis Lua脚本在保证无锁化操作的同时避免超卖,以及在Redis崩溃前同步数据库的策略。同时,提到了MQ可能导致的重复发送问题及幂等接口的重要性。

分布式秒杀系统四

请求下单数据一致性的问题(性能?安全/?)

  1. 商品服务中商品减少的数量一定要等于订单服务中订单增加的数量。

  2. 库存不能为负数即不能超卖

单机测试的结果:库存10000件,请求方式1秒1w5个请求

  1. 直接下单的普通业务:发生了超卖,前后差距8秒

  2. 添加synchronized关键字:没有发生超卖,前后耗时15秒

    问题一:只是本地加锁,分布式环境下不可用,实际开发应该采用分布式锁(redis/zookeeper)

    问题二:需要注意和事务注解(@Transactional)配合使用的问题

    ⭐不加注解为线程安全,加了注解则不为线程安全

    因为@Transactional这个事务管理注解是基于AOP技术实现的,即标识当前方法要用AOP进行代理,代理对象会在调用该方法之前先开启事务,然后加锁执行方法,然后解锁,最后提交/回滚事务。当某个线程执行方法后解了锁却还没提交事务就被打断,则会发生线程安全问题。根据事务的隔离性,当前事务是不能读到其他事务未提交的动作,方法中若将库存减去,其他事务不能看见,所以会导致超卖的情况。

    解决:先加锁在进行事务管理,对整个controller进行加锁,但是性能会很差。

  3. 分布式锁:没有发生超卖,前后耗时1分47秒,因为并发比较高的情况下,大量的请求失败了。

  4. 数据库锁(用到排他锁):没有发生超卖,前后耗时11秒,并发比较高,大量的请求失败

    • 表锁(悲观锁):事务会直接锁表,其他事务不能再对该表进行任何操作

    • 行锁(悲观锁):事务会锁行,其他事务不能再操作该行,但是可以操作其他行

      • 共享锁(读锁):一个事务如果对某一行记录添加了读锁,则其他事务也只能对该行加读锁,不能添加排他锁。
      • 排他锁(写锁):一个事务如果对某一行记录添加了写锁,则其他事务不能对该行加读锁和写锁。

    insert,update,delete语句自带排他锁(锁行),select语句没有任何锁。

    如果要给select语句添加共享锁,需要在后面设置lock in share mode

    如果要给select语句添加排他锁,需要在后面设置for update

    注意:

    1. 如果select,insert,update ,delete 的where条件中,没有携带主键或者一个唯一性索引的字段,那么就会自动升级成为表锁。
    2. 如果sql语句中,where条件的id是一个范围,则会锁住范围内的所有行,哪怕这行记录不存在,这种情况称之为间隙锁。
  5. ⭐数据库的乐观锁:直接修改时判断库存(无锁),没有发生超卖,前后的耗时6秒,但实际开发中还存在一些问题。

  6. ⭐redis的lua脚本:无锁化的操作,没有发生超卖,前后耗时4秒

    用lua脚本去扣减redis,数据库不动,生成的订单也放在redis中,当redis中的库存为0时通过异步的方式线程读取redis中数据到数据库。

如果在同步数据库之前redis崩了怎么办

当请求来了之后,先看redis中库存够不够,如果够先扣减库存,然后返回信息告诉说够,如果秒杀服务接收到该消息,则会将当前秒杀的信息放入MQ消息队列中,然后订单服务和商品服务都来消费MQ中的信息。当秒杀服务将消息放入MQ中之后,就告诉前端抢购完成,这个过程相当于一个异步的操作。

MQ的作用:

  1. 分布式事务的保证 - 追求最终一致性:保证MQ中的消息(即秒杀服务放进MQ的消息)消费端一定能够收到,基于消息确认机制 + 重试机制 + 补偿机制,不用担心redis崩溃掉。
  2. 请求削峰:假设有许多请求发给上游服务(即秒杀服务)则问题不大,因为业务逻辑不是很复杂,但是当这些请求分发给下游(即订单服务和商品服务)则压力会更大,甚至可能会导致崩溃。也可以理解为一种限流,消费端可以限制消费的数量,什么时候消费完才从MQ中拿取信息。会拉长处理时间,以时间换性能。

秒杀下单的lua脚本

--获取下单的商品id
local gid = KEYS[1]
--获取下单数量
local gnumber = tonumber(ARGV[1])

--进行库存的判定
--获取当前商品的库存
local gsave = tonumber(redis.call('get','goods'..gid) or 0)

--判断库存
if gsave < gnumber then
   --库存不足
   return -1;
end

--库存充足,进行库存扣减
local result = redis.call('decrby','goods'..gid,gnumber)

--返回结果,抢购成功
if result > 0 then
   --抢购成功,但是还有库存可以继续
   return 1
   else
   --抢购成功,并且已经没有库存
   return 0
end

MQ有可能引起重复发送

本来一个生成消息,一个消费消息

但是如果引入了消息确认机制+重试+补偿,则可能生成一个消息,消费者会收到多个消息。

可以将消费者设置成一个幂等接口(相同的消息不管调用多少次结果都是一样)进行一个最终一致性的判断。

每个消息带一个唯一标识,消费者接收到消息后从redis中检查是否有该标识,如果有则表示已经消费过了,否则就存入。

购买提醒:全程代码实战,本系列课程建议有Java开发经验2年以上的学员观看和购买。录制本套教程的初衷,通过从业10年接触过很多的技术开发人员,尤其在面试一些技术人员的时候,发现他们的技术知识更新较慢,很多人渴望接触到高并发系统和一些高级技术架构,为了帮助更多人能够提升自己和接触到这类技术架构,并满足企业的人才需求,利用业余时间我开始录制这套教程。通过录制教程有很多学员给我反馈信息,给了我很大的鼓舞,当然也有吐槽,我想说的是技术是没有边界的,脱离一线业务场景去谈技术,都是耍流氓的。如对我录制的教程内容有建议请及时交流。本套课程历经1年时间研发,案例来源于真实业务场景抽离,由从业10年企业一线架构师实录,没有基础不建议购买。购买后提供企业级多方位指导,通过本套案例可以让你学习目前主流的微服务技术架构和多种企业级高并发和海量数据、高可用、分布式、支付、多语言、前后端分离等技术的综合应用解决方案。在开始本课程前给大家科普几个概念: 高并发是指在比较短的时间内有大量的访问者访问目标系统,系统负载饱和或者过载宕机。 高并发的应用,我们应该都有用过或者见过,比如天猫、京东、拼多多、亚马逊的秒杀抢购还有12306的抢票。我们在体验应用的时候,可能并不会像到这种高并发系统背后的技术实现难度。高并发系统都存在这几种问题,高并发读、高并发写、访问高峰突发性、反馈结果的即时性。在抢购的时候,尤其是抢购火车票的时候,我们经常会疯狂的刷库存,几亿用户产生非常大的高并发读; 通过以上的科普相信大家对课程有一个基本的认知了,本套教程以应用最为广泛的电商系统为标本,给大家构建一个亿级微服务秒杀系统,让大家跟着我的步骤能学习行为背后的原理。本课程采用全新的微服务架构,运用了很多工业界企业解决方案和高级技术,带大家手把手实现一个高性能,高并发,高可用等的亿级微服务秒杀系统,本课程会包含很多高级的内容,比如微服务架构、分布式部署方案、多线程、支付、多语言、全链路性能压力测试等,让大家在实战中学习知识,在实战中不断进步。该课程是一个完整的微服务架构秒杀系统项目代码,案例具有很高的商业价值,大家可以根据自己的业务进行修改,便可以使用。本套课程可以满足世面上绝大多数企业级的业务场景,本课程全部代码可以直接部署企业,普通集群,支撑**并发;集群规模大,支撑亿级并发。本课程包含的技术: IDEA集成开发工具 SpringBoot2.0.2.RELEASE SpringCloudFinchley.RELEASE Thymeleaf(模板引擎技术) 微信支付 支付宝支付 银联支付 分布式数据库Mycat MySQL Druid RabbitMQ 分布式事务 分布式锁 事件驱动 多线程 MyBatis QuartzEhcache Redis Hystrix 单点登陆CAS Nginx Lua Restful AOP技术 性能压力测试Jemter VUE+jQuery+Ajax+NodeJS Python Go语言课程亮点: 1.与企业无缝对接、真实工业界产品 2.主流支付全覆盖(微信、支付宝、银联) 3.前后端分离(主流技术架构) 4.实现高并发请求和实现高可用架构解决方案 5.多语言(Java、Go、Python) 6.亿级微服务秒杀系统(支撑海量数据) 7.大型系统分布式部署方案 8.全链路性能压力测试  9.分布式事务解决方案 10.事件驱动设计解决方案 11.多线程技术的实战应用 12.高并发下的服务降级、限流实战 13.分布式架构师下实现分布式定时调度 14.集成MyBatis实现多数据源路由实战 15.集成Redis缓存实战 16.Eureka注册中心 17.OpenFeign声明式服务调用 18.Hystrix服务熔断降级方式 19.基于Hystrix实现接口降级实战 20.集成SpringCloud实现统一整合方案 21.全程代码实操,提供全部代码和资料 22.提供答疑和提供企业技术方案咨询购买提醒: 我本人在企业从业10年,因为热爱,所以坚持,下一个10年依然会在企业一线服务,因此对于课程中的技术点可以提供全方面的业务场景解决方案。我本人并非培训机构脱离一线业务场景的讲师,从业多年接触过大量的真实业务场景案例,后面会逐步通过教程案例分享我多年的实战经验,送给同行一句话:技术是服务于业务的,脱离一线业务场景就是耍流氓。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值