分布式事务——纯MQ实现

最新推荐文章于 2025-08-31 06:20:24 发布
原创 最新推荐文章于 2025-08-31 06:20:24 发布 · 1.6k 阅读 · 3 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

一、MQ实现分布式事务，最简单的原理框架：

借助MQ的消息可靠传递，实现业务间解耦、事务强一致

1、>> 生产者发送消息做可靠性检查，确保消息真正投递出去；

2、>> 消费者做幂等，确保业务没有重复执行；

3、>> 消费者做异常重试，反复出错时需要捕捉异常并记录，以便手工干预；

二、场景实践：

场景

以支付宝转账到余额宝为例，在支付宝已经扣款成功的情况下，余额宝一定收到转账

>> 支付宝和余额宝是两个微服务；

>> 用户用支付宝转1万元到余额宝；

支付宝账户先扣除金额，MQ通知余额宝账户添加金额；

>> 支付宝账户表: update A set amount = amount - 10000 where userId = 1;

>> 余额宝账户表: update B set amount = amount + 10000 where userId = 1;

具体操作

1、创建队列

>> 创建一个持久化的队列，名称为money；

Durable（持久化保存），Transient（即时保存）。

2、 maven引入

（余额宝和支付宝两个服务都需要）

<dependency>

    <groupId>org.springframework.boot</groupId>

    <artifactId>spring-boot-starter-amqp</artifactId>

</dependency>

AMQP，即Advanced Message Queuing Protocol，一个提供统一消息服务的应用层标准高级消息队列协议，是应用层协议的一个开放标准，为面向消息的中间件设计。基于此协议的客户端与消息中间件可传递消息，并不受客户端/中间件不同产品，不同的开发语言等条件的限制。

 

3、  添加配置

（余额宝和支付宝两个服务都需要）

spring:    

    rabbitmq:

        host: 192.168.222.26 #MQ地址

        port: 5672 #MQ端口

        username: admin #MQ用户名

        password: admin #MQ密码

        publisher-confirms: true #开启消息发送成功监听

        publisher-returns: true #开启消息发送失败监听

        listener:

            simple:

                acknowledge-mode: manual #手动提交事务

4 支付宝端代码编写

向支付宝账号扣款，同时发消息到队列中，通知余额宝账号金额更新

>>  配置MQ发送过程监听

package cn.my.server.clientdemo.zhifu;

import javax.annotation.PostConstruct;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.amqp.rabbit.core.RabbitTemplate.ConfirmCallback;
import org.springframework.amqp.rabbit.core.RabbitTemplate.ReturnCallback;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

/**
 * 配置MQ发送过程监听
 * @author twotiger-wxm.
 * @date 2020-3-3.
 */
@Configuration
public class RabbmitMqConfig {

        @Autowired
        private RabbitTemplate rabbitTemplate;

        @PostConstruct
        public void init() {
            // 设置发送成功回调
            rabbitTemplate.setConfirmCallback(initConfirmCallback());
            // 设置发送失败回调
            rabbitTemplate.setReturnCallback(initReturnCallback());
        }

        @Bean
        public ReturnCallback initReturnCallback(){
            return new FailedListener();
        }

        @Bean
        public ConfirmCallback initConfirmCallback(){
            return new SuccessListener();
        }

}

package cn.my.server.clientdemo.zhifu;

import org.springframework.amqp.rabbit.core.RabbitTemplate.ConfirmCallback;

import org.springframework.amqp.rabbit.support.CorrelationData;

/**

 * 消息发送成功时触发

 * 测试发现队列不存在也会触发，但会在FailedListener之后触发

 */

public class SuccessListener implements ConfirmCallback{

    @Override

    public void confirm(CorrelationData data, boolean success, String result) {

        System.out.println(data+","+success+","+result);

        if(null!=data){

            System.out.println("业务主键："+data.getId());

        }

        if(success){   

            boolean resultT = true;// 获取流水表状态，为fail则失败（因为队列不存在也会触发，且在失败监听之后触发，所以此处优先排除一下失败监听的操作。）

            if(resultT){

                //更新支付宝账户金额

                System.out.println("消息发送到MQ成功");

                System.out.println("【支付宝账户扣款】  update A set amount = amount - 10000 where userId = 1");

            }else{

                System.out.println("消息发送到MQ失败");

                System.out.println("【支付宝账户不扣款】根据业务主键更新支付宝流水表状态为失败,update A_MESSAGE set sts = fail where transId=000001");

            }      

        }else{

            System.out.println("消息发送到MQ失败原因："+result);

            System.out.println("【支付宝账户不扣款】根据业务主键更新支付宝流水表状态为失败,update A_MESSAGE set sts = fail where transId=000001");

        }      

    }

     

} 

package cn.my.server.clientdemo.zhifu;

import java.util.HashMap;

import org.springframework.amqp.core.Message;

import org.springframework.amqp.rabbit.core.RabbitTemplate.ReturnCallback;

import com.fasterxml.jackson.databind.ObjectMapper;

/**

 * 消息发送失败时，监听被触发

 * 一般像队列不存在,或者网络中断时会触发，且第一个触发

 */

public class FailedListener implements ReturnCallback{

    private ObjectMapper mapper = new ObjectMapper();

    @Override

    public void returnedMessage(Message message, int state, String result, String arg3, String queneName) {

        System.out.println(message+","+state+","+result+","+arg3+","+queneName);

         

        try {

            String msg = new String(message.getBody());

            HashMap data = mapper.readValue(msg, HashMap.class);// 失败的消息内容

            System.out.println("失败的转账记录："+mapper.writeValueAsString(data));

            System.out.println("【支付宝账户不扣款】根据业务主键更新支付宝流水表状态为失败,update A_MESSAGE set sts = fail where transId=000001");

        } catch (Exception e) {

            e.printStackTrace();

        }

    } 

     

}


 

>>  转账接口编写

package cn.my.server.clientdemo.zhifu;

import java.util.HashMap;

import java.util.Map;

import org.springframework.amqp.AmqpException;

import org.springframework.amqp.rabbit.core.RabbitTemplate;

import org.springframework.amqp.rabbit.support.CorrelationData;

import org.springframework.beans.factory.annotation.Autowired;

import org.springframework.transaction.annotation.Transactional;

import org.springframework.web.bind.annotation.GetMapping;

import org.springframework.web.bind.annotation.RequestMapping;

import org.springframework.web.bind.annotation.RestController;

import com.fasterxml.jackson.core.JsonProcessingException;

import com.fasterxml.jackson.databind.ObjectMapper;

/**

 * 支付宝端业务测试

 */

@RestController

@RequestMapping("/api/test")

public class ZhiFuBaoResource {

    /**

     * 测试接口

     * @throws AmqpException

     * @throws JsonProcessingException

     */

    @GetMapping("/mq")

    public void trans1() throws AmqpException, JsonProcessingException {

        trans();

    }

    @Autowired

    private RabbitTemplate rabbitTemplate;

    private ObjectMapper mapper = new ObjectMapper();

    /**

     * 转账方法

     * @return

     * @throws AmqpException

     * @throws JsonProcessingException

     */

    @Transactional

    public boolean trans() throws AmqpException, JsonProcessingException {

        Map data = new HashMap<String, Object>();

        String transId = "00000001";//生成业务流水号

        data.put("transId", transId);

        data.put("userId", "1");

        data.put("money", 10000);

         

        //A_MESSAGE交易流水表,主键是【交易编号】，重复插入会报异常，类似于幂等操作

        System.out.println("【支付宝记账操作】重复插入会报异常，类似于幂等操作  insert into A_MESSAGE(transId,userId,money) values (000001,1,10000)");

             

        // 流水号传入，方便消息发送失败时做操作

        CorrelationData correlationData = new CorrelationData(transId);

        rabbitTemplate.convertAndSend("","money",mapper.writeValueAsString(data),correlationData);

        return true;

    }

}

5 余额宝端代码编写

监听支付宝发到消息队列中的消息，做余额宝账号金额更新

package cn.my.server.clientdemo.yuer;

import java.io.IOException;

import java.util.Collections;

import java.util.HashMap;

import java.util.Map;

import org.slf4j.Logger;

import org.slf4j.LoggerFactory;

import org.springframework.amqp.core.Message;

import org.springframework.amqp.rabbit.annotation.RabbitHandler;

import org.springframework.amqp.rabbit.annotation.RabbitListener;

import org.springframework.retry.RecoveryCallback;

import org.springframework.retry.RetryCallback;

import org.springframework.retry.RetryContext;

import org.springframework.retry.backoff.FixedBackOffPolicy;

import org.springframework.retry.policy.SimpleRetryPolicy;

import org.springframework.retry.support.RetryTemplate;

import org.springframework.stereotype.Component;

import org.springframework.transaction.annotation.Transactional;

import com.fasterxml.jackson.core.JsonProcessingException;

import com.fasterxml.jackson.databind.ObjectMapper;

import com.rabbitmq.client.Channel;

/**

 * 余额宝端消息监听

 */

@Component

public class YuErBaoMessageListeners {

    private final Logger log = LoggerFactory.getLogger(this.getClass());

    private ObjectMapper mapper = new ObjectMapper();

 

    /**

     * 监听消息队列

     * @param message  消息内容

     * @param channel  消息渠道

     * @throws IOException  异常

     */

    @RabbitListener(queues = "money")

    @RabbitHandler

    public void receiveQueue(Message message, Channel channel) throws IOException {

        String msg = "";

        try {

            // 业务处理逻辑

            msg = new String(message.getBody());

            Map data = mapper.readValue(msg, HashMap.class);

            retry(data);

            channel.basicAck(message.getMessageProperties().getDeliveryTag(), false);// 手动应答消息已经处理

        } catch (Exception e) {

            log.error("MQ接收消息内容[" + msg + "],后处理异常：" + e);

            channel.basicAck(message.getMessageProperties().getDeliveryTag(), false);// 手动应答消息已经处理

        }

    }

 

    /**

     * 更新余额宝账户金额

     *

     * @param map

     */

    @Transactional

    public void bizOp(Map<String, Object> map) {

        // B_MESSAGE交易流水表,主键是【交易编号】，重复插入会报异常，类似于幂等操作

        System.out.println(

            "【余额宝记账操作】重复插入会报异常，类似于幂等操作 insert into B_MESSAGE(transId,userId,money) values (000001,1,10000)");

        // 更新余额宝账户金额

        System.out.println("【余额宝账户入款】 update B set amount = amount +10000 where userId = 1");

 

    }

 

    /**

     * 一直报错，重试次数用完了，保存如下信息供人工干预

     *

     * @param map

     * @throws JsonProcessingException

     */

    public void failed(Map<String, Object> map) throws JsonProcessingException {

        System.out.println("一直报错，重试次数用完了，保存如下信息供人工干预:\n" + mapper.writeValueAsString(map));

    }

 

    /**

     * 异常时最多重试 3次，成功为止

     *

     * @param map

     *            输入参数

     */

    private void retry(Map<String, Object> map) {

        // 构建重试模板实例

        RetryTemplate retryTemplate = new RetryTemplate();

        // 设置重试次数

        SimpleRetryPolicy policy = new SimpleRetryPolicy(3,

                Collections.<Class<? extends Throwable>, Boolean>singletonMap(Exception.class, true));

        // 设置重试间隔时间

        FixedBackOffPolicy fixedBackOffPolicy = new FixedBackOffPolicy();

        fixedBackOffPolicy.setBackOffPeriod(100);

        retryTemplate.setRetryPolicy(policy);

        retryTemplate.setBackOffPolicy(fixedBackOffPolicy);

        // 编写业务处理代码逻辑

        final RetryCallback<Object, Exception> retryCallback = new RetryCallback<Object, Exception>() {

            public Object doWithRetry(RetryContext context) throws Exception {

                System.out.println("第" + (1 + context.getRetryCount()) + "次处理");

                try {

                    bizOp(map);

                } catch (Exception e) {

                    e.printStackTrace();

                    throw new Exception("捕捉到业务处理异常，需要抛出");// 这个点特别注意，重试的根源通过Exception返回

                }

                return null;

            }

        };

        // 重试次数执行完依然报错，走如下逻辑

        final RecoveryCallback<Object> recoveryCallback = new RecoveryCallback<Object>() {

            public Object recover(RetryContext context) throws Exception {

                failed(map);

                return null;

            }

        };

        try {

            // 由retryTemplate 执行execute方法开始逻辑执行

            retryTemplate.execute(retryCallback, recoveryCallback);

        } catch (Exception e) {

            e.printStackTrace();

        }

    }

}

6 测试

>> 浏览器直接访问 /api/test/mq

>> 控制台结果如下：

【支付宝记账操作】重复插入会报异常，类似于幂等操作  insert into A_MESSAGE(transId,userId,money) values (000001,1,10000)

【余额宝记账操作】重复插入会报异常，类似于幂等操作 insert into B_MESSAGE(transId,userId,money) values (000001,1,10000)

【余额宝账户入款】 update B set amount = amount + 10000 where userId = 1

【支付宝账户扣款】 update A set amount = amount - 10000 where userId = 1

 

 

基于MQ的分布式事务实现方案
m0_71777195的博客
08-31 2559
在与不同业务系统之间进行交互时，怎么保证发送的消息对方一定能收到,可能有人说RocketMQ就能做到，如果贵公司用到的消息队列是kafka、rabbitmq、activemq怎么保证不丢？这里分享一下基于消息的分布式事务解决方案，此种方案是最终一致性的解决方案，不挑MQ，但是前提MQ本身要支持接收到的消息不能丢失。...
深度解析：基于 RocketMQ 实现分布式事务的技术实践与原理探究
禅与计算机程序设计的艺术
12-20 4836
half消息即半消息，和普通消息的区别是该消息不会立马被消费者消费，原因是half消息的存在是为了保证生产者本地事务和消费者的原子性和一致性，其过程如上文所介绍，初始发送的half消息是存储在MQ一个内存队列中(并未投递到topic中)，只有生产者本地事务成功并发送commit通知后，这个消息才会被持久化到commitLog同时提交到topic队列中，此时消费者才能够消费该消息并执行本地事务。
四种基于MQ的分布式事务解决方案
BASK2312的博客
12-09 5584
在微服务的时代，分布式事务是绕不开的话题，尽管在大多数场景下，我们并不需要使用分布式事务，但是 不需要使用 不代表 可以不会使用，万一哪天真需要用到了呢？分布式事务是一个比较大的话题，今天我们来看看基于MQ的分布式事务解决方案。在实际开发中，为了简化分布式事务，我们和其他服务交互，经常会采用MQ的方式，我们先来看下如果采用MQ的方式和其他服务进行交互，应该怎么做。
基于RocketMQ的事务实现分布式事务
qq_49179516的博客
05-06 602
（注意，这里可靠消息服务更新消息状态与投递消息至MQ也必须是在一个原子操作中，即消息投递成功则一定要将消息状态更新为“已发送”，所以在编程的细节中，可靠消息服务一般会先更新消息状态，然后再进行消息投递，这样即使消息投递失败，也可以对消息状态进行回滚->“待确认”，相反如果先进行消息投递再更新消息状态，可能就不好控制了）。可靠消息服务就会调用上游服务提供的相关借口，询问这笔消息的处理情况，如果这笔消息在上游服务处理成功，则后台线程就会继续触发上图中的步骤5，更新消息状态为“已发送”并投递消息至MQ服务；
分布式事务,基于MQ实现最终一致性分布式事务
qq_41714882的博客
02-15 4132
什么是分布式事务 传统的事务是基于项目耦合并且是单数据库的本地事务，简单的来说，分布式事务就是实现跨服务器和数据库的事务支持 CAP 定理，又被叫作布鲁尔定理。对于设计分布式系统(不仅仅是分布式事务)，CAP 就是你的入门理论。 C (一致性)：对某个指定的客户端来说，读操作能返回最新的写操作。 对于数据分布在不同节点上的数据来说，如果在某个节点更新了数据，那么在其他节点如果都能读取到这个最新的数...
分布式事务——分布式事务简介、分布式事务框架 Seata（AT模式、Tcc模式、Tcc Vs AT）、分布式事务—MQ
热门推荐
qq_41824825的博客
03-14 2万+
分布式事务——分布式事务简介、分布式事务框架 Seata（AT模式、Tcc模式、Tcc Vs AT）、分布式事务——MQ
基于本地事务表+MQ实现分布式事务
jike11231的博客
01-24 2005
分布式事务解决方案有许多比如二阶段提交、TCC、最大努力通知、Saga事务等，本文介绍本地消息表+MQ这种方式解决分布式事务消息最总一致性问题。目前利用本地消息表+MQ方案实现最终消息一致性的比较多，它的核心思想是，将分布式事务拆分成本地事务进行处理，不同事务之间通过消息表和MQ通信，最后通过定时任务扫描失败的数据进行重试，当在有效重试次数限制内，再次重试回调失败的数据，最终实现消息重复发送，达到一致性。本地消息表实现最终一致性。将rocketmq-dashboard导入到idea中，在idea编译启动。
如何基于MQ实现分布式事务
zhiyikeji的博客
08-04 1595
本文介绍了基于消息队列（MQ）实现分布式事务的两种主要方案：可靠消息最终一致性和最大努力通知。重点分析了可靠消息最终一致性中的本地消息表方案，详细阐述了其实现流程、异常处理机制及优缺点。该方案通过业务操作与消息记录在同一个事务中保证可靠性，并采用定时任务重试保障最终一致性。针对大数据量下的性能问题，提出了增加索引、多线程分段扫描、备库查询等优化方案，同时指出集中式扫描可能影响正常业务的问题及应对措施。最后提到分库方案可作为进一步扩展的解决方案。
MQ选手终极对决：比较几个主流MQ实现分布式事务的方案
Hanko的专栏
06-28 1990
RabbitMQ 实现分布式事务的核心思想是将事务操作拆分为消息发送和确认两个阶段，通过确认消息的方式来实现事务的提交或回滚，从而确保分布式系统的数据一致性。在分布式事务的实现中，ACK消息和半消息是两种实现分布式事务的两种不同机制，它们的共同点是都使用了两阶段提交的机制，但是它们的实现细节和适用场景有所不同。使用 ACK 消息实现分布式事务时，需要将发送消息的操作包含在本地事务中，并在本地事务提交后发送 ACK 消息来确认消息的发送。通过以上步骤，RocketMQ 实现了分布式事务的核心思想。
分布式事务
m0_67463445的博客
05-04 2092
本地消息表的最终一致方案采用BASE原理，保证事务最终一致。在一致性方面，允许一段时间内的不一致，但最终会一致。本地消息表实现分布式事务应该是网站前台使用最多的，其核心思想是将分布式事务拆分成本地事务进行处理，这种思路是来源于ebay。使用本地消息表，消息生产方，需要额外建一个消息表，并记录消息发送状态。消息表和业务数据要在一个事务里提交，也就是说他们要在一个数据库里面。然后消息会经过MQ发送到消息的消费方。如果消息发送失败，会进行重试发送。消息消费方，需要处理这个消息，并完成自己的业务逻辑。
MQ如何解决分布式事务？
m0_54187478的博客
03-05 1185
MQ（消息队列）解决分布式事务的关键在于利用消息的可靠性和最终一致性来保证分布式系统中不同服务间事务的一致性。和。
RocketMQ分布式事务原理介绍
qq_34679351的博客
10-27 925
RocketMQ实现分布式事务原理 1.知识准备 在系统架构从单体到分布式、SOA、微服务的发展过程中，因为流量的增多出现了大量消息堆积问题的需求，在这种背景下，阿里开发出rocketmq来解决该问题，并且经过双十一的考验，在低延迟和高可靠性方面优于kafka,很好的应用在海量消息系统中。 异步解耦：一个大的交易系统中会有一些核心业务系统和非核心业务系统，每笔交易会与上下游交易系统进行交互，比如在下单的过程中会有物流/积分/优惠券等，整个业务系统庞大复杂，rocketmq通过异步通信和应用解耦，目的就是为了
MQ实现分布式事务
大鸡腿的博客
01-04 1408
目录 detail 项目地址： 总结 分布式事务不像单体应用一样使用@transactional进行事务管理即可 分布式事务不能保证强一致性，只能保证最终一致性，我使用mq来实现不同系统之间的通讯，但是mq也会出现错误的时候，还有不方便保存mq消息，所以再做一个消息服务来储存、定时发送消息，失败消费消息时进行重发消息，记录死亡消息等等。 这个项目让a系统减少一，b系统也减少一，acti...
MQ实现分布式事务最终一致性详解
最新发布
没事学AI的博客
08-31 1193
摘要： 本文探讨了分布式系统中基于MQ实现最终一致性的方案，以RocketMQ事务消息为例。核心流程包括发送半消息、执行本地事务、提交/回滚消息及事务状态回查，并通过电商下单扣库存场景的Spring Boot代码示例（生产者、消费者、事务监听器）展示了具体实现。同时强调了消费者幂等性处理的重要性，建议通过唯一ID+去重表机制避免重复消费问题，确保数据一致性。该方案在保证系统可用性的同时，兼顾了分布式事务的可靠性。
RabbitMQ——解决分布式事务问题，RabbitMQ的重要作用之一！！！通过可靠生产和可靠消费来完美解决！
我热爱学习，也乐于分享。无论是科技前沿的洞见，还是生活中的小技巧，我都会在这里与你分享。我相信，知识就是力量，而分享则能让这份力量得到更好的传递。
12-14 1993
分布式事务是指涉及多个独立的计算机系统（也称为节点或参与者）之间的事务处理。在分布式系统中，每个节点可能各自拥有自己的数据存储和事务管理机制。分布式事务的目标是保证在跨多个节点执行的一系列操作可以以一致和可靠的方式执行和提交，即使在面对故障或并发操作时也能保持数据的完整性和一致性。实现分布式事务可以采用两阶段提交（Two-Phase Commit）协议或三阶段提交（Three-Phase Commit）协议等机制。这些协议通过协调参与者之间的状态和决策来实现分布式事务的一致性。
详述RocketMQ实现分布式事务原理+案例
健身变秃，coding变强
08-21 9868
一、经典的分布式事务场景 示例：假设A给B转账500块，并且它俩处于不同的微服务中。 要求：A减500块、B加上500块。 可能发生的情况： 1）A减500（成功），B加500（成功） 2）A减500（失败），B加500（失败） 3）A减500（成功），B加500（失败） 4）A减500（失败），B加500（成功） 上述1）、2）两种情况是可以保证事务的一致性的。而3）、4）两种情况是无法保证事务的一致性的。 二、RocketMQ实现分布式事务原理 RocketMQ在4.3版本开始提供了分布式事务功
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值