Dubbo RPC MockServer设计与实现

最新推荐文章于 2026-06-27 09:15:09 发布
原创 最新推荐文章于 2026-06-27 09:15:09 发布 · 3k 阅读 · 5 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
收录于
中间件

当前文章被收录于：

中间件
1 篇文章 0 人学习
订阅专栏 查看详情
本文介绍了Dubbo RPC MockServer的设计与实现，包括需求、设计目标、设计思路和具体实现方法。通过扩展Dubbo的SPI，实现Mock调用与真实调用的隔离，利用ClassLoader隔离实现API版本切换，以及提供注解和WEBUI提高易用性。

1. MockServer需求

  • 可界面配置RPC接口的请求和响应数据
  • 调用方代码只需很少的改动就能使用RPC Mock
  • 可平滑的切换API版本
  • 预发和生产环境忽略Mock

2. 设计目标

  • 代码极少侵入：调用方代码只需很少的改动（例如增加一个注解），就能使用Mock
  • 调用隔离：Mock调用和真实调用隔离
  • 环境隔离：预发和生产环境下忽略掉Mock
  • 易用性：提供webUI配置
  • API版本切换：支持依赖的API版本切换

3. 设计思路

  • 代码极少侵入 -> 提供自定义注解声明要mock的服务
  • 调用隔离 -> 方案对比
    • 方案一 ：在原有协议DubboProtocol上修改，即真实调用和Mock调用走同样的协议，占用同样的网络通道。
    • 方案二 ：扩展一个新的网络传输层（Transporter），Mock调用走这个传输通道，并且在底层就把Mock数据返回，无需经过上层的Invoker和Proxy。
    • 方案三 ：扩展协议（MockProtocol），扩展服务方（MockServiceConfig），扩展调用方（MockRefrenceConfig），扩展Invoker（MockInvoker），Proxy（MockProxyFactory），扩展注册协议（MockRegistry）。
  • 环境隔离 -> 注解的生效和失效机制（Guice注解的binding，spring bean的EnableAutoConfiguration）
  • API版本切换 -> classloader隔离机制

4. 实现

4.1 无米之炊？–当MockServer遇上ProtoBuf

protobuf的请求响应类都是根据事先定义好的.proto描述文件生成的，而MockServer没有这些描述文件，也就没有那些生成的请求类响应类。收到的请求数据也就不知道怎么解码，如何解决？

  • 用户上传.proto文件？ – 缺点：.proto文件不开放，调用方要去问被调用方拿到这个文件，不方便，实施难。
  • 用户填写Maven Artifact信息（GroupId,ArtifactId,Version）？ – 优点：Maven Artifact是开放的，获取容易。

有了Maven Artifact之后，就可动态下载Maven jar，把里面的类加载到MockServer的上下文中。

  • Eclipse aether 项目 （动态下载maven包）
  • org.reflections.Reflections项目 （类扫描）

4.2 dubbo现有的方案能满足MockServer的需求吗？

dubbo（2.6.4版本）有一个支持MockServer的方案：泛化调用。

下面是dubbo文档中泛化调用的示例，可以看到需要显式调用**$invoke** 方法，对代码有较大的侵入。所以不考虑泛化的方案。

GenericService barService = (GenericService) applicationContext.getBean("barService");
Object result = barService.$invoke("sayHello", new String[] { "java.lang.String" }, new Object[] { "World" });

4.3 利用Dubbo丰富的SPI扩展来实现Mock

下图来自dubbo官方文档，是暴露服务的时序图

在这里插入图片描述

从中可以看到export一个服务时，经过的关键类：

  1. ServiceConfig ：服务配置类
  2. ProxyFactory ：代理工厂类
  3. Invoker ：这里是服务端的Invoker，由ProxyFactory提供
  4. Protocol ：RPC 协议，封装远程调用细节
  5. Registry ： 注册中心

这些关键类也是我们要扩展的类。扩展好后，通过ServiceConfig来指定对应的Protocol，Proxy，Registry。如下是ServiceConfig的配置代码

	ServiceConfig<Object> serviceConfig = new MockServiceConfig<>(classLoader);
	serviceConfig.setInterface(interfaceClass);
	serviceConfig.setRef(ref);
	serviceConfig.setVersion(version);
	serviceConfig.setGroup(group);
	serviceConfig.setProtocol(exportMockProtocolConfig());
	serviceConfig.setRegistry(exportMockRegistryConfig());
	serviceConfig.setApplication(exportApplicationConfig());
	serviceConfig.setProxy(getConfigValue("dubbo.service.proxy"));
	serviceConfig.setFilter(getConfigValue("dubbo.service.filter"));
	return serviceConfig;

4.4 用ClassLoader隔离来实现API版本切换

  • ClassLoader隔离才能做到API版本切换

    假设依赖的API包版本要升级，其中某些类有变化。MockServer需要在不重启的情况下重新加载这些类（也就是Class热替换）。如果一个Class被一个ClassLoader加载过，那么这个Class就不能再被同一个ClassLoader再次加载（指的是重新加载字节码、解析、验证）。要实现热替换，需要用一个新的classLoader去加载这个class。在我们这里，更新一个版本时MockServer会先下载一个新的maven jar包，再用一个新的URLClassLoader来加载jar包里的类。（这说明每个Maven Artifact （Maven 坐标）都有一个独立ClassLoader与之对应）。

  • 原生Dubbo不支持使用指定的ClassLoader去加载类

    由上分析，当API版本切换时，使用新的ClassLoader去加载类。但是dubbo在暴露服务时只会使用SystemClassLoader(sun.misc.Launcher$AppClassLoader)来加载类，不允许指定。如下为ServiceConfig类的doExport方法的代码段:

        try {
        interfaceClass = Class.forName(interfaceName, true, Thread.currentThread()
                .getContextClassLoader());
    } catch (ClassNotFoundException e) {
        throw new IllegalStateException(e.getMessage(), e);
    }
    checkInterfaceAndMethods(interfaceClass, methods);
    checkRef();
    generic = Boolean.FALSE.toString();

从 Thread.currentThread().getContextClassLoader() （绝大部分情况就是SystemClassLoader）中加载服务接口类。

  • MockServiceConfig

    为支持指定的ClassLoader来加载服务类，我的方案是创建MockServiceConfig类，它继承自ServiceConfig，行为与ServiceConfig无异，不同之处仅仅是加载类的时候使用指定的ClassLoader，如下：

    	try {
        if (this.classLoader != null) {
            interfaceClass = Class.forName(interfaceName, true, this.classLoader);
        } else {
            interfaceClass = Class.forName(interfaceName, true,
                    Thread.currentThread().getContextClassLoader());
        }
    } catch (ClassNotFoundException e) {
        throw new IllegalStateException(e.getMessage(), e);
    }
    checkInterfaceAndMethods(interfaceClass, methods);
    checkRef();
    generic = Boolean.FALSE.toString();

4.5 易用性：为调用方提供注解

以上都是MockServer端的工作，server端准备好了，接下来就要给调用方提供方便易用的注解。

  • 为Guice容器提供Mock注解

在我们的内部框架（DC ，AS），使用Google Guice 做IOC容器，一个业务service是通过ProxyBuilder类build出来的。如下：

@AutoBindSingleton
public class XXXServiceFactory implements Provider<XXXService> {

    @Inject
    private ProxyBuilder proxyBuilder;

    public XXXService get() {
        return proxyBuilder.buildProxy(XXXService.class);
    }

}

现在我们需要做到的是，通过Mock注解，注入MockProxyBuilder，由它build出来的服务类，全是走mock通道的。像下面这样使用Mock注解：

@Inject
@Mock
private ProxyBuilder proxyBuilder;

public XXXService get() {
    return proxyBuilder.buildProxy(XXXService.class);
}

被@Mock注解修饰的ProxyBuilder，实际上被注入的是ProxyBuilder的子类MockProxyBuilder：

public class MockAnnotationModule implements Module {
    @Override
    public void configure(Binder binder) {
        binder.bind(ProxyBuilder.class).annotatedWith(Mock.class)
                .toProvider(MockProxyBuilderProvider.class);

    }
}

public class MockProxyBuilderProvider implements Provider<ProxyBuilder> {
	@Override
	public ProxyBuilder get() {
        ...                    
		proxyBuilder = new MockProxyBuilder();
    	proxyBuilder.init(...);
        return proxyBuilder;
	}
}

至此，Mock注解的实现就完成了，补充一点，Guice的自定义注解需要被@BindingAnnotation修饰：

@BindingAnnotation
@Target({FIELD, PARAMETER, METHOD})
@Retention(RUNTIME)
public @interface Mock {}
  • SpringBean EnableAutoConfiguration

对于Springboot web项目，要做的就是在框架层向Spring IOC容器注入一个MockProxyBuilder 的Been，如下：

@Configuration
public class MockProxyBuilderProviderInSpring {

    @Bean(name = "mock")
    @Scope(value = "singleton")
    public ProxyBuilder proxyBuilder() {
    ...
    }
}

那么还有一个问题：如何让Spring扫描到这个 MockProxyBuilderProviderInSpring类？我们不能要求每个项目调用方用scanpackage指定MockProxyBuilderProviderInSpring所在的package，这样代码侵入大。可以借助Spring的自动注入机制 EnableAutoConfiguration。在框架层增加一个文件：META-INF/spring.factories，里面添加一行

org.springframework.boot.autoconfigure.EnableAutoConfiguration=
com.xxx.MockProxyBuilderProviderInSpring

4.6 易用性：WEBUI功能-protobuf类生成Json

开发者对JSON是比较熟悉的，所以在设计之初就考虑把protobuf请求和响应数据以JSON格式来配置。既然这样就要支持protobuf转JSON，如下所示：

在这里插入图片描述

Message类转Json其实分两步，第一步是先给GeneratedMessage或者GeneratedMessageLite填充字段值，第二步才是将Message转JSON。

用google protobuf官方生成器生成的类有两种：com.google.protobuf.GeneratedMessage和com.google.protobuf.GeneratedMessageLite。

  • 填充Message字段值

要填充字段值首先就要知道Message有哪些字段。GeneratedMessage好说，它有Reflection和Desriptor等API，可方便获取字段和给字段赋值。但是GeneratedMessageLite没有这样的API，因为Lite的存在就是用于那些节省传输流量，已明确知道Message有哪些字段的场景。那如何给GeneratedMessageLite填充字段值呢？你应该也想到了，就是用Java最原始的Reflection机制。如下是填充GeneratedMessageLite的示例代码：

public E generate(double p) throws Exception {
        Builder builder = messageLiteInstance.newBuilderForType();
        Field[] fields = builder.getClass().getDeclaredFields();
        for (Field field : fields) {
            if ("bitField0_".equals(field.getName()))
                continue;
			  // setField 就是填充字段值的方法，里面也是用了Java 反射API来做
            setField(builder, field, getRandomValue(builder, field, p));
        }
        return (E) builder.build();
    }
  • Message转JSON

GeneratedMessage转Json也有官方支持，google protobuf有个项目protobuf-java-format
就是做这个的。但是GeneratedMessageLite转Json就没有官方的支持了。我这里的方案也是使用Java 原始的Reflection API获取字段和值，再结合fastjson API 将值转为Map，示例代码如下：

public static String printToString(MessageLite message) {

    try {
        Map resultMap = _printToMap(message);
        return JSONObject.toJSONString(resultMap);
    } catch (Exception ex) {
        logger.error(ex.getMessage(), ex);
        return null;
    }
}

private static Map _printToMap(MessageLite message) throws Exception {
        MessageLite.Builder builder = message.newBuilderForType();
        Map map = Maps.newHashMap();
        Field[] fields = builder.getClass().getDeclaredFields();
        for (Field field : fields) {
            String fieldName = field.getName();
            if ("bitField0_".equals(fieldName))
                continue;
            Class<?> fieldClass = field.getType();
            if (java.util.List.class.isAssignableFrom(fieldClass)) {
                ParameterizedType listType = (ParameterizedType) field.getGenericType();
                Class<?> genericType = (Class<?>) listType.getActualTypeArguments()[0];
                if (MessageLite.class.isAssignableFrom(genericType)) {
                    Method getterListMethod = message.getClass()
                            .getDeclaredMethod(MethodUtils.getterListMethodName(fieldName), null);
                    List<MessageLite> list =
                            (List<MessageLite>) getterListMethod.invoke(message, null);
                    if (list != null) {
                        JSONArray jsonArray = new JSONArray();
                        map.put(MethodUtils.normalFieldName(fieldName), jsonArray);
                        for (MessageLite _message : list) {
                            Map subMap = _printToMap(_message);
                            jsonArray.add(subMap);
                        }
                    }
                }
            } else {
                Method getterMethod = message.getClass()
                        .getDeclaredMethod(MethodUtils.getterMethodName(fieldName), null);
                Object value = getterMethod.invoke(message, null);
                if (value instanceof MessageLite) {
                    Map subMap = _printToMap((MessageLite) value);
                    map.put(MethodUtils.normalFieldName(fieldName), subMap);
                } else {
                    map.put(MethodUtils.normalFieldName(fieldName), value);
                }

            }
        }
        return map;
    }

5. 参考资料

标签
#Dubbo #RPC #MockServer
金融领域强化学习在多资产类别动态交易执行中的应用
AI 领航者的博客
02-22 608
在金融市场中，多资产类别的交易执行面临着诸多挑战，如市场的不确定性、资产间的复杂相关性等。传统的交易策略往往难以适应动态变化的市场环境。本研究的目的在于探索如何运用强化学习技术，实现多资产类别在动态市场环境下的高效交易执行。具体范围涵盖了从强化学习的基本原理到在多资产交易场景中的实际应用，包括核心算法的实现、数学模型的构建以及项目实战等方面。本文首先介绍研究背景，包括目的、预期读者和文档结构。接着阐述核心概念，包括强化学习和多资产类别动态交易执行的原理及其联系。
瑞萨MCU定时器API实战：从Smart Configurator配置到中断与输入捕获应用
最新发布
weixin_42519733的博客
06-27 250
在嵌入式系统开发中，定时器（Timer）是实现精准时序控制、PWM输出和信号测量的核心硬件外设。其工作原理基于计数器在稳定时钟源驱动下递增或递减，达到预设值后触发中断或改变输出电平，从而为系统提供节拍和事件基准。通过图形化配置工具（如瑞萨的Smart Configurator），开发者可以高效地将复杂的硬件寄存器操作转化为清晰、标准化的C语言API函数，这极大地提升了开发效率并降低了出错风险。这种从硬件抽象到软件接口的技术价值在于，它使得开发者能更专注于应用逻辑，而非底层细节，尤其适用于工业控制、汽车电子等
dubbo-mock:dubbo模拟Web服务器
05-14
DUBBO MOCK SERVER 使用说明 DUBBO MOCK SERVER 是一个基于web的dubbo服务的mock平台，可以通过可视化界面，采用groovy脚本语言动态配置mock规则，并且提供了对groovy脚本配置是否正确的自我检查测试的功能。 选择数据库数据库按照路径(如果有需要) 更新mock_web模块resources中db-connection.properties mysql.url=jdbc:sqlite:sql.db 发布文件 执行mvn命令 mvn package -DskipTests=true 发布mock_web.war 配置注册中心 协议 地址 超时时间(毫秒) zookeeper 127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183 500000 配置协议 协议 端口 dubbo 8835 配置DUBBO服务 配
dubbo-easy-mock:针对Dubbo接口的Mock解决方案
05-30
这个框架的作用 在自动测试中，针对dubbo接口进行mock的框架 原理 利用dubbo的扩展点自动包装，通过EasyMockClusterWrapper将原本的rpc请求改写为http请求转发到mock服务器返回我们对应mock结果 使用 1. 添加依赖 mvn clean package install (deploy) -Dmaven.test.skip=true 编译安装依赖到本地/远程仓库 <dependency> <groupId>com.cmt</groupId> <artifactId>dubbo-easy-mock</artifactId> <version>1.1.0</version> <exclusions> <exclusion> <groupId>org.apache.dubbo</grou
Dubbo——Mock
吴声子夜歌的博客
07-02 3970
Mock 在Cluster中，还有最后一个MockClusterWrapper，由它实现了Dubbo的本地伪装。这个功能的使用场景较多，通常会应用在以下场景中：服务降级；部分非关键服务全部不可用，希望主流程继续进行；在下游某些节点调用异常时，可以以Mock的结果返回。 Mock常见的使用方法 Mock只有在拦截到RpcException的时候会启用，数异常容错方式的一种。业务层面其实也可以用try-catch来实现这种功能，如果使用下沉到框架中的Mock机制，则可以让业务的实现更优雅 常见配置如下： //配
Dubbo中的Mock机制是什么？如何使用？
qq_33240556的博客
08-29 822
通过上述方法，你可以在 Dubbo 中实现 Mock 机制，以增强服务的健壮性和容错能力。Mock 机制可以帮助你在服务提供者出现问题时仍然能够继续运行，并返回一个模拟的结果，从而避免整个应用因依赖的服务不可用而导致的崩溃。如果有任何更具体的问题或需要进一步的帮助，请随时提问。
DUBBO 动态发布服务 mock rpc接口
qq_26784015的博客
07-13 1080
dubbo 动态发布服务并且mock服务
掌握3个Mock工具，轻松玩转单元测试
主要分享测试的学习资源，帮助快速了解测试行业，帮助想转行、进阶、小白成长为高级测试工程师。
08-14 591
公司要求提升单元测试的质量，提高代码的分支覆盖率和行覆盖率，安排我研究单元测试，指定方案分享并在开发部普及开。 Mock的主要目的是让单元测试Write Once, Run Everywhere.
基于javaagent实现的mock框架
coooooding
08-10 2422
背景 项目有点规模，使用dubbo框架，类似微服务的方式将项目分成了多个模块。各个模块逻辑复杂，而且调用了大量的外部接口。开发时自测面临以下问题： 测试某个模块时，需要启动各个上游模块，以及上游模块的上游模块。 业务逻辑复杂，需要有完备的测试数据，才能成功调用各个接口。 项目中的加解密功能设计的不好，难以绕过加解密签名验签通过传入准备好的明文直接进行调用。 有时候，不仅仅需要对外部接口进行moc...
为什么前后端分离了，我们比从前更痛苦？咋整呢！
weixin_44421461的博客
07-14 103
点击上方“Java基基”，选择“设为星标”做积极的人，而不是积极废人！源码精品专栏原创 | Java 2020超神之路，很肝~中文详细注释的开源项目RPC 框架 Dubbo 源码解析...
基于Dubbo,本地Mock方案
青蛙的博客
04-06 1189
基于Dubbo,本地Mock方案 起因 ​ 分布式系统中，由于系统之间相互依赖。导致开发人员对一个功能需要进行本地测试的时候，极有可能由于依赖的系统过多导致需要本地启动很多服务，这样严重影响我们的自测效率 ​ 虽然dubbo提供了mock,但是在spring环境下该mock是配置在xml里面的，有可能导致不小心提交了xml mock到生产环境，从而导致生产环境调用使用了mock数据，从而引发不可预...
protobuf协议_gRPC 使用 protobuf 构建微服务
weixin_39915267的博客
11-27 276
gRPC 使用 protobuf 构建微服务 发表于 2018-05-02 | 阅读次数: 2997 | 字数统计: 1,805gRPC 使用 protobuf 通信构建微服务本文目录：微服务架构单一的代码库以前使用 Laravel 做 web 项目时，是根据 MVC 去划分目录结构的，即 Controller 层处理业务逻辑，Model 层处理数据库的 CURD，View 层处理数据渲染与页面交...
浅谈 Mock Server
hunterzhang86的博客
10-07 2438
What？什么是 Mock Server Mock 是模拟的意思。在测试中，通常表述为：对测试过程中不容易构造或者不容易获取的物件，用一个虚拟的物件来进行模拟的一个过程。能够提供 Mock 功能的服务就叫作 Mock Server。 Mock Server 通过模拟真实的服务，提供对来自客户端请求的真实响应。 Why？为什么要用 Mock Server 在开发初期先模拟外部接口，避免直接使用实际外部接口进行开发调试，提高开发效率 全面准确的模拟外部接口的返回，提高自身代码的可靠性，提升验证的全面性 H
Rtree-1.2.0-cp310-cp310-win_amd64.whl.zip
whl文件，无需解压密码
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值