上一篇【第36篇】OAP Server启动流程解析从一行命令到一个可观测大脑的诞生下一篇【第38篇】OAP Server新增模块实战从零打造健康检查模块一、开篇模块可替换性的瑞士军刀哲学瑞士军刀有一个经典的设计理念同一把刀换个工具头就能应对不同场景。开瓶器、螺丝刀、剪刀——手柄是同一个但功能可以随意切换。OAP Server的模块替换机制就是瑞士军刀思想在软件架构中的完美演绎。同一个OAP发行包改一行配置甚至只改一个环境变量底层实现就能天翻地覆。今天我们以集群协调模块为主演演示从Standalone单机模式到Nacos再到ZooKeeper的完整替换过程。----------------------------------------------------------------------- | OAP Server | | | | ----------- ----------- ----------- | | | 集群协调 | | Nacos | 或 | ZooKeeper | 或 | Standalone | | | | 模块接口 | | Provider | | Provider | | Provider | | | ----------- ----------- ----------- | | | ----------------------------------------------------------------------- 图1同一接口三种实现——就像瑞士军刀的可更换工具头二、集群协调模块的身份证——ClusterModule在动手替换之前我们先理解被替换的对象。集群协调模块的ModuleDefine定义非常简洁publicclassClusterModuleextendsModuleDefine{publicstaticfinalStringNAMEcluster;publicClusterModule(){super(NAME);}OverridepublicClass?extendsService[]services(){returnnewClass[]{ClusterRegister.class,// 集群注册服务ClusterNodesQuery.class,// 集群节点查询服务ClusterModuleClient.class// 集群通信客户端};}}它对外提供三个服务接口无论底层用什么实现Standalone/Nacos/ZK这三个接口的行为都是一致的。这就是接口隔离的力量。三、场景一Standalone —— 一个人的狂欢3.1 默认配置Standalone是OAP的默认集群模式适用于开发环境和单节点部署# application.yml - Standalone模式cluster:selector:${SW_CLUSTER:standalone}standalone:# Standalone模式不需要额外配置# OAP把自己注册为唯一的集群节点3.2 Standalone Provider的实现原理publicclassClusterModuleStandaloneProviderextendsModuleProvider{OverridepublicStringname(){returnstandalone;}OverridepublicClass?extendsModuleDefinemodule(){returnClusterModule.class;}Overridepublicvoidprepare()throwsModuleStartException{// 创建单节点注册器this.registerServiceImplementation(ClusterRegister.class,newStandaloneClusterRegister());// 创建单节点查询器永远返回只有自己this.registerServiceImplementation(ClusterNodesQuery.class,newStandaloneClusterNodesQuery());}Overridepublicvoidstart()throwsModuleStartException{// Standalone模式把自己注册为唯一节点ClusterRegisterregistergetService(ClusterRegister.class);register.registerRemote(newRemoteInstance(){OverridepublicStringgetHost(){return127.0.0.1;}OverridepublicintgetPort(){return11800;}OverridepublicbooleanisSelf(){returntrue;}});logger.info(Standalone模式启动单节点运行);}}Standalone模式的本质就是假装有一个集群但成员永远只有自己。简单、直接适合开发调试。四、场景二从Standalone换到Nacos4.1 为什么选择NacosNacos是阿里巴巴开源的动态服务发现和配置管理平台。相比于ZooKeeper它有几个显著优势自带管理界面可视化的服务列表运维友好同时支持服务发现和配置管理一个平台干两样活部署简单一个JAR包就能跑4.2 第一步修改配置文件# application.yml - 切换到Nacos模式cluster:selector:${SW_CLUSTER:nacos}# 关键修改standalone - nacosnacos:# Nacos服务地址hostPort:${SW_CLUSTER_NACOS_HOST_PORT:localhost:8848}# 在Nacos中注册的服务名serviceName:${SW_SERVICE_NAME:SkyWalking_OAP_Cluster}# Nacos命名空间用于隔离环境namespace:${SW_CLUSTER_NACOS_NAMESPACE:}# Nacos认证信息username:${SW_CLUSTER_NACOS_USERNAME:}password:${SW_CLUSTER_NACOS_PASSWORD:}# 访问协议accessKey:${SW_CLUSTER_NACOS_ACCESS_KEY:}4.3 第二步启动Nacos Server# 下载并启动Nacos Serverwgethttps://github.com/alibaba/nacos/releases/download/2.2.0/nacos-server-2.2.0.tar.gztar-xzfnacos-server-2.2.0.tar.gzcdnacos/bin# 单机模式启动./startup.sh-mstandalone4.4 第三步启动OAPNacos模式# 方法1环境变量方式exportSW_CLUSTERnacosexportSW_CLUSTER_NACOS_HOST_PORTnacos-server:8848 ./bin/oapService.sh# 方法2Docker方式dockerrun-d--nameoap-server\-eSW_CLUSTERnacos\-eSW_CLUSTER_NACOS_HOST_PORTnacos:8848\-eSW_SERVICE_NAMESkyWalking_OAP_Cluster\apache/skywalking-oap-server:9.0.04.5 Nacos Provider是如何工作的publicclassClusterModuleNacosProviderextendsModuleProvider{privateNamingServicenamingService;Overridepublicvoidprepare()throwsModuleStartException{ClusterModuleNacosConfigconfig(ClusterModuleNacosConfig)getModuleConfig();// 初始化Nacos命名服务客户端PropertiespropertiesnewProperties();properties.put(serverAddr,config.getHostPort());properties.put(namespace,config.getNamespace());this.namingServiceNacosFactory.createNamingService(properties);// 注册集群服务this.registerServiceImplementation(ClusterRegister.class,newNacosClusterRegister(namingService));this.registerServiceImplementation(ClusterNodesQuery.class,newNacosClusterNodesQuery(namingService));}Overridepublicvoidstart()throwsModuleStartException{// 将自己注册到NacosClusterRegisterregistergetService(ClusterRegister.class);register.registerRemote(newRemoteInstance(){OverridepublicStringgetHost(){returnfindCoreHost();}OverridepublicintgetPort(){returnfindCorePort();}});}}五、场景三从Nacos换到ZooKeeper5.1 为什么有人偏爱ZooKeeper久经考验ZooKeeper在分布式协调领域已经战斗了十多年CP强一致性基于ZAB协议适合对一致性要求极高的场景生态成熟Hadoop、Kafka、HBase都用它5.2 配置变更# application.yml - 切换到ZooKeeper模式cluster:selector:${SW_CLUSTER:zookeeper}# 关键修改nacos - zookeeperzookeeper:# ZK集群地址hostPort:${SW_CLUSTER_ZK_HOST_PORT:localhost:2181}# ZK会话超时毫秒sessionTimeout:${SW_CLUSTER_ZK_SESSION_TIMEOUT:40000}# 命名空间ZK路径前缀namespace:${SW_NAMESPACE:)# 基础睡眠时间用于重试退避baseSleepTimeMs:${SW_CLUSTER_ZK_SLEEP_TIME:1000}# 最大重试次数maxRetries:${SW_CLUSTER_ZK_MAX_RETRIES:3}# 是否启用ACL认证enableACL:${SW_CLUSTER_ZK_ENABLE_ACL:false}5.3 ZK Provider的核心实现publicclassClusterModuleZookeeperProviderextendsModuleProvider{privateCuratorFrameworkcurator;Overridepublicvoidprepare()throwsModuleStartException{ClusterModuleZookeeperConfigconfig(ClusterModuleZookeeperConfig)getModuleConfig();// 使用Curator框架构建ZK客户端RetryPolicyretryPolicynewExponentialBackoffRetry(config.getBaseSleepTimeMs(),config.getMaxRetries());this.curatorCuratorFrameworkFactory.builder().connectString(config.getHostPort()).sessionTimeoutMs(config.getSessionTimeout()).retryPolicy(retryPolicy).namespace(config.getNamespace()).build();// 注册服务this.registerServiceImplementation(ClusterRegister.class,newZookeeperClusterRegister(curator));this.registerServiceImplementation(ClusterNodesQuery.class,newZookeeperClusterNodesQuery(curator));}Overridepublicvoidstart()throwsModuleStartException{curator.start();// 连接ZK集群// 注册临时节点OAP下线后自动删除StringnodePath/oap-nodes/selfInstanceId();curator.create().creatingParentsIfNeeded().withMode(CreateMode.EPHEMERAL)// 临时节点断连自动清理.forPath(nodePath,selfInstanceData());}}ZK模式下使用了临时节点——当OAP节点离线后ZK会自动删除它在集群目录下的注册信息。这种机制天然支持故障检测。六、三种方案的横向对比------------------------------------------------------------------ | 特性 | Standalone | Nacos | ZooKeeper | ------------------------------------------------------------------ | 适用场景 | 开发/测试 | 生产环境 | 生产环境 | | 节点自动发现 | N/A单节点 | ● 支持 | ● 支持 | | 故障自动摘除 | N/A | ● 支持 | ● 支持临时节点| | 管理界面 | N/A | ● 内置UI | ○ 需外部工具 | | 配置管理 | N/A | ● 内置 | ○ 需额外组件 | | 部署复杂度 | ★ 零配置 | ★★ 简单 | ★★★ 中等 | | 维护成本 | ★ 无需维护 | ★★ 低 | ★★★ 中等 | | CP/AP | N/A | APCP混合 | CP | | 学习曲线 | ★ 无 | ★★ 低 | ★★★ 中等 | ------------------------------------------------------------------ 图2三种集群协调方案的横向对比七、编写自定义模块实现的完整步骤如果你觉得内置的三种方案都不够用比如你想用Consul或etcd你可以自己实现一个Cluster Provider。完整步骤如下Step 1创建Maven模块!-- pom.xml --artifactIdcluster-consul-plugin/artifactIddependenciesdependencygroupIdorg.apache.skywalking/groupIdartifactIdlibrary-module/artifactIdversion${project.version}/version/dependencydependencygroupIdorg.apache.skywalking/groupIdartifactIdserver-core/artifactIdversion${project.version}/version/dependency!-- Consul客户端 --dependencygroupIdcom.ecwid.consul/groupIdartifactIdconsul-api/artifactIdversion1.4.5/version/dependency/dependenciesStep 2编写配置类publicclassClusterModuleConsulConfigextendsModuleConfig{privateStringhostlocalhost;privateintport8500;privateStringserviceNameSkyWalking_OAP_Cluster;privateinthealthCheckInterval10;// 健康检查间隔秒privateStringaclToken;// getter/setter省略}Step 3实现ModuleProviderpublicclassClusterModuleConsulProviderextendsModuleProvider{privateConsulClientconsulClient;privateStringserviceId;OverridepublicStringname(){returnconsul;}OverridepublicClass?extendsModuleDefinemodule(){returnClusterModule.class;}OverridepublicModuleConfigcreateConfigBeanIfAbsent(){returnnewClusterModuleConsulConfig();}Overridepublicvoidprepare()throwsModuleStartException{ClusterModuleConsulConfigconfig(ClusterModuleConsulConfig)getModuleConfig();// 初始化Consul客户端this.consulClientnewConsulClient(config.getHost(),config.getPort());// 生成唯一实例IDthis.serviceIdconfig.getServiceName()-UUID.randomUUID();// 注册服务实现this.registerServiceImplementation(ClusterRegister.class,newConsulClusterRegister(consulClient,serviceId,config));this.registerServiceImplementation(ClusterNodesQuery.class,newConsulClusterNodesQuery(consulClient,config));}Overridepublicvoidstart()throwsModuleStartException{ClusterModuleConsulConfigconfig(ClusterModuleConsulConfig)getModuleConfig();// 注册服务到ConsulNewServiceservicenewNewService();service.setId(serviceId);service.setName(config.getServiceName());service.setAddress(getManager().find(core).provider().getGRPCHost());service.setPort(getManager().find(core).provider().getGRPCPort());// 配置健康检查NewService.CheckchecknewNewService.Check();check.setTtl(config.getHealthCheckInterval()s);service.setCheck(check);consulClient.agentServiceRegister(service);logger.info(已注册到Consul: {},serviceId);// 启动健康检查心跳线程startHeartbeatThread();}}Step 4注册SPI文件在src/main/resources/META-INF/services/下创建文件# 文件名org.apache.skywalking.oap.server.library.module.ModuleProvider # 内容 com.yourcompany.skywalking.cluster.consul.ClusterModuleConsulProviderStep 5打包部署# 编译mvn clean package-DskipTests# 将JAR包复制到OAP的lib目录cptarget/cluster-consul-plugin-1.0.0.jar$OAP_HOME/oap-libs/Step 6配置并启动# application.ymlcluster:selector:${SW_CLUSTER:consul}consul:host:${SW_CLUSTER_CONSUL_HOST:consul-server}port:${SW_CLUSTER_CONSUL_PORT:8500}serviceName:${SW_SERVICE_NAME:SkyWalking_OAP_Cluster}八、模块替换的验证方法替换完成后如何验证模块是否正常工作这里有几套验证方案8.1 日志验证法启动日志中搜索你的Provider名称grep-iconsullogs/skywalking-oap-server.log正常输出应该包含INFO - 准备模块: cluster/consul INFO - 已注册到Consul: SkyWalking_OAP_Cluster-xxx8.2 代码验证法编写简单的验证程序// 注入集群查询服务ClusterNodesQuerynodesQuerygetManager().find(ClusterModule.NAME).provider().getService(ClusterNodesQuery.class);// 查询集群节点列表ListRemoteInstancenodesnodesQuery.queryRemoteNodes();System.out.println(当前集群节点数: nodes.size());for(RemoteInstancenode:nodes){System.out.println( - node.getHost():node.getPort()(node.isSelf()? (本节点):));}// 预期输出3节点集群// 当前集群节点数: 3// - 192.168.1.10:11800 (本节点)// - 192.168.1.11:11800// - 192.168.1.12:118008.3 集成测试法# 启动两个OAP实例观察它们是否互发现# 终端1exportSW_CLUSTERnacosexportSW_CLUSTER_NACOS_HOST_PORTlocalhost:8848 ./bin/oapService.sh# 终端2修改端口避免冲突exportSW_CLUSTERnacosexportSW_CLUSTER_NACOS_HOST_PORTlocalhost:8848exportSW_CORE_GRPC_PORT11801exportSW_CORE_REST_PORT12801./bin/oapService.sh# 打开Nacos控制台 http://localhost:8848/nacos# 查看服务列表 - SkyWalking_OAP_Cluster# 应该看到两个实例九、常见坑与避坑指南坑1Provider SPI文件命名错误错误META-INF/services/moduleProvider 正确META-INF/services/org.apache.skywalking.oap.server.library.module.ModuleProvider坑2忘记声明requiredModules依赖// 错误做法OverridepublicString[]requiredModules(){returnnewString[]{};// 没有声明依赖core模块}// 正确做法OverridepublicString[]requiredModules(){returnnewString[]{core};// 集群模块需要core模块的gRPC信息}坑3Nacos连接失败但不报错Nacos连接失败时OAP不会直接崩溃而是降级到Standalone模式运行。查看日志确认是否是预期行为。十、总结模块替换是OAP模块化框架最闪亮的特性。通过今天的学习你应该掌握selector配置项是切换模块实现的总开关编写自定义Provider只需三步实现接口 → 注册SPI → 配置启用验证替换结果要从日志、代码、集成测试三个维度确认不同方案的选型取决于你的基础设施和技术栈偏好下一篇我们将更进一步——不仅替换已有模块还要新增一个全新的模块。敬请期待。上一篇【第36篇】OAP Server启动流程解析从一行命令到一个可观测大脑的诞生下一篇【第38篇】OAP Server新增模块实战从零打造健康检查模块