test-queue 自定义 Runner 实战如何从零构建支持 Rails 多数据库的并行测试脚本【免费下载链接】test-queueparallel test runner for CI environments项目地址: https://gitcode.com/gh_mirrors/te/test-queue如果你正在寻找一个面向 CI 环境的并行测试运行器test-queue 是一个基于中心化队列centralized queue的 Ruby 工具它能把测试任务均匀分发给多个 worker让 CI 构建速度成倍提升。对于 Rails 应用来说多个 worker 同时跑测试会争抢同一个数据库解决办法就是自定义 Runner通过几个钩子方法为每个 worker 分配独立的数据库副本。本文将带你从零构建一个支持 Rails 多数据库的并行测试脚本。为什么 test-queue 适合 CI 并行测试 test-queue 的核心设计是一个「master pre-fork worker」模型master进程监听一个 Unix socket或 TCP 端口把测试套件放进队列worker进程由fork(2)派生空闲时主动向 master「领取」下一个任务实现动态负载均衡——谁空闲谁干活而不是把文件平均切块每次运行后各套件的耗时统计会保存到本地缓存文件默认.test_queue_stats见 lib/test_queue/stats.rb下次运行时按「最慢的优先」排序入队进一步缩短总时长。运行时的进程结构大致长这样─┬─ 21232 minitest-queue master ├─── 21571 minitest-queue worker [3] - AuthenticationTest ├─── 21568 minitest-queue worker [2] - ApiTest ├─── 21565 minitest-queue worker [1] - UsersControllerTest └─── 21562 minitest-queue worker [0] - UserTest它自带minitest-queue、rspec-queue、testunit-queue、cucumber-queue四个可执行文件定义在 test-queue.gemspec 中开箱即用$ minitest-queue $(find test/ -name \*_test.rb) $ rspec-queue --format progress spec为什么 Rails 应用需要自定义 Runner⚠️ 并行测试最大的坑是状态隔离。test-queue 用fork(2)派生 worker所有 worker 继承同一份内存状态——包括同一个数据库连接。如果 4 个 worker 同时读写同一个测试库数据互相污染测试结果会随机失败。test-queue 官方在 README.md 中的建议是不要直接用自带命令而是继承它的 Runner 基类把自定义脚本提交到你的项目里。核心入口就是两个钩子定义于 lib/test_queue/runner.rb钩子方法执行时机典型用途prepare(concurrency)master 中、fork 之前创建concurrency个数据库副本并加载 schemaafter_fork(num)每个 worker 内、跑测试之前把该 worker 切换到专属数据库/Redis 副本run_worker(iterator)worker 主循环把队列迭代器接入测试框架around_filter(suite)每个套件执行前后记录单套件耗时等统计实战编写支持多数据库的并行测试脚本在项目中新建可执行脚本script/test-queue继承TestQueue::Runner::MinitestMinitest 实现位于 lib/test_queue/runner/minitest5.rb 与 lib/test_queue/runner/minitest6.rb#!/usr/bin/env ruby class MyAppTestRunner TestQueue::Runner::Minitest # fork 之前为每个 worker 准备一个独立数据库 def prepare(concurrency) concurrency.times do |i| system(RAILS_ENVtest bundle exec rails db:create db:schema:load, database_suffix: i) end end # fork 之后当前 worker 连到编号为 num 的数据库 def after_fork(num) db ActiveRecord::Base.configurations .configs_for(env_name: test, name: primary).database db num.to_s ActiveRecord::Base.establish_connection(:test) end end MyAppTestRunner.new.execute然后赋权并提交$ chmod x script/test-queue $ git add script/test-queue 如果你的应用还使用 Redis、Elasticsearch 等有状态服务同样在after_fork里按num切换例如$redis.client.db num。CI 中最常用的环境变量速查 这些变量在 README.md 中有完整说明日常调优只需记住前几个变量作用TEST_QUEUE_WORKERS每个 master 的 worker 数量默认等于 CPU 核数TEST_QUEUE_STATS耗时统计缓存路径CI 中可指向持久化目录TEST_QUEUE_VERBOSE设为1可实时打印 worker 输出方便排查TEST_QUEUE_FORCE逗号分隔的套件名只跑指定套件调试利器TEST_QUEUE_SOCKET分布式模式下用0.0.0.0:12345监听 TCP在多机 CI 上还可以启用分布式模式中心 master 监听 TCP 端口其他机器以 relay 模式接入通过TEST_QUEUE_RELAYTEST_QUEUE_RELAY_TOKEN所有 worker 的结果汇总回中心节点详见 lib/test_queue/runner.rb 中的 relay 逻辑。新手避坑清单别require测试文件把文件路径通过命令行参数传入test-queue 会在 worker 里按需加载否则初始化会直接报错见 lib/test_queue/runner/minitest5.rb。worker 数 数据库副本数prepare创建的副本数必须 ≥TEST_QUEUE_WORKERS否则 worker 会连上不存在的库。随机失败先查隔离fork继承的内存里可能有全局状态连接池、缓存、seed在after_fork中重置注意 master 已为每个 worker 重新srand。调试单条测试用TEST_QUEUE_FORCESomeTest只跑指定套件配合TEST_QUEUE_VERBOSE1定位问题不用等全量队列跑完。统计文件要持久化.test_queue_stats留在 CI 缓存/工作目录中排序优化才跨构建生效。小结test-queue 通过「队列 动态领取 耗时排序」三板斧让 CI 并行测试又快又稳而自定义 Runner只需覆写prepare与after_fork两个钩子就能为 Rails 多数据库场景提供干净的隔离环境。按照本文的脚本模板稍作修改你的 Rails 项目就能在几分钟内享受数倍速的并行测试 【免费下载链接】test-queueparallel test runner for CI environments项目地址: https://gitcode.com/gh_mirrors/te/test-queue创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考