如何快速并行化 Minitest/RSpectest-queue 三步上手教程让 CI 速度翻倍【免费下载链接】test-queueparallel test runner for CI environments项目地址: https://gitcode.com/gh_mirrors/te/test-queuetest-queue 是一款专为 CI 环境打造的 Ruby 并行测试运行器parallel test runner for CI environments一条命令即可让 Minitest、RSpec、TestUnit 测试在多个 worker 中并行执行。它通过中心化队列保证测试任务在 worker 之间最优分配并在每次运行后记录耗时统计自动让下一轮 CI 跑得更快。无论你是 Rails 开发者还是 CI 运维工程师按下面三步走就能让测试流水线速度翻倍 ⚡为什么选 test-queue三大核心优势中心化队列调度采用「master pre-fork worker」模型master 通过 Unix socket 分发任务哪个 worker 空闲就派活给谁彻底告别静态分片导致的木桶效应。统计缓存越跑越快每次运行都会把各测试套件的耗时保存到本地.test_queue_stats文件下次启动时按耗时从长到短排队慢测试优先派发整体收尾时间显著缩短。零配置上手安装包即自带minitest-queue、rspec-queue、testunit-queue、cucumber-queue四个可执行命令替换原有命令即可完成并行化。运行时的进程结构大致如下每个 worker 独立领取测试套件─┬─ 21232 minitest-queue master ├─── 21571 minitest-queue worker [3] - AuthenticationTest ├─── 21568 minitest-queue worker [2] - ApiTest ├─── 21565 minitest-queue worker [1] - UsersControllerTest └─── 21562 minitest-queue worker [0] - UserTest第一步安装 test-queue 并行测试运行器只需在你的项目Gemfile中添加一行依赖开发/测试组即可然后执行 bundle installgroup :test do gem test-queue end安装完成后即可在终端直接使用 exe/minitest-queue 和 exe/rspec-queue 提供的可执行命令。项目要求 Ruby 2.7见 test-queue.gemspec对 Minitest 5/6、RSpec 3/4 均有对应适配参考 gemfiles/ 下的各版本 Gemfile。第二步一行命令替换运行器Minitest/RSpec 即刻并行这是整个教程最关键的一步——只需把原来的运行命令换成 test-queue 提供的命令Minitest 项目$ minitest-queue $(find test/ -name \*_test.rb)RSpec 项目$ rspec-queue --format progress spec就这么简单。worker 数量默认等于 CPU 核心数什么都不用配置就能跑。官方推荐的进阶做法是把一个自定义执行脚本如script/test-queue提交进项目继承TestQueue::Runner::Minitest或TestQueue::Runner::RSpec基类方便后续定制。 小贴士Minitest 的--seed 1234选项和SEED环境变量都能正常透传随机排序的调试体验不变。第三步环境变量调优精细控制 CI 行为test-queue 的行为几乎全部由环境变量驱动按需设置即可常用项如下环境变量作用默认值TEST_QUEUE_WORKERS每个 master 的 worker 数量全部 CPU 核心TEST_QUEUE_VERBOSE实时显示各 worker 输出0TEST_QUEUE_STATS统计缓存文件路径.test_queue_statsTEST_QUEUE_FORCE只运行指定套件逗号分隔全量运行TEST_QUEUE_SPLIT_GROUPSRSpec 按 example 而非 example group 拆分关闭几个实战技巧调试单个慢测试TEST_QUEUE_FORCEUserTest,OrderTest bundle exec minitest-queue test/它还会严格按你给出的顺序执行非常适合定位偶发失败相关实现见 lib/test_queue/runner.rb行为验证见 test/minitest5.bats。Selenium 等 setup 重的场景开启TEST_QUEUE_SPLIT_GROUPStrue让 RSpec 拆到 example 级别粒度更细、分配更均匀不想拆分的组打上:no_split标签即可。统计文件记得提交到 CI 缓存把.test_queue_stats加入 CI 的缓存列表跨构建复用耗时数据排序效果更佳。数据库隔离fork 模型的必备一课 ⚠️test-queue 使用fork(2)派生 worker每个 worker 都是主进程的副本必须自行隔离全局状态。标准做法是继承 Runner 并覆写两个钩子prepare(concurrency)fork之前执行用来创建 concurrency 份数据库并导入 schemaafter_fork(num)fork之后在每个 worker 中执行用来把当前 worker 切到第num号数据库和 Redis 库。官方 README 中给出了完整的 ActiveRecord Redis 示例建议直接参考。这一步是并行测试最常见的坑隔离没做好就会出现本地并行、偶发失败的玄学问题。分布式模式多台 CI 机器协同跑测试当单机核心不够用时test-queue 还支持分布式模式中央 master 监听 TCP 端口其他机器以 relay 模式加入共享同一队列结果回传给中央 master 汇总。只需成对设置# 中央 master TEST_QUEUE_RELAY_TOKEN123 TEST_QUEUE_SOCKET0.0.0.0:12345 bundle exec minitest-queue ./test/example_test.rb # 远程 master TEST_QUEUE_RELAY_TOKEN123 TEST_QUEUE_RELAY0.0.0.0:12345 bundle exec minitest-queue ./test/example_test.rb两侧TEST_QUEUE_RELAY_TOKEN必须一致Jenkins 用户可配合 Parameterized Trigger 插件一键拉起多台远程 master。关键文件速查表文件说明exe/minitest-queue / exe/rspec-queue开箱即用的命令行入口lib/test_queue/runner.rb核心调度逻辑master、socket、队列分发、worker 管理lib/test_queue/stats.rb耗时统计加载、记录、保存8 天自动清理过期条目lib/test_queue/runner/minitest.rbMinitest Runner自动适配 v5/v6lib/test_queue/runner/rspec.rbRSpec Runner 与套件发现逻辑含:no_split支持lib/test_queue/iterator.rbworker 端从队列拉取任务的迭代器test/minitest5.bats / test/rspec3.bats各框架的端到端测试用例README.md完整官方文档含分布式模式细节常见问题 FAQQ并行后测试失败了输出看不懂A所有 worker 输出会被汇总最后统一打印 Failures段落设置TEST_QUEUE_VERBOSE1可实时查看每个 worker 的原始输出。Q统计文件.test_queue_stats会无限增长吗A不会。每次保存时会自动剪枝移除 8 天内未被运行过的套件记录逻辑见 lib/test_queue/stats.rb。QWindows 上能用吗A不能。test-queue 依赖fork(2)系统调用请确保在 Linux/macOS 的 CI 环境使用。Qworker 数设为 0 会怎样A会直接报错Worker count (0) must be greater than 0避免误配置导致空跑。总结三步回顾① Gemfile 加依赖 → ② 用 minitest-queue / rspec-queue 替换原命令 → ③ 按环境调优 TEST_QUEUE_变量并做数据库隔离*。得益于中心化队列与耗时统计缓存test-queue 能让你的 CI 测试流水线从串行变成越跑越顺的并行流水线速度提升往往立竿见影 如果你还在用静态分片方案不妨今天就试试这条更聪明的队列。【免费下载链接】test-queueparallel test runner for CI environments项目地址: https://gitcode.com/gh_mirrors/te/test-queue创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 如何快速并行化 Minitest/RSpec：test-queue 三步上手教程，让 CI 速度翻倍
如何快速并行化 Minitest/RSpectest-queue 三步上手教程让 CI 速度翻倍【免费下载链接】test-queueparallel test runner for CI environments项目地址: https://gitcode.com/gh_mirrors/te/test-queuetest-queue 是一款专为 CI 环境打造的 Ruby 并行测试运行器parallel test runner for CI environments一条命令即可让 Minitest、RSpec、TestUnit 测试在多个 worker 中并行执行。它通过中心化队列保证测试任务在 worker 之间最优分配并在每次运行后记录耗时统计自动让下一轮 CI 跑得更快。无论你是 Rails 开发者还是 CI 运维工程师按下面三步走就能让测试流水线速度翻倍 ⚡为什么选 test-queue三大核心优势中心化队列调度采用「master pre-fork worker」模型master 通过 Unix socket 分发任务哪个 worker 空闲就派活给谁彻底告别静态分片导致的木桶效应。统计缓存越跑越快每次运行都会把各测试套件的耗时保存到本地.test_queue_stats文件下次启动时按耗时从长到短排队慢测试优先派发整体收尾时间显著缩短。零配置上手安装包即自带minitest-queue、rspec-queue、testunit-queue、cucumber-queue四个可执行命令替换原有命令即可完成并行化。运行时的进程结构大致如下每个 worker 独立领取测试套件─┬─ 21232 minitest-queue master ├─── 21571 minitest-queue worker [3] - AuthenticationTest ├─── 21568 minitest-queue worker [2] - ApiTest ├─── 21565 minitest-queue worker [1] - UsersControllerTest └─── 21562 minitest-queue worker [0] - UserTest第一步安装 test-queue 并行测试运行器只需在你的项目Gemfile中添加一行依赖开发/测试组即可然后执行 bundle installgroup :test do gem test-queue end安装完成后即可在终端直接使用 exe/minitest-queue 和 exe/rspec-queue 提供的可执行命令。项目要求 Ruby 2.7见 test-queue.gemspec对 Minitest 5/6、RSpec 3/4 均有对应适配参考 gemfiles/ 下的各版本 Gemfile。第二步一行命令替换运行器Minitest/RSpec 即刻并行这是整个教程最关键的一步——只需把原来的运行命令换成 test-queue 提供的命令Minitest 项目$ minitest-queue $(find test/ -name \*_test.rb)RSpec 项目$ rspec-queue --format progress spec就这么简单。worker 数量默认等于 CPU 核心数什么都不用配置就能跑。官方推荐的进阶做法是把一个自定义执行脚本如script/test-queue提交进项目继承TestQueue::Runner::Minitest或TestQueue::Runner::RSpec基类方便后续定制。 小贴士Minitest 的--seed 1234选项和SEED环境变量都能正常透传随机排序的调试体验不变。第三步环境变量调优精细控制 CI 行为test-queue 的行为几乎全部由环境变量驱动按需设置即可常用项如下环境变量作用默认值TEST_QUEUE_WORKERS每个 master 的 worker 数量全部 CPU 核心TEST_QUEUE_VERBOSE实时显示各 worker 输出0TEST_QUEUE_STATS统计缓存文件路径.test_queue_statsTEST_QUEUE_FORCE只运行指定套件逗号分隔全量运行TEST_QUEUE_SPLIT_GROUPSRSpec 按 example 而非 example group 拆分关闭几个实战技巧调试单个慢测试TEST_QUEUE_FORCEUserTest,OrderTest bundle exec minitest-queue test/它还会严格按你给出的顺序执行非常适合定位偶发失败相关实现见 lib/test_queue/runner.rb行为验证见 test/minitest5.bats。Selenium 等 setup 重的场景开启TEST_QUEUE_SPLIT_GROUPStrue让 RSpec 拆到 example 级别粒度更细、分配更均匀不想拆分的组打上:no_split标签即可。统计文件记得提交到 CI 缓存把.test_queue_stats加入 CI 的缓存列表跨构建复用耗时数据排序效果更佳。数据库隔离fork 模型的必备一课 ⚠️test-queue 使用fork(2)派生 worker每个 worker 都是主进程的副本必须自行隔离全局状态。标准做法是继承 Runner 并覆写两个钩子prepare(concurrency)fork之前执行用来创建 concurrency 份数据库并导入 schemaafter_fork(num)fork之后在每个 worker 中执行用来把当前 worker 切到第num号数据库和 Redis 库。官方 README 中给出了完整的 ActiveRecord Redis 示例建议直接参考。这一步是并行测试最常见的坑隔离没做好就会出现本地并行、偶发失败的玄学问题。分布式模式多台 CI 机器协同跑测试当单机核心不够用时test-queue 还支持分布式模式中央 master 监听 TCP 端口其他机器以 relay 模式加入共享同一队列结果回传给中央 master 汇总。只需成对设置# 中央 master TEST_QUEUE_RELAY_TOKEN123 TEST_QUEUE_SOCKET0.0.0.0:12345 bundle exec minitest-queue ./test/example_test.rb # 远程 master TEST_QUEUE_RELAY_TOKEN123 TEST_QUEUE_RELAY0.0.0.0:12345 bundle exec minitest-queue ./test/example_test.rb两侧TEST_QUEUE_RELAY_TOKEN必须一致Jenkins 用户可配合 Parameterized Trigger 插件一键拉起多台远程 master。关键文件速查表文件说明exe/minitest-queue / exe/rspec-queue开箱即用的命令行入口lib/test_queue/runner.rb核心调度逻辑master、socket、队列分发、worker 管理lib/test_queue/stats.rb耗时统计加载、记录、保存8 天自动清理过期条目lib/test_queue/runner/minitest.rbMinitest Runner自动适配 v5/v6lib/test_queue/runner/rspec.rbRSpec Runner 与套件发现逻辑含:no_split支持lib/test_queue/iterator.rbworker 端从队列拉取任务的迭代器test/minitest5.bats / test/rspec3.bats各框架的端到端测试用例README.md完整官方文档含分布式模式细节常见问题 FAQQ并行后测试失败了输出看不懂A所有 worker 输出会被汇总最后统一打印 Failures段落设置TEST_QUEUE_VERBOSE1可实时查看每个 worker 的原始输出。Q统计文件.test_queue_stats会无限增长吗A不会。每次保存时会自动剪枝移除 8 天内未被运行过的套件记录逻辑见 lib/test_queue/stats.rb。QWindows 上能用吗A不能。test-queue 依赖fork(2)系统调用请确保在 Linux/macOS 的 CI 环境使用。Qworker 数设为 0 会怎样A会直接报错Worker count (0) must be greater than 0避免误配置导致空跑。总结三步回顾① Gemfile 加依赖 → ② 用 minitest-queue / rspec-queue 替换原命令 → ③ 按环境调优 TEST_QUEUE_变量并做数据库隔离*。得益于中心化队列与耗时统计缓存test-queue 能让你的 CI 测试流水线从串行变成越跑越顺的并行流水线速度提升往往立竿见影 如果你还在用静态分片方案不妨今天就试试这条更聪明的队列。【免费下载链接】test-queueparallel test runner for CI environments项目地址: https://gitcode.com/gh_mirrors/te/test-queue创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考