数据库灾备【免费下载链接】databasusPostgreSQL backup tool with Point-In-Time-Recovery and restore verification项目地址https://gitcode.com/gh_mirrors/po/databasus点击查看免费下载ADR-0013Reuse one in-memory test database per version instead of one container per test记录了 databasus 后端测试基建的一次关键决策面对 PostgreSQL / MySQL / MariaDB / MongoDB 多引擎、多版本的测试矩阵如何在测试速度快与内存占用有界之间取得平衡。本文以该 ADR 为主体结合仓库内 ADR 模板、容器启动实现 postgres.go、worker 槽位分配实现 config.go 与测试编排 backup_restore_test.go完整展开决策的来龙去脉、隔离原理与工程代价。读完本文你将理解一套按版本复用 tmpfs 内存数据目录 包级并行 槽位隔离的数据库 E2E 测试方案以及它在 databasus 仓库中的具体落地形态。一、ADR 是什么databasus 的架构决策规范在进入 ADR-0013 之前先明确 databasus 对 ADR 的约定。仓库在 adr/AGENTS.md 中定义了 ADR 的写作规则ADR 记录的是为什么做出某个决策why而不是代码怎么写的how——代码才是 how 的唯一事实来源。因此一份合格的 ADR 必须同时满足三个条件撤销代价高昂expensive to reverse未来的读者看到代码时会问为什么这么做当时存在真实的备选方案且我们因为明确的原因拒绝了它。显而易见的决策不写 ADR。风格上要求一页以内、现在时陈述、以决策本身命名而非技术命名Export logs over OTLP优于OpenTelemetry且 ADR 是决策快照而非活文档——当决策被取代时不修改历史而是写新 ADR 并把旧 ADR 标记为Superseded by ADR-NNNN。0000-adr-template.md 提供了统一模板Context问题与约束、Decision决策陈述、Alternatives considered被拒方案及理由、Consequences正/负/中性影响、References相关 ADR 与证据。ADR-0013 正是这一规范的产物它回答了测试基建中一个代价高昂、事后难以推翻的问题多版本数据库测试到底该怎么起容器二、Context测试矩阵为什么把前两套方案都压垮了databasus 的数据库测试有一个显著特征同一套备份/恢复校验要在每个引擎的多个大版本上运行——PostgreSQL 12 到 18、MySQL、MariaDB、MongoDB 各多版本。仓库中逻辑测试的版本矩阵即为例证backup_restore_test.go 定义了postgres:12到postgres:18共 7 个版本。在采用 ADR-0013 的方案前团队试过两套设置都失败了失败方案一docker-compose 一次性把全部版本拉起早期做法是把所有引擎的所有版本一次性docker-compose up并保持运行。按每个引擎 4~7 个版本估算同时存活的容器约50 个docker-compose up (everything, all the time) postgres:12 .. postgres:18 mysql:5.7 .. mysql:8.4 mariadb:10.6 .. mariadb:12.0 mongo:4.0 .. mongo:8.0 ────────────────────────────── ~50 containers alive at once → out of RAM一台 16 GB 的 CI 机器直接内存耗尽。50 个数据库进程同时驻留无论怎么调优内存账都算不过来。失败方案二每个测试一个全新容器朴素修复直觉上的修复是用完即焚每个测试自己启动一个数据库、跑完立刻销毁。问题是冷启动成本——一个数据库容器冷启动需要 20~60 秒而一个测试包package里有 40 个测试逐个起容器直接撞上 15 分钟的测试超时test 1 → boot DB → run → kill DB test 2 → boot DB → run → kill DB ... (40 times per package) → too slow目标团队想要的不是二选一而是同时具备快整套测试能在 CI 时限内跑完内存有界峰值内存可预测、不超机器上限互不干扰并行执行的测试包之间完全隔离。三、Decision每个版本一个容器 RAM 数据目录 包级并行ADR-0013 的核心决策可以浓缩为三句话每个数据库版本启动一个容器该版本的所有测试函数复用它测试数据目录挂在 tmpfsRAM上测试包并行执行靠 worker 槽位保持隔离。流程形态如下boot postgres:16 (once) ├─ run test 1 ├─ run test 2 └─ run test 3 shut down postgres:16 → boot postgres:17 ...三个支柱缺一不可下面逐一展开。3.1 每版本一容器用外层t.Run编排生命周期矩阵包matrix package把版本列表声明一次用外层t.Run循环在子测试内部调用StartPostgres/StartMysql/StartMariadb/StartMongodb实现位于 containers 目录再把原来的测试函数作为内层子测试挂进去。关键机制是StartXxx注册的t.CleanupGo 在外层版本子测试返回时自动执行清理容器随之销毁——因此同一时刻每个包只存活一个矩阵容器。同时每个go test包是独立进程它的容器只属于它自己天然与别的包隔离。真实编排代码见 backup_restore_test.gofunc Test_PostgresqlBackupRestore_AcrossSupportedVersions(t *testing.T) { for _, dbVersion : range postgresVersions { t.Run(dbVersion.name, func(t *testing.T) { endpoint : containers.StartPostgres(t, dbVersion.image) // 内层子测试恢复成功、加密、schema 选择、排除扩展…… t.Run(Test_BackupAndRestorePostgresql_RestoreIsSuccesful, func(t *testing.T) { ... }) // ... }) } }文件注释明确标注了每个版本启动一次、跑完全部测试函数、下一个版本前关闭同一时刻每包只存活一个矩阵容器参见 ADR-0013这正是 ADR 与代码互相印证的典型形态。由于容器在版本内被复用、子测试顺序执行给测试作者留下一条硬性规则创建不带随机后缀的固定名对象如表、用户时必须先DROP ... IF EXISTS否则同一版本内的下一个子测试会撞名。3.2 数据目录挂 tmpfs把冷启动和 fsync 从关键路径上移走数据库文件放在RAM上是每个容器复用方案能跑得快的第二块拼图。实现见 postgres.gofunc postgresRequest(image string) testcontainers.ContainerRequest { return testcontainers.ContainerRequest{ Image: image, ExposedPorts: []string{postgresPort}, Env: postgresEnv(), Cmd: []string{-c, fsyncoff, -c, full_page_writesoff, -c, synchronous_commitoff}, Tmpfs: map[string]string{postgresDataDir(image): dataDirTmpfsOptions}, WaitingFor: postgresReady(), } }要点有三tmpfs 挂载数据目录以rw,size512m挂到 tmpfs见 containers.go 的dataDirTmpfsOptions。512m 是钉死的上限——如果不限 sizeDocker 会按宿主机一半 RAM 给每个容器预留8 个并行包会直接把机器吃穿。关闭崩溃安全PostgreSQL 使用fsyncoff / full_page_writesoff / synchronous_commitoffADR 中记载 MySQL MariaDB 对应innodb-flush-log-at-trx-commit0 / innodb-doublewrite0 / sync-binlog0 / skip-log-bin。这些服务器反正是用完即弃的关闭持久化换来的是写密集的恢复流程大幅提速。版本差异处理postgresDataDir注意到 postgres:18 把 PGDATA 与数据卷位置从/var/lib/postgresql/data上移到/var/lib/postgresql若仍按旧路径挂 tmpfs 会留下一个多余空目录导致 entrypoint 的布局检测拒绝启动。该函数按镜像 tag 解析主版本号PostgresMajorVersion≥18 挂父路径、否则挂旧路径。3.3 包级并行go test -p8换回速度复用容器省掉了 40 次冷启动但每个版本内测试是串行的。为了换回速度测试包之间并行backend/Makefile定义TEST_PARALLEL_WORKERS ? 8测试目标执行go test -p$(TEST_PARALLEL_WORKERS) ...见 backend/Makefile。因为每包只存活一个矩阵容器8 个包并行时的峰值内存保持在约10~11 GB——这正是当初全量拉起 50 容器方案会 OOM 的量级之下。四、并行隔离的底层机制Postgres advisory lock 抢占 worker 槽位并行跑起来之后最棘手的问题是共享基建的隔离。8 个包同时运行共享同一套 Postgres内部状态库、缓存与备份基础设施必须保证每个包拿到自己的私有副本。ADR-0013 给出的答案是worker 槽位worker slot每个包用一条Postgres advisory lock抢占一个槽位槽位号派生出一整套私有资源。实现位于 config.gofunc claimTestWorkerSlotAndSelectMetadataDatabase() { baseDbName, _, err : RewriteDbName(env.TestDatabaseDsn, systemDbName) // ... slot : claimTestWorkerSlot(env.TestDatabaseDsn, env.TestParallelWorkers) slotDbName : fmt.Sprintf(%s_w%d, baseDbName, slot) // ... env.DatabaseDsn slotDsn } func claimTestWorkerSlot(testDsn string, pool int) int { // 打开系统库连接循环尝试 SELECT pg_try_advisory_lock($1) // 键为 testSlotAdvisoryLockBase slot即 945_000_000 slot // 抢到后把连接保存在 slotLockConnGC root进程存活期间持有锁 }细节非常讲究槽位键空间testSlotAdvisoryLockBase 945_000_000槽位 N 使用baseNconfig.go。锁是会话级的持有连接直到进程退出避免中途被 GC 释放导致别人抢占。重试窗口testSlotClaimTimeout 60s循环扫描[0, pool)找第一个空闲槽每 100ms 重试用于吸收go test -p中旧进程刚释放、新进程尚未启动的交接窗口超时则报错并给出提示TEST_PARALLEL_WORKERS must be the go test -p value。槽位派生资源私有元数据库{base}_w{slot}私有缓存数据库原 Valkey/Redis 的槽位号后被 process-local 替代见下文私有缓存前缀w{slot}:同时用于标记备份节点注册表 nodes/registry.go 的每个 Redis key 与 pub/sub 频道。因此两个并行的测试包永远不会碰到对方的元数据库、缓存条目、备份节点或 pub/sub 频道。Makefile 侧的配套动作是go run ./cmd/cleanup_test_db清理旧槽位库并循环goose对每个_w{i}槽位库执行迁移backend/Makefile。五、Alternatives considered三个被拒方案及理由ADR 的价值很大程度体现在拒绝过什么。ADR-0013 明确记录了三组被拒方案方案形态拒绝理由docker-compose 全版本常驻~50 容器同时存活16 GB CI 内存耗尽且所有包共享同一套数据库毫无隔离每个测试一个全新容器40 次启动/销毁20~60s 冷启动 × 40 测试 → 撞 15 分钟超时数据目录放磁盘而非 RAM冷启动与写密集恢复落在 fsync 上慢的恰恰是冷启动 fsync 与恢复写盘反正服务器用完即弃RAM 直接移除该开销前两条是已经试过并且失败的历史教训第三条是考虑过但方向错了的理性排除——三者共同把每版本一容器 tmpfs 并行逼成了唯一同时满足速度与内存约束的形态。六、Consequences决策的收益、代价与后续演进正面影响性能跃升原来两个超时于 900s 的包现在约 30 秒完成整套测试从超时变成约1.5~4 分钟。内存有界且可预测每包只存活一个矩阵容器峰值内存可推算并行包之间完全隔离杜绝了别人的测试破坏我的数据这类经典 flaky 源。负面影响测试作者必须守规矩服务器在版本内被复用固定名对象必须先DROP ... IF EXISTS同版本内的子测试禁止t.Parallel()。RAM 数据易失对一次性测试服务器没问题但没有任何崩溃安全可言。CI 内存吃紧时需降级可下调TEST_PARALLEL_WORKERS例如 6。中性 / 后续事项在硬-timeout或os.Exit场景下t.Cleanup会被跳过残留容器依赖 Makefile/CI 的标签清理label-sweep兜底。决策的自我演进Replacement noteADR-0013 末尾附有 2026-09-06 的补充说明原由 Valkey 承载的测试状态已替换为进程本地process-local的缓存、pub/sub 与限流 provider每个测试二进制自己持有这部分瞬态状态worker 槽位机制仍然用于隔离共享的元数据库。这与仓库当前整体方向一致——openspec 的 single-instance-runtime 规范与 ADR-0006 的弃用注记都表明项目已收敛为单应用进程/安装模型Valkey 这类外部运行时可被本地实现替代。物理备份测试则采取另一形态每个 PostgreSQL 大版本拆成一个独立测试包physical/postgresql 下 pg17、pg18 目录各版本作为相互隔离的并行测试二进制运行各自拥有独立的控制平面与一次性源库/恢复目标容器。七、给读者如何在仓库中复现与扩展这套方案若要在本地复现或改进这套测试基建可按以下路径深入仓库理解容器启动契约containers 目录 下的postgres.go、mysql.go、mariadb.go、mongodb.go是StartXxx系列助手所在注意Tmpfs、Cmd中的持久化关闭参数与 READY 等待策略postgres.go 等待database system is ready to accept connections出现两次以避开 initdb 阶段临时 socket 服务器的干扰。复刻编排模式backup_restore_test.go 是外层版本t.Run 内层测试t.Run的参考实现。调整并行度与隔离修改TEST_PARALLEL_WORKERSbackend/Makefile并在 config.go 中阅读槽位抢占与_w{slot}数据库选择逻辑。读懂 ADR 模板本身若要为项目新增架构决策从 adr/0000-adr-template.md 出发遵循 adr/AGENTS.md 的写 why 不写 how、一页以内、现在时原则并将新决策编号为NNNN-slug.md。结语ADR-0013 是架构决策文档驱动工程实现的一个典型样本一句话的决策按版本复用内存容器、包级并行、槽位隔离背后是两套失败方案的教训、三个支柱的协同、一组被拒方案的理性排除以及一套可以在源码中逐行核对的落地实现。对任何需要维护多版本数据库测试矩阵的项目而言它的核心经验可以迁移复用容器复用消除冷启动成本、tmpfs 消除 fsync 成本、包级并行换回吞吐、advisory-lock 槽位保证隔离——四个杠杆缺一不可而把约束钉死如 512m tmpfs 上限、禁用t.Parallel的守则比事后排查内存爆炸和测试互踩要便宜得多。赞分享数据库灾备【免费下载链接】databasusPostgreSQL backup tool with Point-In-Time-Recovery and restore verification项目地址https://gitcode.com/gh_mirrors/po/databasus点击查看免费下载相关推荐Databasus ADR-0013 深度解析按版本复用共享内存测试数据库平衡测试速度与 CI 内存Databasus ADR 0013 深度解析按版本复用共享内存测试数据库平衡测试速度与 CI 内存 本文基于 Databasus 仓库中的架构决策记录 A数据库灾备Databasus Docker 存储兼容性规范详解用真实容器文件系统测试覆盖每一种挂载布局Databasus Docker 存储兼容性规范详解用真实容器文件系统测试覆盖每一种挂载布局 本文围绕 Databasus 仓库中归档的 OpenSpec 需数据库灾备单容器架构Databasus 如何将 PostgreSQL 内嵌进应用镜像ADR-0003 架构决策解析单容器架构Databasus 如何将 PostgreSQL 内嵌进应用镜像ADR 0003 架构决策解析 本文围绕仓库架构决策记录 ADR 0003Em数据库灾备上一篇OpenYurt云边网络通信揭秘Raven组件如何解决跨公网连接难题下一篇探索高效开发新境界Dein.Vim——一款现代化的 Vim 插件管理器创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考