工程化实践：SQL版本化后的持续集成测试

小半 • 2023年1月8日下午10:03 • 技术随笔 • 阅读 168

注：文尾有代码样例链接

背景

长时间以来，我们团队基于Flyway的约定方式来管理SQL，即通过文件名的前缀来区分当前的DB中的schema的版本。如下图：

这些文件被存储在Git仓库中。任何希望对schema进行修改的人，都可以提MR。

但是，时间长了，reviewer无法通过大脑来判断MR中的SQL能否在实际的环境成功执行。所以，我决定实现SQL的持续集成测试。

工具列表

构建工具：Bazel。

数据库的启动与初始化实现：testcontainers

虽然基于maven就可以实现本文所说的功能，但是由于我正在学习Bazel，所以，决定使用Bazel实现。

具体步骤

步骤1：准备存放SQL的git仓库

当前的目录结构：

sqls目录：存放SQL；
MainTest.java：通过testContainers启动一个PostgreSQL数据库，并执行flyway；
BUILD.bazel：构建逻辑；
WORKSPACE：Bazel的工作空间定义。

MainTest代码如下：

@ClassRule
    public static PostgreSQLContainer postgreSQLContainer
= new PostgreSQLContainer("postgres:12.8")
            .withDatabaseName("integration-tests-db")
            .withUsername("sa")
            .withPassword("sa");
    @Test
    public void testMain() {
        Flyway flyway = Flyway.configure()
                .locations("sqls")
                .dataSource(postgreSQLContainer.getJdbcUrl(),
                postgreSQLContainer.getUsername(), 
                postgreSQLContainer.getPassword()).load();
        MigrateResult migrate = flyway.migrate();
        Assert.assertEquals(2, migrate.migrationsExecuted);
        Assert.assertTrue(migrate.success);
    }

步骤2：集成到CI平台

我们以Github Actions为例：

name: CI with Bazel
on:
  push:
    branches: [ master ]
  pull_request:
    branches: [ master ]
jobs:
  test_sql:
    runs-on: ubuntu-18.04
    steps:
    - uses: actions/checkout@v2
    - name: Mount bazel cache
      uses: actions/cache@v1
      with:
        path: "/home/runner/.cache/bazel"
        key: bazel
    - name: Setup bazel
      uses: jwlawson/actions-setup-bazel@v1
      with:
        bazel-version: '4.0.0'
    - name: test all
      run: bazel test  //...

部分执行日志：