集成测试包括 3 个模块:测试用例、测试环境以及测试引擎。
用于定义待测试的 SQL 以及测试结果的断言数据。 每个用例定义一条 SQL,SQL 可定义多种数据库执行类型。
用于搭建运行测试用例的数据库和 ShardingSphere-Proxy 环境。 环境又具体分为环境准备方式,数据库类型和场景。
环境准备方式分为 Native 和 Docker,未来还将增加 Embed 类型的支持。
当前默认采用 Docker 环境,使用 Testcontainer 创建运行时环境并执行测试用例。 未来将采用 Embed 环境的 ShardingSphere-JDBC + MySQL,替换 Native 执行测试用例的默认环境类型。
数据库类型目前支持 MySQL、PostgreSQL、SQLServer 和 Oracle,并且可以支持使用 ShardingSphere-JDBC 或是使用 ShardingSphere-Proxy 执行测试用例。
场景用于对 ShardingSphere 支持规则进行测试,目前支持数据分片和读写分离的相关场景,未来会不断完善场景的组合。
用于批量读取测试用例,并逐条执行和断言测试结果。
测试引擎通过将用例和环境进行排列组合,以达到用最少的用例测试尽可能多场景的目的。
每条 SQL 会以 数据库类型 * 接入端类型 * SQL 执行模式 * JDBC 执行模式 * 场景
的组合方式生成测试报告,目前各个维度的支持情况如下:
因此,1 条 SQL 会驱动:数据库类型(5) * 接入端类型(2) * SQL 执行模式(2) * JDBC 执行模式(2) * 场景(4) = 160
个测试用例运行,以达到项目对于高质量的追求。
模块路径:test/e2e/sql
SQL 用例在 resources/cases/${SQL-TYPE}/${SQL-TYPE}-integration-test-cases.xml
。
用例文件格式如下:
<integration-test-cases>
<test-case sql="${SQL}">
<assertion parameters="${value_1}:${type_1}, ${value_2}:${type_2}" expected-data-file="${dataset_file_1}.xml" />
<!-- ... more assertions -->
<assertion parameters="${value_3}:${type_3}, ${value_4}:${type_4}" expected-data-file="${dataset_file_2}.xml" />
</test-case>
<!-- ... more test cases -->
</integration-test-cases>
expected-data-file
的查找规则是:
dataset\${SCENARIO_NAME}\${DATABASE_TYPE}\${dataset_file}.xml
文件;dataset\${SCENARIO_NAME}\${dataset_file}.xml
文件;dataset\${dataset_file}.xml
文件;断言文件格式如下:
<dataset>
<metadata>
<column name="column_1" />
<!-- ... more columns -->
<column name="column_n" />
</metadata>
<row values="value_01, value_02" />
<!-- ... more rows -->
<row values="value_n1, value_n2" />
</dataset>
e2e operation 为 E2E 测试,并不包含
这类断言
${SCENARIO-TYPE}
表示场景名称,在测试引擎运行中用于标识唯一场景。
${DATABASE-TYPE}
表示数据库类型。
目录:src/test/resources/env/scenario/${SCENARIO-TYPE}
scenario-env.properties
: 数据源配置;rules.yaml
: 规则配置;databases.xml
: 真实库名称;dataset.xml
: 初始化数据;init-sql\${DATABASE-TYPE}\init.sql
: 初始化数据库表结构;authority.xml
: 待补充。目录:src/test/resources/env/${SCENARIO-TYPE}
proxy/conf/database-${SCENARIO-TYPE}.yaml
: 规则配置。Docker 环境配置为 ShardingSphere-Proxy 提供了远程调试端口,可以在 test/e2e/fixture/src/test/assembly/bin/start.sh
文件的 JAVA_OPTS
中找到第 2 个暴露的端口用于远程调试。
通过配置 src/test/resources/env/engine-env.properties
控制测试引擎。
所有的属性值都可以通过 Maven 命令行 -D
的方式动态注入。
# 运行模式,多个值可用逗号分隔。可选值:Standalone, Cluster
it.run.modes=Cluster
# 场景类型,多个值可用逗号分隔。可选值:db, tbl, dbtbl_with_replica_query, replica_query
it.scenarios=db,tbl,dbtbl_with_replica_query,replica_query
# 是否运行附加测试用例
it.run.additional.cases=false
# 配置环境类型,只支持单值。可选值:docker或空,默认值:空
it.cluster.env.type=${it.env}
# 待测试的接入端类型,多个值可用逗号分隔。可选值:jdbc, proxy, 默认值:jdbc
it.cluster.adapters=jdbc
# 场景类型,多个值可用逗号分隔。可选值:H2, MySQL, Oracle, SQLServer, PostgreSQL
it.cluster.databases=H2,MySQL,Oracle,SQLServer,PostgreSQL
标准测试引擎
运行 org.apache.shardingsphere.test.integration.engine.${SQL-TYPE}.General${SQL-TYPE}E2EIT
以启动不同 SQL 类型的测试引擎。
批量测试引擎
运行 org.apache.shardingsphere.test.integration.engine.dml.BatchDMLE2EIT
,以启动为 DML 语句提供的测试 addBatch()
的批量测试引擎。
附加测试引擎
运行 org.apache.shardingsphere.test.integration.engine.${SQL-TYPE}.Additional${SQL-TYPE}E2EIT
以启动使用更多 JDBC 方法调用的测试引擎。
附加测试引擎需要通过设置 it.run.additional.cases=true
开启。
./mvnw -B clean install -f test/e2e/pom.xml -Pit.env.docker -Dit.cluster.adapters=proxy,jdbc -Dit.scenarios=${scenario_name_1,scenario_name_2,scenario_name_n} -Dit.cluster.databases=MySQL
运行以上命令会构建出一个用于集成测试的 Docker 镜像 apache/shardingsphere-proxy-test:latest
。
如果仅修改了测试代码,可以复用已有的测试镜像,无须重新构建。使用以下命令可以跳过镜像构建,直接运行集成测试:
./mvnw -B clean install -f test/e2e/sql/pom.xml -Pit.env.docker -Dit.cluster.adapters=proxy,jdbc -Dit.scenarios=${scenario_name_1,scenario_name_2,scenario_name_n} -Dit.cluster.databases=MySQL
首先修改要测试模块的配置文件 it-env.properties,将 function.it.env.type 设置为 docker
;设置对应的数据库镜像版本,例如 transaction.it.docker.mysql.version=mysql:5.7
。
其次通过命令生成测试镜像,例如:
# for operation, replace ${operation} with transaction、pipeline or showprocesslist
./mvnw -B clean install -am -pl test/e2e/operation/${operation} -Pit.env.docker -DskipTests
# for e2e sql
./mvnw -B clean install -am -pl test/e2e/sql -Pit.env.docker -DskipTests -Dspotless.apply.skip=true
E2E 测试的 Proxy 镜像默认开启了 3308 端口用于远程调试容器中的实例。
使用 IDEA 等 IDE 工具可以通过如下方式连接并 debug 容器中的 Proxy 代码:
IDEA -> Run -> Edit Configurations -> Add New Configuration -> Remote JVM Debug
编辑对应的信息:
编辑好上面的信息后,在 IDEA 中 Run -> Run -> e2e-debug 即可启动 IDEA 的远程 debug。
注意:如果通过 Testcontainer 启动 Proxy 容器,由于 Testcontainer 启动前 3308 端口还没有暴露出来,无法通过
远程调试通过镜像启动的 Proxy
方式进行 debug。 可以通过如下方式 debug Testcontainer 启动的 Proxy 容器:
containerComposer.start();
后面的一行打断点,此时相关容器一定已经启动。((ShardingSphereProxyClusterContainer)((java.util.LinkedList)((ITContainers)((ClusterContainerComposer)containerComposer).containers).dockerContainers).getLast()).getMappedPort(3308)
获取到映射的对外随机端口为 51837。(或者通过命令 docker ps
查看)远程调试通过镜像启动的 Proxy
中的方式,将 Remote JVM Debug 配置中的 Port 设置为上一步中获取到的端口,例如 51837。编辑好上面的信息后,在 IDEA 中 Run -> Run -> e2e-debug -> debug 即可启动 IDEA 的远程 debug。