Java配置
配置示例
数据分片
以下配置中DataSourceUtil的实现为DataSourceUtil,ModuloShardingTableAlgorithm 类需用户自定义实现,详细例子 ModuloShardingTableAlgorithm
DataSource getShardingDataSource() throws SQLException {
ShardingRuleConfiguration shardingRuleConfig = new ShardingRuleConfiguration();
shardingRuleConfig.getTableRuleConfigs().add(getOrderTableRuleConfiguration());
shardingRuleConfig.getTableRuleConfigs().add(getOrderItemTableRuleConfiguration());
shardingRuleConfig.getBindingTableGroups().add("t_order, t_order_item");
shardingRuleConfig.getBroadcastTables().add("t_config");
shardingRuleConfig.setDefaultDatabaseShardingStrategyConfig(new InlineShardingStrategyConfiguration("user_id", "ds${user_id % 2}"));
shardingRuleConfig.setDefaultTableShardingStrategyConfig(new StandardShardingStrategyConfiguration("order_id", new ModuloShardingTableAlgorithm()));
return ShardingDataSourceFactory.createDataSource(createDataSourceMap(), shardingRuleConfig, new Properties());
}
private static KeyGeneratorConfiguration getKeyGeneratorConfiguration() {
KeyGeneratorConfiguration result = new KeyGeneratorConfiguration("SNOWFLAKE", "order_id");
return result;
}
TableRuleConfiguration getOrderTableRuleConfiguration() {
TableRuleConfiguration result = new TableRuleConfiguration("t_order", "ds${0..1}.t_order${0..1}");
result.setKeyGeneratorConfig(getKeyGeneratorConfiguration());
return result;
}
TableRuleConfiguration getOrderItemTableRuleConfiguration() {
TableRuleConfiguration result = new TableRuleConfiguration("t_order_item", "ds${0..1}.t_order_item${0..1}");
return result;
}
Map<String, DataSource> createDataSourceMap() {
Map<String, DataSource> result = new HashMap<>();
result.put("ds0", DataSourceUtil.createDataSource("ds0"));
result.put("ds1", DataSourceUtil.createDataSource("ds1"));
return result;
}
读写分离
DataSource getMasterSlaveDataSource() throws SQLException {
MasterSlaveRuleConfiguration masterSlaveRuleConfig = new MasterSlaveRuleConfiguration("ds_master_slave", "ds_master", Arrays.asList("ds_slave0", "ds_slave1"));
return MasterSlaveDataSourceFactory.createDataSource(createDataSourceMap(), masterSlaveRuleConfig, new Properties());
}
Map<String, DataSource> createDataSourceMap() {
Map<String, DataSource> result = new HashMap<>();
result.put("ds_master", DataSourceUtil.createDataSource("ds_master"));
result.put("ds_slave0", DataSourceUtil.createDataSource("ds_slave0"));
result.put("ds_slave1", DataSourceUtil.createDataSource("ds_slave1"));
return result;
}
数据脱敏
DataSource getEncryptDataSource() throws SQLException {
return EncryptDataSourceFactory.createDataSource(DataSourceUtil.createDataSource("demo_ds"), getEncryptRuleConfiguration(), new Properties());
}
private static EncryptRuleConfiguration getEncryptRuleConfiguration() {
Properties props = new Properties();
props.setProperty("aes.key.value", "123456");
EncryptorRuleConfiguration encryptorConfig = new EncryptorRuleConfiguration("AES", props);
EncryptColumnRuleConfiguration columnConfig = new EncryptColumnRuleConfiguration("plain_pwd", "cipher_pwd", "", "aes");
EncryptTableRuleConfiguration tableConfig = new EncryptTableRuleConfiguration(Collections.singletonMap("pwd", columnConfig));
EncryptRuleConfiguration encryptRuleConfig = new EncryptRuleConfiguration();
encryptRuleConfig.getEncryptors().put("aes", encryptorConfig);
encryptRuleConfig.getTables().put("t_encrypt", tableConfig);
return encryptRuleConfig;
}
数据分片 + 读写分离
DataSource getDataSource() throws SQLException {
ShardingRuleConfiguration shardingRuleConfig = new ShardingRuleConfiguration();
shardingRuleConfig.getTableRuleConfigs().add(getOrderTableRuleConfiguration());
shardingRuleConfig.getTableRuleConfigs().add(getOrderItemTableRuleConfiguration());
shardingRuleConfig.getBindingTableGroups().add("t_order, t_order_item");
shardingRuleConfig.getBroadcastTables().add("t_config");
shardingRuleConfig.setDefaultDatabaseShardingStrategyConfig(new StandardShardingStrategyConfiguration("user_id", new PreciseModuloShardingDatabaseAlgorithm()));
shardingRuleConfig.setDefaultTableShardingStrategyConfig(new StandardShardingStrategyConfiguration("order_id", new PreciseModuloShardingTableAlgorithm()));
shardingRuleConfig.setMasterSlaveRuleConfigs(getMasterSlaveRuleConfigurations());
return ShardingDataSourceFactory.createDataSource(createDataSourceMap(), shardingRuleConfig, new Properties());
}
private static KeyGeneratorConfiguration getKeyGeneratorConfiguration() {
KeyGeneratorConfiguration result = new KeyGeneratorConfiguration("SNOWFLAKE", "order_id");
return result;
}
TableRuleConfiguration getOrderTableRuleConfiguration() {
TableRuleConfiguration result = new TableRuleConfiguration("t_order", "ds_${0..1}.t_order_${[0, 1]}");
result.setKeyGeneratorConfig(getKeyGeneratorConfiguration());
return result;
}
TableRuleConfiguration getOrderItemTableRuleConfiguration() {
TableRuleConfiguration result = new TableRuleConfiguration("t_order_item", "ds_${0..1}.t_order_item_${[0, 1]}");
return result;
}
List<MasterSlaveRuleConfiguration> getMasterSlaveRuleConfigurations() {
MasterSlaveRuleConfiguration masterSlaveRuleConfig1 = new MasterSlaveRuleConfiguration("ds_0", "demo_ds_master_0", Arrays.asList("demo_ds_master_0_slave_0", "demo_ds_master_0_slave_1"));
MasterSlaveRuleConfiguration masterSlaveRuleConfig2 = new MasterSlaveRuleConfiguration("ds_1", "demo_ds_master_1", Arrays.asList("demo_ds_master_1_slave_0", "demo_ds_master_1_slave_1"));
return Lists.newArrayList(masterSlaveRuleConfig1, masterSlaveRuleConfig2);
}
Map<String, DataSource> createDataSourceMap() {
final Map<String, DataSource> result = new HashMap<>();
result.put("demo_ds_master_0", DataSourceUtil.createDataSource("demo_ds_master_0"));
result.put("demo_ds_master_0_slave_0", DataSourceUtil.createDataSource("demo_ds_master_0_slave_0"));
result.put("demo_ds_master_0_slave_1", DataSourceUtil.createDataSource("demo_ds_master_0_slave_1"));
result.put("demo_ds_master_1", DataSourceUtil.createDataSource("demo_ds_master_1"));
result.put("demo_ds_master_1_slave_0", DataSourceUtil.createDataSource("demo_ds_master_1_slave_0"));
result.put("demo_ds_master_1_slave_1", DataSourceUtil.createDataSource("demo_ds_master_1_slave_1"));
return result;
}
数据分片 + 数据脱敏
public DataSource getDataSource() throws SQLException {
ShardingRuleConfiguration shardingRuleConfig = new ShardingRuleConfiguration();
shardingRuleConfig.getTableRuleConfigs().add(getOrderTableRuleConfiguration());
shardingRuleConfig.getTableRuleConfigs().add(getOrderItemTableRuleConfiguration());
shardingRuleConfig.getTableRuleConfigs().add(getOrderEncryptTableRuleConfiguration());
shardingRuleConfig.getBindingTableGroups().add("t_order, t_order_item");
shardingRuleConfig.setDefaultDatabaseShardingStrategyConfig(new InlineShardingStrategyConfiguration("user_id", "demo_ds_${user_id % 2}"));
shardingRuleConfig.setDefaultTableShardingStrategyConfig(new StandardShardingStrategyConfiguration("order_id", new PreciseModuloShardingTableAlgorithm()));
shardingRuleConfig.setEncryptRuleConfig(getEncryptRuleConfiguration());
return ShardingDataSourceFactory.createDataSource(createDataSourceMap(), shardingRuleConfig, new Properties());
}
private static TableRuleConfiguration getOrderTableRuleConfiguration() {
TableRuleConfiguration result = new TableRuleConfiguration("t_order", "demo_ds_${0..1}.t_order_${[0, 1]}");
result.setKeyGeneratorConfig(getKeyGeneratorConfiguration());
return result;
}
private static TableRuleConfiguration getOrderItemTableRuleConfiguration() {
TableRuleConfiguration result = new TableRuleConfiguration("t_order_item", "demo_ds_${0..1}.t_order_item_${[0, 1]}");
result.setEncryptorConfig(new EncryptorConfiguration("MD5", "status", new Properties()));
return result;
}
private static EncryptRuleConfiguration getEncryptRuleConfiguration() {
Properties props = new Properties();
props.setProperty("aes.key.value", "123456");
EncryptorRuleConfiguration encryptorConfig = new EncryptorRuleConfiguration("AES", props);
EncryptColumnRuleConfiguration columnConfig = new EncryptColumnRuleConfiguration("plain_order", "cipher_order", "", "aes");
EncryptTableRuleConfiguration tableConfig = new EncryptTableRuleConfiguration(Collections.singletonMap("order_id", columnConfig));
EncryptRuleConfiguration encryptRuleConfig = new EncryptRuleConfiguration();
encryptRuleConfig.getEncryptors().put("aes", encryptorConfig);
encryptRuleConfig.getTables().put("t_order", tableConfig);
return encryptRuleConfig;
}
private static Map<String, DataSource> createDataSourceMap() {
Map<String, DataSource> result = new HashMap<>();
result.put("demo_ds_0", DataSourceUtil.createDataSource("demo_ds_0"));
result.put("demo_ds_1", DataSourceUtil.createDataSource("demo_ds_1"));
return result;
}
private static KeyGeneratorConfiguration getKeyGeneratorConfiguration() {
return new KeyGeneratorConfiguration("SNOWFLAKE", "order_id", new Properties());
}
治理
DataSource getDataSource() throws SQLException {
// OrchestrationShardingDataSourceFactory 可替换成 OrchestrationMasterSlaveDataSourceFactory 或 OrchestrationEncryptDataSourceFactory
return OrchestrationShardingDataSourceFactory.createDataSource(
createDataSourceMap(), createShardingRuleConfig(), new HashMap<String, Object>(), new Properties(),
new OrchestrationConfiguration(createCenterConfigurationMap()));
}
private Map<String, CenterConfiguration> createCenterConfigurationMap() {
Map<String, CenterConfiguration> instanceConfigurationMap = new HashMap<String, CenterConfiguration>();
CenterConfiguration config = createCenterConfiguration();
instanceConfigurationMap.put("orchestration-sharding-data-source", config);
return instanceConfigurationMap;
}
private CenterConfiguration createCenterConfiguration() {
Properties properties = new Properties();
properties.setProperty("overwrite", overwrite);
CenterConfiguration result = new CenterConfiguration("zookeeper", properties);
result.setServerLists("localhost:2181");
result.setNamespace("sharding-sphere-orchestration");
result.setOrchestrationType("registry_center,config_center");
return result;
}
配置项说明
数据分片
ShardingDataSourceFactory
数据分片的数据源创建工厂。
名称 |
数据类型 |
说明 |
dataSourceMap |
Map<String, DataSource> |
数据源配置 |
shardingRuleConfig |
ShardingRuleConfiguration |
数据分片配置规则 |
props (?) |
Properties |
属性配置 |
ShardingRuleConfiguration
分片规则配置对象。
名称 |
数据类型 |
说明 |
tableRuleConfigs |
Collection<TableRuleConfiguration> |
分片规则列表 |
bindingTableGroups (?) |
Collection<String> |
绑定表规则列表 |
broadcastTables (?) |
Collection<String> |
广播表规则列表 |
defaultDataSourceName (?) |
String |
未配置分片规则的表将通过默认数据源定位 |
defaultDatabaseShardingStrategyConfig (?) |
ShardingStrategyConfiguration |
默认分库策略 |
defaultTableShardingStrategyConfig (?) |
ShardingStrategyConfiguration |
默认分表策略 |
defaultKeyGeneratorConfig (?) |
KeyGeneratorConfiguration |
默认自增列值生成器配置,缺省将使用org.apache.shardingsphere.core.keygen.generator.impl.SnowflakeKeyGenerator |
masterSlaveRuleConfigs (?) |
Collection<MasterSlaveRuleConfiguration> |
读写分离规则,缺省表示不使用读写分离 |
TableRuleConfiguration
表分片规则配置对象。
名称 |
数据类型 |
说明 |
logicTable |
String |
逻辑表名称 |
actualDataNodes (?) |
String |
由数据源名 + 表名组成,以小数点分隔。多个表以逗号分隔,支持inline表达式。缺省表示使用已知数据源与逻辑表名称生成数据节点,用于广播表(即每个库中都需要一个同样的表用于关联查询,多为字典表)或只分库不分表且所有库的表结构完全一致的情况 |
databaseShardingStrategyConfig (?) |
ShardingStrategyConfiguration |
分库策略,缺省表示使用默认分库策略 |
tableShardingStrategyConfig (?) |
ShardingStrategyConfiguration |
分表策略,缺省表示使用默认分表策略 |
keyGeneratorConfig (?) |
KeyGeneratorConfiguration |
自增列值生成器配置,缺省表示使用默认自增主键生成器 |
encryptorConfiguration (?) |
EncryptorConfiguration |
加解密生成器配置 |
StandardShardingStrategyConfiguration
ShardingStrategyConfiguration的实现类,用于单分片键的标准分片场景。
名称 |
数据类型 |
说明 |
shardingColumn |
String |
分片列名称 |
preciseShardingAlgorithm |
PreciseShardingAlgorithm |
精确分片算法,用于=和IN |
rangeShardingAlgorithm (?) |
RangeShardingAlgorithm |
范围分片算法,用于BETWEEN |
ComplexShardingStrategyConfiguration
ShardingStrategyConfiguration的实现类,用于多分片键的复合分片场景。
名称 |
数据类型 |
说明 |
shardingColumns |
String |
分片列名称,多个列以逗号分隔 |
shardingAlgorithm |
ComplexKeysShardingAlgorithm |
复合分片算法 |
InlineShardingStrategyConfiguration
ShardingStrategyConfiguration的实现类,用于配置行表达式分片策略。
名称 |
数据类型 |
说明 |
shardingColumn |
String |
分片列名称 |
algorithmExpression |
String |
分片算法行表达式,需符合groovy语法,详情请参考行表达式 |
HintShardingStrategyConfiguration
ShardingStrategyConfiguration的实现类,用于配置Hint方式分片策略。
名称 |
数据类型 |
说明 |
shardingAlgorithm |
HintShardingAlgorithm |
Hint分片算法 |
NoneShardingStrategyConfiguration
ShardingStrategyConfiguration的实现类,用于配置不分片的策略。
KeyGeneratorConfiguration
名称 |
数据类型 |
说明 |
column |
String |
自增列名称 |
type |
String |
自增列值生成器类型,可自定义或选择内置类型:SNOWFLAKE/UUID |
props |
Properties |
自增列值生成器的相关属性配置 |
Properties
属性配置项,可以为以下自增列值生成器的属性。
SNOWFLAKE
名称 |
数据类型 |
说明 |
worker.id (?) |
long |
工作机器唯一id,默认为0 |
max.tolerate.time.difference.milliseconds (?) |
long |
最大容忍时钟回退时间,单位:毫秒。默认为10毫秒 |
max.vibration.offset (?) |
int |
最大抖动上限值,范围[0, 4096),默认为1。注:若使用此算法生成值作分片值,建议配置此属性。此算法在不同毫秒内所生成的key取模2^n (2^n一般为分库或分表数) 之后结果总为0或1。为防止上述分片问题,建议将此属性值配置为(2^n)-1 |
EncryptRuleConfiguration
名称 |
数据类型 |
说明 |
encryptors |
Map<String, EncryptorRuleConfiguration> |
加解密器配置列表,可自定义或选择内置类型:MD5/AES |
tables |
Map<String, EncryptTableRuleConfiguration> |
加密表配置列表 |
EncryptorRuleConfiguration
名称 |
数据类型 |
说明 |
type |
String |
加解密器类型,可自定义或选择内置类型:MD5/AES |
properties |
Properties |
属性配置, 注意:使用AES加密器,需要配置AES加密器的KEY属性:aes.key.value |
EncryptTableRuleConfiguration
名称 |
数据类型 |
说明 |
tables |
Map<String, EncryptColumnRuleConfiguration> |
加密列配置列表 |
EncryptColumnRuleConfiguration
名称 |
数据类型 |
说明 |
plainColumn |
String |
存储明文的字段 |
cipherColumn |
String |
存储密文的字段 |
assistedQueryColumn |
String |
辅助查询字段,针对ShardingQueryAssistedEncryptor类型的加解密器进行辅助查询 |
encryptor |
String |
加解密器名字 |
Properties
属性配置项,可以为以下属性。
名称 |
数据类型 |
说明 |
sql.show (?) |
boolean |
是否开启SQL显示,默认值: false |
executor.size (?) |
int |
工作线程数量,默认值: CPU核数 |
max.connections.size.per.query (?) |
int |
每个物理数据库为每次查询分配的最大连接数量。默认值: 1 |
check.table.metadata.enabled (?) |
boolean |
是否在启动时检查分表元数据一致性,默认值: false |
query.with.cipher.column (?) |
boolean |
当存在明文列时,是否使用密文列查询,默认值: true |
allow.range.query.with.inline.sharding (?) |
boolean |
当使用inline分表策略时,是否允许范围查询,默认值: false |
读写分离
MasterSlaveDataSourceFactory
读写分离的数据源创建工厂。
名称 |
数据类型 |
说明 |
dataSourceMap |
Map<String, DataSource> |
数据源与其名称的映射 |
masterSlaveRuleConfig |
MasterSlaveRuleConfiguration |
读写分离规则 |
props (?) |
Properties |
属性配置 |
MasterSlaveRuleConfiguration
读写分离规则配置对象。
名称 |
数据类型 |
说明 |
name |
String |
读写分离数据源名称 |
masterDataSourceName |
String |
主库数据源名称 |
slaveDataSourceNames |
Collection<String> |
从库数据源名称列表 |
loadBalanceAlgorithm (?) |
MasterSlaveLoadBalanceAlgorithm |
从库负载均衡算法 |
Properties
属性配置项,可以为以下属性。
名称 |
数据类型 |
说明 |
sql.show (?) |
boolean |
是否打印SQL解析和改写日志,默认值: false |
executor.size (?) |
int |
用于SQL执行的工作线程数量,为零则表示无限制。默认值: 0 |
max.connections.size.per.query (?) |
int |
每个物理数据库为每次查询分配的最大连接数量。默认值: 1 |
check.table.metadata.enabled (?) |
boolean |
是否在启动时检查分表元数据一致性,默认值: false |
数据脱敏
EncryptDataSourceFactory
名称 |
数据类型 |
说明 |
dataSource |
DataSource |
数据源,任意连接池 |
encryptRuleConfig |
EncryptRuleConfiguration |
数据脱敏规则 |
props (?) |
Properties |
属性配置 |
EncryptRuleConfiguration
名称 |
数据类型 |
说明 |
encryptors |
Map<String, EncryptorRuleConfiguration> |
加解密器配置列表,可自定义或选择内置类型:MD5/AES |
tables |
Map<String, EncryptTableRuleConfiguration> |
加密表配置列表 |
Properties
属性配置项,可以为以下属性。
名称 |
数据类型 |
说明 |
sql.show (?) |
boolean |
是否开启SQL显示,默认值: false |
query.with.cipher.column (?) |
boolean |
当存在明文列时,是否使用密文列查询,默认值: true |
治理
OrchestrationShardingDataSourceFactory
数据分片 + 治理的数据源工厂。
名称 |
数据类型 |
说明 |
dataSourceMap |
Map<String, DataSource> |
同ShardingDataSourceFactory |
shardingRuleConfig |
ShardingRuleConfiguration |
同ShardingDataSourceFactory |
props (?) |
Properties |
同ShardingDataSourceFactory |
orchestrationConfig |
OrchestrationConfiguration |
治理规则配置 |
OrchestrationMasterSlaveDataSourceFactory
读写分离 + 治理的数据源工厂。
名称 |
数据类型 |
说明 |
dataSourceMap |
Map<String, DataSource> |
同MasterSlaveDataSourceFactory |
masterSlaveRuleConfig |
MasterSlaveRuleConfiguration |
同MasterSlaveDataSourceFactory |
props (?) |
Properties |
同ShardingDataSourceFactory |
orchestrationConfig |
OrchestrationConfiguration |
治理规则配置 |
OrchestrationEncryptDataSourceFactory
数据脱敏 + 治理的数据源工厂。
名称 |
数据类型 |
说明 |
dataSource |
DataSource |
同EncryptDataSourceFactory |
encryptRuleConfig |
EncryptRuleConfiguration |
同EncryptDataSourceFactory |
props (?) |
Properties |
同ShardingDataSourceFactory |
orchestrationConfig |
OrchestrationConfiguration |
治理规则配置 |
OrchestrationConfiguration
治理规则配置对象。
名称 |
数据类型 |
说明 |
instanceConfigurationMap |
Map<String, CenterConfiguration> |
配置中心和注册中心的配置map,key为名称,value为配置或注册中心 |
CenterConfiguration
用于配置配置中心或注册中心。
名称 |
数据类型 |
说明 |
type |
String |
配置中心或注册中心的实例类型,例如zookeeper或etcd、apollo、nacos |
properties |
String |
配置本实例需要的其他参数,例如zookeeper的连接参数等,具体参考properties配置 |
orchestrationType |
String |
配置中心或注册中心的类型,例如config-center或registry-center,如果都是,可以"setOrchestrationType(“registry_center,config_center”);” |
serverLists |
String |
连接配置中心或注册中心服务器的列表,包括IP地址和端口号,多个地址用逗号分隔。如: host1:2181,host2:2181 |
namespace (?) |
String |
配置中心或注册中心的命名空间 |
其中properties的通用配置如下:
名称 |
数据类型 |
说明 |
overwrite |
boolean |
本地配置是否覆盖注册中心配置,如果可覆盖,每次启动都以本地配置为准 |
如果采用了zookeeper作为配置中心或(和)注册中心,那么properties还可以配置:
名称 |
数据类型 |
说明 |
digest (?) |
String |
连接注册中心的权限令牌。缺省为不需要权限验证 |
operationTimeoutMilliseconds (?) |
int |
操作超时的毫秒数,默认500毫秒 |
maxRetries (?) |
int |
连接失败后的最大重试次数,默认3次 |
retryIntervalMilliseconds (?) |
int |
重试间隔毫秒数,默认500毫秒 |
timeToLiveSeconds (?) |
int |
临时节点存活秒数,默认60秒 |
如果采用了etcd作为配置中心或(和)注册中心,那么properties还可以配置:
名称 |
数据类型 |
说明 |
timeToLiveSeconds (?) |
long |
TTL时间,单位为秒,默认30秒 |
如果采用了apollo作为配置中心,那么properties还可以配置:
名称 |
数据类型 |
说明 |
appId (?) |
String |
apollo appId,默认值为"APOLLO_SHARDINGSPHERE” |
env (?) |
String |
apollo env,默认值为"DEV” |
clusterName (?) |
String |
apollo clusterName,默认值为"default” |
administrator (?) |
String |
apollo administrator,默认值为”” |
token (?) |
String |
apollo token,默认值为”” |
portalUrl (?) |
String |
apollo portalUrl,默认值为”” |
connectTimeout (?) |
int |
apollo connectTimeout,默认值为1000毫秒 |
readTimeout (?) |
int |
apollo readTimeout,默认值为5000毫秒 |
如果采用了nacos作为配置中心,那么properties还可以配置:
名称 |
数据类型 |
说明 |
group (?) |
String |
nacos group配置,默认值为"SHARDING_SPHERE_DEFAULT_GROUP” |
timeout (?) |
long |
nacos 获取数据超时时间,单位为毫秒,默认值为3000毫秒 |