博文选集
欢迎阅读 Apache ShardingSphere 的精选博文,也欢迎您的投稿!
Apache ShardingSphere 代码格式化实战 —— Spotless
为什么要代码格式化?代码格式化的意义是让代码更加 易读易懂易修改。 ShardingSphere 作为 Apache 顶级开源项目,截止当前已有 380+ 贡献者。因为大部分开发人员的代码风格不一致,在 Github 多人协作的模式下,不易保障项目整体代码格式。 基于以上诉求,ShardingSphere 采用了 Spotless 充当代码格式统一的角色。 什么是 Spotless Spotless 是支持多种语言的代码格式化工具,支持 Maven 和 Gradle 以 Plugin 的形式构建。 Spotless 对开发者来说,有 2 种使用方式:检查代码是否存在格式问题,以及格式化代码。 ShardingSphere 采用 Maven 构建项目,以下若无特殊声明,Spotless 使用 Maven 做演示。 如何使用 下述代码是 Spotless 官方示例。 user@machine repo % mvn spotless:check [ERROR] > The following files had format violations: [ERROR] src\main\java\com\diffplug\gradle\spotless\FormatExtension.java [ERROR] -\t\t····if·(targets.length·==·0)·{ [ERROR] +\t\tif·(targets.length·==·0)·{ [ERROR] Run 'mvn spotless:apply' to fix these violations. user@machine repo % mvn spotless:apply [INFO] BUILD SUCCESS user@machine repo % mvn spotless:check [INFO] BUILD SUCCESS 通过 mvn spotless:check 检查项目代码时发现错误,接着使用 mvn spotless:apply 进行代码格式化;再次检查时,格式化错误消失。
ShardingSphere-Proxy:从实际场景出发,快速上手
本篇文章主要从项目中实际场景出发,讲解分库分表等功能在日常运维中遇到的问题,以及 ShardingSphere-Proxy 对应的解决方案,版本号:v5.1.0。 如无特别声明,以下示例中的数据库指 MySQL。 这个项目做什么 ShardingSphere-Proxy,可以让用户像使用原生数据库一样使用 Apache ShardingSphere。 了解一项技术的开始,一般从官网开始。先来看一看官网对 ShardingSphere-Proxy 的定义是什么样的: 定位为透明化的数据库代理端,提供封装了数据库二进制协议的服务端版本,用于完成对异构语言的支持。 目前提供 MySQL 和 PostgreSQL(兼容 openGauss 等基于 PostgreSQL 的数据库)版本,它可以使用任何兼容 MySQL/PostgreSQL 协议的访问客户端(如:MySQL Command Client, MySQL Workbench, Navicat 等)操作数据,对 DBA 更加友好。 先明确一个概念,ShardingSphere-Proxy 是一个服务进程。从客户端程序连接来说,它和 MySQL 数据库并没有什么区别。 为什么要用 Proxy 在做了分库分表或其他规则的情况下,数据会分散到多个数据库实例上,在管理上难免会有一些不便;或者使用非 Java 语言的开发者,需要 ShardingSphere 所提供的能力…… 以上这些情况,正是 ShardingSphere-Proxy 力所能及之处。 1. Proxy 应用场景 日常工作中,大家使用 ShardingSphere-JDBC 进行分库分表的场景是比较多的。假设你有一张用户表,通过用户 ID 以 Hash 的方式进行了水平分库,那么此时客户端连接数据库的方式是这样: 我们举例工作中真实存在的几个场景: 测试同学想看下用户 ID 123456 的信息在数据库表里情况,需要你提供下用户在哪一张分表; 公司领导需要技术提供一份 2022 年用户的增长总量以及用户信息; 公司举行 8 周年活动,需要技术提供一份注册日期超过 8 周年的活跃老用户名单。 因为数据分库分表后,数据是散落在不同的库表中,对于上述的场景实现并不容易;如果为了实现类似临时需求,每次都需要开发代码,显得有些笨重。这个时候就需要文章主角 ShardingSphere-Proxy 登场了。
Apache ShardingSphere 在京东白条场景的落地之旅
京东白条使用 Apache ShardingSphere 解决了千亿数据存储和扩容的问题,为大促活动奠定了基础。 2014 年初,“京东白条”作为业内互联网信用支付产品,数据量爆发式的增长,每一次大促备战都是对技术人员的考验,每一次的战略转型驱动着数据架构的成长。 –张栋芳,京东白条研发负责人 京东白条数据架构演进史 自 2014 年 2 月京东白条业务上线起,为满足快速发展的业务和激增的海量数据,白条的数据架构经历了数次演进。 2014~2015 Solr + HBase 的方案解决了核心、非核心业务系统对关键数据库的访问问题,Solr 作为被检索字段的索引,HBase 用作全量的数据存储。 通过 Solr 集群分担部分读和写的业务,缓解核心库的压力; Solr 扩展体验上欠佳,对业务也存在较大的入侵。 2015~2016 引入 NoSQL 方案,业务数据以月份进行分表存储在 MongoDB 集群中,阶段性满足了结算处理场景中海量数据导入导出的需求。 查询热点数据效率高,非结构化的存储方式易于修改表结构; 依然面对着扩展差、对业务入侵强的局面,而且耗内存。 2016~2017 随着业务快速发展,数据量突破百亿大关,此时 MongoDB 面临着容量和性能的双重考验。京东白条大数据平台通过 DBRep 以 MySQL Slave 的形式采集变动信息并存储到消息中心,最后落盘到 ES 和 HBase 中。 该方案具有较强的数据实时性,扩展性良好; 基于业务框架的数据分片难以降低代码维护成本。 白条数据架构的演进间接地反应了互联网消费金融的飞速发展,也说明了每一种解决方案在不同背景下都有不同的保质期。 迫在眉睫的架构解耦 为保证业务系统在数据激增情况下始终能保持高效运行,技术团队在设计初期使用了数据分片数据架构,发挥极致性能的同时也兼顾代码的可控性,采用基于应用框架的数据拆分方案完成了数据拆分工作。 但随着产品升级迭代,早期的解决方案演变成为了眼前的问题,通过业务框架实现的数据分片方案导致业务代码复杂度增加、维护成本不断攀升,紧耦合的弊端原形毕露,应用每次升级都需要投入较多的精力对分片做相应调整,研发人员难以专注于业务本身。 面对如上问题,技术团队经权衡后开始考虑使用成熟的分库分表组件来承担这部分工作,让业务系统升级和架构调整不再复杂。基于自研框架分片和基于 ShardingSphere 分片的对比如下: 基于自研框架分片 基于 ShardingSphere 分片 业务入侵程度 高 低 性能 高 高 代码耦合度 高 低 业务入侵程度 高 低 升级难度 高 低 扩展性 一般 良好 下一阶段工作,解耦。
ShardingSphere X Google 编程之夏:同学,开源你怎么看?
Apache ShardingSphere 社区有幸参与 Google 编程之夏(Google Summer of Code, 以下简称 GSoC),指导年轻一代参与开源程序代码设计。GSoC 是 Google 公司主办的年度开源程序设计项目,第一届从 2005 年开始,主要目的是鼓励世界各地的学生参与开放源代码的程序设计。而 Apache ShardingSphere 项目也被选中成为 GSoC 一部分,为学生带来开源软件开发的有趣体验。 Thanoshan 和 Liangda 两位学生在上一届的 GSoC 中积极与 Apache ShardingSphere 导师工作,接受指导,在 GSoC 结束后依旧在 ShardingSphere 项目中积极贡献。 他们欣然接受了我们的采访,分享自己的 GSoC 项目申请经验,谈自己对 Apache ShardingSphere 项目和开源社区的看法,以及个人的未来计划。 <个人简介> Thanoshan 国家:斯里兰卡 院校:斯里兰卡萨巴拉加穆瓦大学 专业:计算机与信息系统 Liangda 国家:德国 院校:曼海姆大学 专业:商业信息学 Q&A Q1: 你们是如何喜欢上软件开发的呢? Thanoshan: 我的专业学位和软件开发有关,不过我个人在上大学之前就对软件开发就非常感兴趣。 Liangda: 应该是受到我所学专业的影响。高中时,我对商业和计算机科学都非常感兴趣,所以我选择了商业信息学专业,这个专业把这两个领域结合在一起了,上大学后,我开始了自己的编程之旅,接触到了软件开发,学习了 Java,C++,Python,还有软件设计模式等知识。 Q2: 为什么选择申请 GSoC? Thanoshan: 在斯里兰卡,我的很多学长学姐都已经参加过了 GSoC,他们建议我去了解一下这个项目机会,积极安利我一定要试试。然后,我搜索了很多这个项目的相关信息,去了解这个项目,并明确如何能够申请这个项目。
openGauss X ShardingSphere,分布式方案的另一种最佳实践
Apache ShardingSphere 持续助力于 openGauss 分布式数据库能力的构建。openGauss 数据库自 2020 年 6 月开源以来,受到了业界的广泛关注,现已吸引众多伙伴、开发者参与其中,共建繁荣的数据库生态。面对如今海量数据,超高并发等诸多场景,openGauss 将目光转向于分布式解决方案,专注于解决海量数据存储、超高并发吞吐、大表瓶颈等众多难题,与 ShardingSphere 一起构建全栈开源分布式解决方案,实现 openGauss 的又一大突破。 分布式解决方案 图1 分布式解决方案整体框图 openGauss 融合了众多开源组件,用以构建集数据水平扩展、分布式事务及治理一体化的全栈开源分布式解决方案,整体框图如图 1 所示。 其中 ShardingSphere-Proxy 为开源分布式解决方案,具有分库、分表、分布式事务、弹性伸缩、读写分离等众多能力; HAProxy 结合 Patroni 的 REST API,可以始终识别数据库的主节点,保证高可用场景,同时可实现负载均衡; 每个 Patroni 高可用节点支持一主多备,每个节点使用 Paxos 协议保证数据的一致性,各个节点可以部署在相同或不同的区域,用以保证多地多中心的数据安全。 本分布式方案运用 ShardingSphere-Proxy 强劲的分布式能力,通过 kubernetes 管理集群,prometheus 监控集群状态,从而构建全栈开源的分布式解决方案。 产品优势 极致扩展能力,灵活扩缩容 计算与存储能力可通过水平拆分实现线性扩展,最高可达数据 6400 分片,性能随扩展准线性增长,可有效解决单表数据量膨胀问题;结合业务流量,灵活平滑进行数据节点的扩缩容,智能读写分离,实现分布式数据库的自动负载均衡。 丰富企业级特性 支持分布式存储过程、触发器,分布式事务,全密态数据加密,WDR 诊断报告,提供丰富的企业级特性。 一键部署,屏蔽底层依赖 标准化镜像确保多环境一致性交付,容器化部署,实现物理资源池化,降低对平台的依赖性,简洁高效,实现应用秒级部署。 超高可用,实现异地容灾 强有力的集群管理、运维能力,支持同城、异地、多地多中心灵活部署,基于 Paxos 协议保证数据的安全及强一致性,提供 RPO=0 的多种容灾能力。 开源开放,构建全栈生态 开源 openGauss 单机及分布式解决方案,鼓励更多伙伴、开发者共同参与其中,共建数据库的繁荣生态,打造全栈开源生态链。
分片利器 AutoTable:为用户带来「管家式」分片配置体验
在《DistSQL:像数据库一样使用 Apache ShardingSphere》一文中,Committer 孟浩然为大家介绍了 DistSQL 的设计初衷和语法体系,并通过实战操作展示了一条 SQL 创建分布式数据库表的强大能力,展现了 Apache ShardingSphere 在新形态下的交互体验。 在前文发布后,小助手陆续收到热心读者的私信,询问使用 DistSQL 配置分片规则的细节,以及使用 YAML、Namespace 等形式的配置时,是否可以像 DistSQL 一样快速方便的完成分布式表的配置和创建?本文将为大家解答这些疑问。 江龙滔 SphereEx 中间件研发工程师,Apache ShardingSphere contributor。目前专注于 ShardingSphere 数据库中间件研发及开源社区建设。 背景 Sharding是 Apache ShardingSphere 的核心特性,也是 ShardingSphere 最被人们熟知的一项能力。在过去,用户若需要进行分库分表,一种典型的实施流程(不含数据迁移)如下: 图1 Sharding 实施流程示意图 在这一过程中,用户需要准确的理解每一张数据表的分片策略、明确的知晓每张表的实际表名和所在数据库,并根据这些信息来配置分片规则。 以上述分库分表场景为例,实际的数据表分布情况可能如下: 图2 8 库 * 4 表分布示意图 痛点 在前述的分库分表场景中,作为 Sharding 功能的用户,必须要对数据表的分布情况了然于心,才能写出正确的 actualDataNodes 规则。如上述 t_order 表对应的分片配置如下: tables: t_order: actualDataNodes: ds_${0..7}.t_order_${0..3} databaseStrategy: standard: shardingColumn: order_id shardingAlgorithmName: database_inline tableStrategy: standard: shardingColumn: order_id shardingAlgorithmName: table_inline shardingAlgorithms: database_inline: type: INLINE props: algorithm-expression: ds_${order_id % 8} table_inline: type: INLINE props: algorithm-expression: t_order_${order_id % 4} 尽管 ShardingSphere 的配置规则已经非常的规范和简洁,但仍有用户在使用中遇到各种麻烦:
易华录 X ShardingSphere|葫芦 App 后台数据处理的逻辑捷径
“ShardingSphere 大大简化了分库分表的开发和维护工作,对于业务的快速上线起到了非常大的支撑作用,保守估计 ShardingSphere 至少为我们节省了 4 个月的研发成本。” ——史墨轩,易华录·技术总监 今年以来,伴随着易华录旗下面向个人用户的云服务产品 【葫芦 App】 正式上线,后台架构所承受的业务压力也与日俱增。 为此,葫芦 App 研发团队选择采用 ShardingSphere 分库分表的功能对数据进行了横向的拆分,围绕 ShardingSphere 灵活敏捷的特性,满足了葫芦 App 业务对数据层扩展性的要求,避免团队重复“造轮子”,最大程度简化了随着业务增长而带来的愈发复杂化的分库分表的开发与维护工作。 从能力扩展到业务上新,葫芦 App 所面临的增长压力 对于数据存算能力的高要求,深深铸在了葫芦 App 技术团队的基因中。 由于葫芦 App 正处于快速成长期,业务和功能的调整需求相对频繁,这就需要后台技术团队能够根据前端业务变化而快速做出适配调整。用户数量和业务所产生的数据体量都在飞速增长的同时,也为后台底层数据库带来了更大的压力。 随着 2020 年 5 月 17 日葫芦 App 的正式上线,用户数据和业务体量也呈现出快速增长的态势,后台数据库不可避免地需要进行多次水平拆分。同时随着业务需求的快速变化,新的挑战也不断随之出现: 能力扩展问题 随着用户量的快速增长以及产品形态的演变,用户数据出现了爆发式增长,过去传统架构的存算能力遭到了极为严峻的挑战,因此葫芦App 对于后端数据处理平台的要求是在具备扩展能力的同时,也要保证一定的灵活性。 效率提升问题 为应对快速多变的业务,葫芦 App 的研发团队需要能够根据业务诉求来进行快速调整,以提升后台架构对业务的适应性,高灵活、易拓展特性的数据架构将能够极大提升团队研发效能。另一方面在大体量数据的影响下,数据库的检索效率难免出现延迟、读写慢等问题,进而会影响到最上层的用户体验。 业务上线问题 功能上新频繁、上线时间提前等是任何一款新产品在上市初期都会遇到的问题,这对研发团队的研发能力提出了极大挑战。此前葫芦团队本计划通过内部研发力量并结合业务情况打造出自己的 Sharding 方案,不过由于时间关系,从方案设计、研发再到方案落地的自研路线已无法走通,因此敲定 Sharding 方案迫在眉睫。 系统稳定问题 在引入新技术的同时,系统稳定性也会面临较大的挑战,尤其是面向底层技术的引用,大多具备一定的平台业务侵入性,在引入后大概率会对业务系统的稳定性产生一定影响。葫芦 App 研发团队需要一款对底层数据库侵入性低、适应期短、稳定性高的数据应用产品。 利用 ShardingSphere 的特性构建灵活高可用的数据架构解决方案 围绕上述的一些诉求,葫芦团队用了 2 周左右时间对 ShardingSphere 及同类解决方案进行了全面评估,综合考虑了如产品功能、成熟度、稳定性、性能等多方面评估指标,最终 ShardingSphere 凭借完善的功能支持程度以及高成熟度,充分满足了葫芦团队的业务诉求。
ShardingSphere 知识库更新 | 官方样例集助你快速上手
Apache ShardingSphere 作为 Apache 顶级项目,是数据库领域最受欢迎的开源项目之一。经过 5 年多的发展,ShardingSphere 已获得超 14K Stars 的关注,270+ 贡献者,建立起了活跃的社区生态。 随着项目的蓬勃发展,版本的不断更迭,Apache ShardingSphere 支持的特性逐渐增多,功能日益强大,配置规则也在不断优化。为了帮助用户更好地理解各项特性和配置规则,方便用户快速测试并运行相关功能组件,找到最佳实现,shardingsphere-example 项目应运而生。 shardingsphere-example 是一个独立的 Maven 项目,位于 Apache ShardingSphere 项目的 examples 目录下。项目地址: https://github.com/apache/shardingsphere/tree/master/examples 江龙滔 SphereEx 中间件研发工程师,Apache ShardingSphere contributor。目前专注于 ShardingSphere 数据库中间件研发及开源社区建设。 侯阳 SphereEx 中间件研发工程师,目前从事 ShardingSphere 数据库中间件研发,热爱开源,希望同大家一起建设更好的社区。 模块详解 shardingsphere-example 项目包含多个模块,将为用户带来水平拆分、读写分离、分布式治理、分布式事务、数据加密、强制路由、影子库等功能的使用及配置样例,覆盖 Java API、YAML、Spring Boot、Spring Namespace 等多种业务常用的接入形态。除了 ShardingSphere-JDBC,shardingsphere-example 中还增加了 ShardingSphere-Proxy 和 ShardingSphere-Parser 的使用案例。 所有涉及到 Apache ShardingSphere 的功能特性、接入场景以及各种灵活的配置方式,都可以在官方的 repo 里找到样例,方便用户查询和参考。下表展示了 shardingsphere-example 的模块分布情况: shardingsphere-example ├── example-core │ ├── config-utility │ ├── example-api │ ├── example-raw-jdbc │ ├── example-spring-jpa │ └── example-spring-mybatis ├── shardingsphere-jdbc-example │ ├── sharding-example │ │ ├── sharding-raw-jdbc-example │ │ ├── sharding-spring-boot-jpa-example │ │ ├── sharding-spring-boot-mybatis-example │ │ ├── sharding-spring-namespace-jpa-example │ │ └── sharding-spring-namespace-mybatis-example │ ├── governance-example │ │ ├── governance-raw-jdbc-example │ │ ├── governance-spring-boot-mybatis-example │ │ └── governance-spring-namespace-mybatis-example │ ├── transaction-example │ │ ├── transaction-2pc-xa-atomikos-raw-jdbc-example │ │ ├── transaction-2pc-xa-bitronix-raw-jdbc-example │ │ ├── transaction-2pc-xa-narayana-raw-jdbc-example │ │ ├── transaction-2pc-xa-spring-boot-example │ │ ├── transaction-2pc-xa-spring-namespace-example │ │ ├── transaction-base-seata-raw-jdbc-example │ │ └── transaction-base-seata-spring-boot-example │ ├── other-feature-example │ │ ├── encrypt-example │ │ │ ├── encrypt-raw-jdbc-example │ │ │ ├── encrypt-spring-boot-mybatis-example │ │ │ └── encrypt-spring-namespace-mybatis-example │ │ ├── hint-example │ │ │ └── hint-raw-jdbc-example │ │ └── shadow-example │ │ │ ├── shadow-raw-jdbc-example │ │ │ ├── shadow-spring-boot-mybatis-example │ │ │ └── shadow-spring-namespace-mybatis-example │ ├── extension-example │ │ └── custom-sharding-algortihm-example ├── shardingsphere-parser-example ├── shardingsphere-proxy-example │ ├── shardingsphere-proxy-boot-mybatis-example │ └── shardingsphere-proxy-hint-example └── src/resources └── manual_schema.sql 1. example-core
趣说开源|学生如何参与开源社区?
现在的开发人员普遍都有开源项目或社区的经验。实际上,除了开发人员外,学生应该而且也越来越愿意参与到开源项目中。如果想知道更多关于为什么应该考虑参与开源项目,请参考“为什么应该加入开源社区[1]”。 可以说,过去的两年里充满了挑战,新冠疫情永远改变了我们,改变了我们贴近和珍视生活的方式,改变了我们的工作方式,改变了我们的社交方式,最终网络研讨会还有在线活动成为新常态。 学生也深受影响。在线学习意味着学生必须再次适应掌握课程内容的方式,同时也必须适应如何在这前所未有的艰难时期找到第一份职业机会或实习岗位,充分利用在线实习并获得宝贵经验已成为学生度过难关的一种选择。Google[2],Anitab[3] 和 ISCAS[4]为学生提供多种在线开源项目和编程马拉松,目的是将世界各地的人联系起来。当然,大部分内容都是免费的,有的甚至为学生和导师提供相应的奖学金和学费。 简而言之,加入开源社区,学生将获益良多: 练习技能 解锁实习机会,收获更多实习经验 与世界各地的伙伴和导师建立联系,交流合作 获得奖学金 下一个问题就是如何利用这些具有吸引力的项目加入开源中? 虽然基本过程大体相同,但不同项目有不同规则,有些规则往往是明确的,即: 选择一个开源项目或与与之相关的合作社区 提交学生加入申请 与导师取得联系 贡献及编程(编程是做出贡献的一种形式,此外还有很多贡献方式) 等待评估 获得最终结果 基于以上步骤,我总结自己在 GSoC[2]、OSD[3] 和Summer Code[4] 的指导经验专门为你们提供一些关键技巧。 选择合适的项目 选择合适的项目我之前提到过,许多组织正在发起开源项目,而这些项目的日程安排不同、任务持续时间不同、要求的资历不同、奖学金条件也不同,因此最好研究不同的项目后,挑一个最适合你的项目。 提前选择一个特定的项目 如果你想要优先入选,千万不要等到官方截止日期才选择一个开源项目,这些项目的委员会通常会选择优秀的开源社区作为合作伙伴为其提供指导。例如,在成为正式的 GSoC 导师之前,我们的社区已经为申请人创建了很多任务,供公开申请[5]。 我们鼓励学生在项目开始前就发表见解,给学生和导师充分的时间去互相了解。也许某个学生可能不是特别合适,但他/她的积极主动给导师留下了深刻印象,导师有可能就会选中他/她。 简明扼要的申请书 项目申请书应该是简明扼要的,而非冗长又不充分的。要做到这一点,建议你参考导师的任务细节(有些导师会详细描述任务,有些则不会),或者直接询问导师的期望和关注点。当涉及到任务或任务目标时,打着一厢情愿的幌子去猜测或行动是准备申请书的方法中最低效的。导师和学生都希望工作能顺利有效地进行,所以不要羞于向导师寻求帮助。 积极联系导师 如果你的申请被接受了,那么下一阶段就是参与其中或开始 coding,这是你产生价值的重要机会。你可能是编码奇才,但是你会遇到一些不确定的问题,或者不确定导师对你的工作有什么看法。此外,你还要考虑到,有些导师负责两三个学生,生活和工作都很忙。话虽如此,我相信你可以切身感受主动联系导师问问题或定期报告进展是非常有益的。如果你只是等待,等到导师想起你,可能已经太迟了,消极等待是行不通的。 微妙的问题 虽然有必要与导师保持密切联系,但你不能成个什么都不懂的巨婴。事先考虑一下你的问题,自己进行调查研究,看看你是否能用批判性思维独立解决问题,或者是向人人信任的朋友—— Google 寻求解答。 如果你做不到的话,导师可能会认为你缺乏分析解决问题的能力,或者更糟的是,认为你不愿意在实践中学习。如果你在研究后仍然感到困惑,那么就准备用专业术语和研究报告向导师咨询。这不仅能确保你得到导师的关注,而且能让导师了解你真的遇到了一些困难,导师就会全心全意的帮助你。我在指导了很多国内外的学生后,可以与大家分享我的以上看法。我真诚地鼓励你们来试试这些有趣而有意义的项目,丰富校园生活,增强技能,扩大朋友圈。最后还有非常重要的一点就是,如果有兴趣加入分布式数据库开源生态系统,我在等你们的加入[6]。 作者 潘娟 | Trista SphereEx 联合创始人、Apache Member、Apache ShardingSphere PMC、Apache brpc(Incubating)及 Apache AGE(Incubating)mentor。曾任京东科技 Senior DBA(高级数据库管理员),负责京东数字科技智能数据库平台的设计开发。现专攻分布式数据库中间件生态系统以及开源社区,获得“2020 中国开源先锋奖”,常受邀在数据库架构领域峰会上进行分享。 Bio: https://tristazero.github.io LinkedIn: https://www.linkedin.com/in/panjuan GitHub: https://github.com/tristaZero
Apache ShardingSphere:由开源驱动的分布式数据库中间件生态
2021 年 7 月 21 日 2021 亚马逊云科技中国峰会现场,SphereEx 联合创始人、Apache ShardingSphere PMC 潘娟受邀参与此次峰会,以《Apache ShardingSphere 分布式数据库中间件开源生态构建》为主题,围绕开源理念扩散、社区建设、ShardingSphere 如何践行 Apache Way 等方面展开了介绍,本文总结自潘娟内容分享。 在数据库之上与业务之下的新生态 一层贴近应用,一层贴近 DataBase。 不同的行业、不同的用户、不同的定位、不同的需求….如今的数据库面临着比过去更加复杂的数据应用场景以及愈发个性化和定制化的数据处理需求。愈发苛刻的生产环境,也在推动着不同的数据库不断将数据读写速度、延时、吞吐量等性能指标发挥到极致。 久而久之,分工明确的数据应用场景逐渐导致了数据库市场的碎片化,且难以出现一款能够完美适配所有场景的数据库。在不同的业务场景下选择不同的数据库,已经成为一种常见的企业选型方法。 但同样,这种百花齐放的数据库形态,也会带来『百花齐放』的问题。但从宏观的角度来看,这些问题之间是存在共性的,是可以被抽离出来并形成一套事实标准的。如果能够在这些百花齐放的数据库之上构建能够统一应用管理数据的平台层,就可以在屏蔽底层数据库差异的前提下,按照固定标准来进行开发,这种标准化解决方案将会极大缩减用户管理基础数据设施的压力和学习成本。 Apache ShardingSphere 就是位于这一层,通过复用原有数据库的能力,能够帮助技术团队在此之上实现如分片、加密解密等增量能力的开发,且向下不需考虑底层数据库的配置,向上又能够屏蔽用户感知,从而快速构建起面向业务的数据库直连能力,轻松管理大规模的数据集群。 如何践行 Apache Way 1.Sharding ShardingSphere 可同时叠加使用多个功能来满足用户的多样化需求。 随着业务体量的增大,单体数据库难以支撑大体量业务时,就有必要对数据库进行横向扩展,这就必然要面临着分布式管理的问题。ShardingSphere 通过在数据库之上构建一层热插拔功能层,并提供传统数据库的操作模式,屏蔽使用者对底层数据库变化的感知,赋予开发者使用单体数据库的方式来管理大规模数据库集群的能力。其中,ShardingSphere 主要包含以下四种应用场景: Sharding 策略 业务体量增大时,所面临的数据分片压力就会随之增加,所对应的分片策略相应就会被设计的更加复杂。ShardingSphere 能够以灵活、易扩展的方式,以最低成本协助用户在原本水平扩展之外做更多的分片策略,同时也支持自定义扩展的能力。 读写分离 通常情况下实现主从部署能够有效缓解数据库的压力,但如果某一个集群下的机器或库表出现问题,无法进行正常读写操作,就会对业务造成比较大的影响。为避免业务不可用,通常需要开发者重新写一套高可用的策略来实现读写库表的主从切换。ShardingSphere 可以自动探索所有集群的状态,在第一时间发现请求不可靠、底层数据库发生主从切换等问题,并可以在表层用户没有产生感知的前提下自动恢复主从状态。 Sharding Scaling 随着业务的增长,可能会需要对此前拆分过的数据集群进行再一次拆分。ShardingSphere 配套的 Scaling 组件,只需一条 SQL 命令就可以启动任务,并在后台实时展示运行状态。通过 Scaling 这种『管道』,使旧的数据库生态和新的数据库生态重新连接起来。 数据加解密 在数据库的应用中,对于关键数据的加解密也是非常重要的一部分。如果原有系统监控能力不达标,部分敏感数据可能是以明文的状态存储的,后期需要对其进行加密处理,这是许多团队普遍存在的问题。ShardingSphere 通过对这部分能力进行标准化并集成在中间件生态上,自动化用户对新、旧业务的数据脱敏以及加解密的过程,整个过程实现了用户层面的无感知。同时支持多种内置的数据加解密/脱敏算法,用户也可根据自身情况来自定义扩展相应的数据算法。 2.构造数据的接入神经:可插拔的 Database Plus 平台 面对各种各样的需求以及使用场景,ShardingSphere 为不同领域的开发者提供了面向 Java 的 JDBC、面向异构的代理端以及面向上云的 Sidecar 端这三种接入形式,用户可以按具体需求来做选型,在原有集群之上来做分片、读写分离、数据迁移等相关操作。