博文选集 · ShardingSphere - 博客

Apache ShardingSphere 在京东白条场景的落地之旅

京东白条使用 Apache ShardingSphere 解决了千亿数据存储和扩容的问题,为大促活动奠定了基础。 2014 年初,“京东白条”作为业内互联网信用支付产品,数据量爆发式的增长,每一次大促备战都是对技术人员的考验,每一次的战略转型驱动着数据架构的成长。 –张栋芳,京东白条研发负责人 京东白条数据架构演进史 自 2014 年 2 月京东白条业务上线起,为满足快速发展的业务和激增的海量数据,白条的数据架构经历了数次演进。 2014~2015 Solr + HBase 的方案解决了核心、非核心业务系统对关键数据库的访问问题,Solr 作为被检索字段的索引,HBase 用作全量的数据

ShardingSphere X Google 编程之夏:同学,开源你怎么看?

Apache ShardingSphere 社区有幸参与 Google 编程之夏(Google Summer of Code, 以下简称 GSoC),指导年轻一代参与开源程序代码设计。GSoC 是 Google 公司主办的年度开源程序设计项目,第一届从 2005 年开始,主要目的是鼓励世界各地的学生参与开放源代码的程序设计。而 Apache ShardingSphere 项目也被选中成为 GSoC 一部分,为学生带来开源软件开发的有趣体验。 Thanoshan 和 Liangda两位学生在上一届的 GSoC 中积极与 Apache ShardingSphere 导师工作,接受指导,在 GSoC 结束后依旧在 Sh

openGauss X ShardingSphere,分布式方案的另一种最佳实践

Apache ShardingSphere 持续助力于 openGauss 分布式数据库能力的构建。openGauss 数据库自 2020 年 6 月开源以来,受到了业界的广泛关注,现已吸引众多伙伴、开发者参与其中,共建繁荣的数据库生态。面对如今海量数据,超高并发等诸多场景,openGauss 将目光转向于分布式解决方案,专注于解决海量数据存储、超高并发吞吐、大表瓶颈等众多难题,与 ShardingSphere 一起构建全栈开源分布式解决方案,实现 openGauss 的又一大突破。 分布式解决方案 图1 分布式解决方案整体框图 openGauss 融合了众多开源组件,用以构建集数据水平扩展、分布式事务及治理

分片利器 AutoTable:为用户带来「管家式」分片配置体验

在《DistSQL:像数据库一样使用 Apache ShardingSphere》一文中,Committer 孟浩然为大家介绍了 DistSQL 的设计初衷和语法体系,并通过实战操作展示了一条 SQL 创建分布式数据库表的强大能力,展现了 Apache ShardingSphere 在新形态下的交互体验。 在前文发布后,小助手陆续收到热心读者的私信,询问使用 DistSQL 配置分片规则的细节,以及使用 YAML、Namespace 等形式的配置时,是否可以像 DistSQL 一样快速方便的完成分布式表的配置和创建?本文将为大家解答这些疑问。 江龙滔 SphereEx 中间件研发工程师,Apache Shardi

易华录 X ShardingSphere|葫芦 App 后台数据处理的逻辑捷径

“ShardingSphere 大大简化了分库分表的开发和维护工作,对于业务的快速上线起到了非常大的支撑作用,保守估计 ShardingSphere 至少为我们节省了 4 个月的研发成本。” ——史墨轩,易华录·技术总监 今年以来,伴随着易华录旗下面向个人用户的云服务产品**【葫芦 App】**正式上线,后台架构所承受的业务压力也与日俱增。 为此,葫芦 App 研发团队选择采用 ShardingSphere 分库分表的功能对数据进行了横向的拆分,围绕 ShardingSphere 灵活敏捷的特性,满足了葫芦 App 业务对数据层扩展性的要求,避免团队重复“造轮子”,最大程度简化了随着业务增长而带来的愈发复杂化的分

ShardingSphere 知识库更新 | 官方样例集助你快速上手

Apache ShardingSphere 作为 Apache 顶级项目,是数据库领域最受欢迎的开源项目之一。经过 5 年多的发展,ShardingSphere 已获得超 14K Stars 的关注,270+ 贡献者,建立起了活跃的社区生态。 随着项目的蓬勃发展,版本的不断更迭,Apache ShardingSphere 支持的特性逐渐增多,功能日益强大,配置规则也在不断优化。为了帮助用户更好地理解各项特性和配置规则,方便用户快速测试并运行相关功能组件,找到最佳实现,shardingsphere-example 项目应运而生。 shardingsphere-example 是一个独立的 Maven 项目,位于 A

趣说开源|学生如何参与开源社区?

现在的开发人员普遍都有开源项目或社区的经验。实际上,除了开发人员外,学生应该而且也越来越愿意参与到开源项目中。如果想知道更多关于为什么应该考虑参与开源项目,请参考“为什么应该加入开源社区[1]”。 可以说,过去的两年里充满了挑战,新冠疫情永远改变了我们,改变了我们贴近和珍视生活的方式,改变了我们的工作方式,改变了我们的社交方式,最终网络研讨会还有在线活动成为新常态。 学生也深受影响。在线学习意味着学生必须再次适应掌握课程内容的方式,同时也必须适应如何在这前所未有的艰难时期找到第一份职业机会或实习岗位,充分利用在线实习并获得宝贵经验已成为学生度过难关的一种选择。Google[2],Anitab[3] 和 ISCAS

Apache ShardingSphere:由开源驱动的分布式数据库中间件生态

2021 年 7 月 21 日 2021 亚马逊云科技中国峰会现场,SphereEx 联合创始人、Apache ShardingSphere PMC 潘娟受邀参与此次峰会,以《Apache ShardingSphere 分布式数据库中间件开源生态构建》为主题,围绕开源理念扩散、社区建设、ShardingSphere 如何践行 Apache Way 等方面展开了介绍,本文总结自潘娟内容分享。 在数据库之上与业务之下的新生态 一层贴近应用,一层贴近 DataBase。 不同的行业、不同的用户、不同的定位、不同的需求….如今的数据库面临着比过去更加复杂的数据应用场景以及愈发个性化和定制化的数据处理需求。愈

元数据在 ShardingSphere 中加载的过程

一、概述 元数据是表示数据的数据。从数据库角度而言,则概括为数据库的任何数据都是元数据,因此如列名、数据库名、用户名、表名等以及数据自定义库表存储的关于数据库对象的信息都是元数据。而 ShardingSphere 中的核心功能如数据分片、加解密等都是需要基于数据库的元数据生成路由或者加密解密的列实现,由此可见元数据是 ShardingSphere 系统运行的核心,同样也是每一个数据存储相关中间件或者组件的核心数据。有了元数据的注入,相当于整个系统有了神经中枢,可以结合元数据完成对于库、表、列的个性化操作,如数据分片、数据加密、SQL 改写等。 而对于 ShardingSphere 元数据的加载过程,首先需要弄清楚

DistSQL:像数据库一样使用 Apache ShardingSphere

Apache ShardingSphere 5.0.0-beta 深度解析的第一篇文章和大家一起重温了 ShardingSphere 的内核原理,并详细阐述了此版本在内核层面,特别是 SQL 能力方面的优化和提升。强大稳定的内核是 ShardingSphere 持续发展的基础,与此同时,ShardingSphere 在研发分布式数据库生态特性上也在努力摸索。本次 5.0.0-beta 版本发布的 DistSQL,用于搭配整个 ShardingSphere 分布式数据库体系,在提供更标准化的分布式数据库管理方式的同时,兼具灵活、便捷和优雅的特性。 本文将带领大家全面认识 DistSQL,并结合实战案例展示如何使用