京东云 徐力权：京东云自研分布式数据库StarDB应用实战

9月16日，Distributed Cloud|2021全球分布式云大会·上海站隆重召开。在全球分布式云大会不懈布道下，云计算行业对分布式云的关注度愈发高涨，以全球分布式云联盟成员为代表，涌现出了大量分布式云技术和实践成果，为分布式云计算发展夯实了基础。

2021全球分布式云大会为分布式云计算发展再添强大推力，本次大会共设有分布式云主题报告会、边缘云论坛、云原生专题论坛、分布式数据库论坛四大论坛，围绕分布式云、边缘算力、云原生、分布式架构等技术与实践展开。全球分布式云联盟联合阿里云、腾讯云、Google Cloud、中兴通讯、京东云、安迈云、网心科技等国内外分布式云技术服务商，共话分布式云创新新趋势，共谋云计算变革新未来，共享分布式云计算新红利！

在9月16日下午召开的分布式云数据库上，京东云数据库中间件产品负责人、StarDB架构师 徐力权出席分布式数据库论坛，发表以《京东云自研分布式数据库StarDB应用实战》为主题的技术实践分享，同时京东云分布式数据库StarDB凭借领先的设计架构与实践应用成果，荣获“年度佳国产分布式数据库”。

StarDB发展历程

自2015年开始，StarDB先是以分布式数据库中间件为基础，结合mega自动化运维平台，DTS数据传输服务，CleverDB智能分析平台完成了初版。2017年，京东云团队将以上产品在内部进行推广应用，包括京东内部主要的支付、交易、保险等业务，包括帐务、会员，通过StarDB完成数据架构升级。2018年，对DBCM数据建模进了扩展，将自动化运维整体融合。2019年，拥抱开源生态开始驾驭海量数据库。2020年，进行场景融合，一体化、产品化功能开始科技赋能。2021年，国产分布式数据库StarDB正式发布，进入服务化、云原生时代。

从生产运行情况看，目前StarDB在京东内部总记录行数在30万亿级以上，单集群并发量60万每秒，总读写峰值400万每秒，覆盖将近98%的业务，应用包括交易平台、支付核心、风控、资管系统等。

StarDB产品赋能方面，徐力权表示，京东云与城市商业银行、互联网银行，包括智能城市等领域的多业务进行了深度融合。未来StarDB也会以云原生的方式，和这些金融行业客户，包括其他的行业去做深入交流。

资质认证方面， StarDB获得过非金融机构支付服务业务系统检测及认证、ISO27001信息安全管理体系认证、可信云服务认证（云主机）、可信云服务认证（云数据库）、信通院分布式数据库三项评测、信息安全等级保护三级、四级认证等等。

StarDB内核架构分解

StarDB提供三种访问模式。一是代理方式，二是客户端方式，三是云原生的方式。StarDB核心模块分为存储引擎、计算引擎和一体化管控平台。其中数据核心服务包括数据网关、数据操作、数据复制等。计算引擎提供了灵活分片算法、分布式事务、读写分离、查询优化等计算能力。在存储上，StarDB目前基于MySQL数据库进行了源码优化，包括多线程分组强一致同步、线程池优化等。安全合规层面，StarDB有完整的加解密算法、数据库审计系统，以及底层的安全技术基础。StarDB对性能的分析包括完整的空间分析、会话分析、锁分析、慢查询分析等功能。

在运维生态方面，京东云团队有着丰富的经验，会不定期做容灾切换演练，全局统一备份策略定时备份的，同时支持用户自定义备份，针对备份集进行恢复数据的验证。个别节点发生异常故障时，自动切换模型，可以覆盖大部分的异常场景，不需要人工的干预，在业务无感知的情况下实现自动切换。业务发生容量瓶颈时，可以做到一键扩容，当然这些智能化运维管理离不开全局调度和数据迁移服务。StarDB可以适配各种基础资源，像目前流行的Docker、物理机、虚机等等。

服务架构方面，StarDB兼容标准SQL协议，业务应用可以通过多种访问模式像使用一个数据库一样访问一套StarDB分布式数据库集群。StarDB核心层包含数据配置中心、计算节点和MySQL存储节点构建分布式集群、管控中心集成了全生命周期管理和生态工具等。

StarDB的实践应用

从传统的业务应用对接数据库到StarDB时代，业务建模、变更、测试、上线，升级迭代，再到扩缩容，数据库的生命周期管理非常清晰。任何分布式数据库，如果自动化技术跟不上会导致运维成本大幅提升。

一站式数据服务

使用数据库时常遇到的弹性伸缩需求，往往存在一些痛点。

一是资源浪费。通常业务在使用的时候，并不知道自己业务未来能发展成什么样子，所以他上来之后就开发，申请一大堆资源，然后DBA的同学没办法拒绝。但是在使用过程中，他发现使用率只有30%、40%，这时候如果这个弹性方案没那么完善的话，运维成本就非常高。

二是扩缩容难。对百亿级数据进行扩缩容，迁移数据过程周期长，其次是对扩容业务的数据库切换，存在高风险。而StarDB则形成了能根据业务流量进行动态扩缩容的机制，进行一键配置操作，让用户简单、快速做到数据迁移。

一键扩缩容

数据迁移周期图

对于数据迁移周期， StarDB的迁移方案所体现的效果非常明显，首先在进行数据库申请时，申请时间从以前两到三年的量变为现在半年的量同时，资源使用率也可提高到50%以上。

StarDB的操作过程都可在页面进行操作迁移，然后自动化创建，自动化销毁整个过程。在数据迁移完成后，系统会自动发送应用事件，应用能够自动切换到扩容后的数据库。整个迁移过程中，StarDB团队也会不间断地对数据进行抽样比对，包括迁移过程中数据是否一致。后，在切换前StarDB团队会进行业务的数据校验，以确保数据万无一失。

该方案的全部过程，已在京东集团内部做过大量实践，目前非常稳定，该方案已经成为科技内部主要的应用扩缩容方案。发展至今，京东云StarDB在京东体系内部，经过严苛的实战检验，支撑了京东支付、京东保险、京东客服、京东机器人等多个核心业务，支持了15次京东618、11.11和6次大规模安全合规检测。

StarDB未来发展方向

伴随京东云对外开放京东体系的科技能力，京东云StarDB已开始赋能传统金融机构，以国产自研的科技产品推进产业数字化进程。截至目前，StarDB已服务全球多家金融机构，包括清算机构、互联网银行、城市商业银行等，构建大规模数据库运维体系和跨机房的业务双活架构，建立完善的数据库运维管控体系，满足监管合规需求，在交易支付、风控、保险、账务清算、资产管理、企业征信等多类金融业务场景，以卓越性能稳定支撑业务发展。

京东云StarDB已经入驻云舰PaaS开放平台，实现一次适配多云落地，在金融、政企场景深度服务客户，未来将在更多场景完成规模化复制落地，助力产业打造坚实的数字基座，实现数据库在产业数字化中的核心支撑作用。

来源 https://zhuanlan.zhihu.com/p/414024422