成为金融级数据库，腾讯TDSQL 的底气是什么？
14.1178 亿，是第七次人口普查，人口总数。 700 万普查员，线上完成普查数据采集，数据直接上报至国家统计局。普查员所使用的线上系统，需要完成数据采集、流转、脱敏、处理和分析过程，扛住并发高峰，保证系统的稳定性，对于背后的技术开发团队，无疑是一次重要且艰巨的挑战。CSDN了解到，第七次人口普查背后，腾讯云数据库提供了擅长 OLTP 场景能力的版本，和擅长联机分析处理 OLAP 场景能力的企业级分布式数据库 TDSQL，通过“双引擎”设计支撑人口普查数据登记与统计分析的体系化工作，终支撑了十亿级用户数据、700 万个终端和百万级峰值 TPS（每秒处理量）。其中值得一提是，在这些庞大的数据中，不乏多张超级大表关联高并发统计查询，每张表中存放了超过 20 亿+条记录。这种并发数据量级，几乎是除互联网场景（如电商双 11、春节抢红包）之外，传统行业应用中绝无仅有的，放眼全世界可能也是独一份。相较于集中式数据库，云时代的数据库需要支持更大业务规模与海量数据，就需要在单一引擎性能化之上，实现多模、多引擎一体化的数据库架构，另外，数据库要实现公有云与私有云双轮驱动，以满足中国用户的需求，当然，新一代数据库更需要自动化智能的运维。在刚刚举行的2021 腾讯数字生态大会上，腾讯云重磅发布了企业级分布式数据库 TDSQL 系列自研核心引擎与工具平台，自研核心引擎包括 TDSQL-C 云原生引擎、TDSQL 新敏态引擎、TDSQL-A 在线数仓，数据库 SaaS 服务平台包括 DBbrain 智能数据库运维平台、DBbridge 数据库统一迁移平台。TDSQL-C 云原生引擎是 OLTP 事务型数据库，在满载 CPU 流水线设计下，吞吐能力提升 50%，通过软件栈多路 Run2Completion、全链路 RDMA，IO 延迟降低 80%。TDSQL-C 是支持 instand ddl 的云原生引擎，结构变更秒级完成，较传统数据库提升百倍以上。TDSQL 推出了全新的 Oracle 兼容引擎和全自研新敏态引擎。其中，TDSQL 全新 Oracle 兼容引擎在保险/运营商行业兼容度高达 98%以上，可以满足金融核心上线要求。同时 TDSQL 具备全局索引能力，查询性能高提升 10 倍以上，行存高 20 倍压缩率的超高压缩比，内存利用率提高 50%，大幅节省资源成本。TDSQL 的全自研新敏态引擎，可实现无限扩展在线变更，无限适配金融敏态业务。TDSQL 核心特性有数据形态自动感知(characteristics awared)，实现数据库全域智能化自适应调度。同时 TDSQL 兼容 MySQL，支持原生 Online DDL，计算/存储资源均可独立全透明弹性扩缩容，支持 EB 级海量存储。TDSQL金融级引擎实现全局索引、数据形态自动感知本次腾讯云数据库还推出了自研的高效列式存储、适用于 OLAP 场景的 TDSQL-A 在线数仓，以应对海量数据业务。TDSQL-A 支持行列混合存储，灵活满足不同场景需求，其透明压缩比达到 5 倍以上，特征数据压缩比达上百倍。TDSQL-A 的延迟扫描、表达式下推，可将扫描性能提升 1 倍以上。另外 TDSQL-A 具有多节点并行导入导出工具，性能提升数十倍，并支持在线扩缩容的 PB 级超大规模数据治理。TDSQL-A 在线数仓还自研了向量化执行器，针对聚合/表达式计算等场景优化 10 倍以上。同时实现先进的内存列式数据编排，使 CPU 缓存命中率提升 50%。TDSQL-A还具有业界独有的分布式延迟物化技术，分析场景优化 30%，子查询关联条件下推，针对性语句性能提升 10 倍，终使 TDSQL-A 成为全新智能分析引擎，帮助客户进一步挖掘数据价值。除了上面介绍的核心自研引擎，针对国内云计算中混合云的管理需求，腾讯云推出了数据库 SaaS 服务平台，包括 DBbrain 智能数据库运维平台、DBbridge 数据库统一迁移平台。其中，DBbrain智能数据库运维平台支持多云、多模式、多引擎的数据库接入，将大量传统人工的数据库运维工作智能化，为云上和云下企业提供数据库自治服务。DBbrain 目前已覆盖超 60%云数据库用户，每日优化低质量 SQL 平均可达 6200 万，每月诊断优化高负载数据库近 1 万个，优化效果达到 89%以上。另一个更重要的工具平台，DBbridge 数据库统一迁移平台可以一站式完成商业数据库迁移。DBbridge 支持自动转化 SQL 语法达到 90%以上，可以为用户实现从 Oracle 到 TDSQL 平滑迁移，迁移中的兼容性评估、差异性改造、数据迁移和数据同步均可在DBbridge 完成，并支持私有化独立部署。DBbridge 目前已经在 1000+个客户项目中进行应用，整体提升异构数据库迁移效率(减少人工参与度)达到 70%以上。在系列自研数据库引擎与工具平台之外，腾讯云数据库也在前沿基础研究上投入了大量的精力。据介绍，腾讯云和中国人民大学在数据库基础合作数据异常体系化研究与理论。数据异常是数据库可串行化理论体系中的重要概念，研究定义了事务的一致性：不存在数据异常则称为数据符合一致性。研究在数据异常的本质和内在规律范畴内，揭示出隔离级别和并发算法的本质，基于该项基础理论，可进一步系统地研究各种并发访问控制算法、改进并发算法。腾讯云数据库团队 TDSQL 数据异常体系化研究方向及新理论应用除了数据异常的理论研究，另外腾讯云数据库在 DBbrain 智能运维中应用 AI 机器学习智能调优，相同请求以往 DBA 需花费 8.6 小时完成，DBbrain 只需25 分钟。本次腾讯云一口气推出系列重磅的自研核心数据库引擎，我们能够看到，背后是腾讯数据库在十多年间，跟随了腾讯发展的各阶段，从腾讯早期增值、计费业务，到开心农场等社交产品爆发式增长，再到云计算兴起腾讯系游戏虚拟点券的场景，以及混合云下的分布式数据库，TDSQL 历经多次高并发、高可用的场景挑战，解决数据强一致、高性能吞吐、分布式水平扩展等无数个数据库硬核技术难题所收获的成果，是从互联网中茁壮生长出来的数据库。现在，腾讯云数据库已经从内部走向产业市场。据了解，TDSQL 互联网、政务、金融、电商、智慧物联网等行业都已经取得了广泛的应用。不过，腾讯云数据库把重点放在了企业级 IT 要求严苛的银行、保险等金融行业。在大会上，腾讯云数据库也分享了多个重磅金融案例的技术细节。其中，国有大型银行核心业务系统国产化替代的标杆案例是腾讯云数据库在中国农业银行通过 6 年多次 POC，深度技术交流，技术创新，协助规划数据库标准，上线后提供高并发、高性能，为农行从集中式到分布式扩展实现高扩展，数据库可视化管理实现运维监控高度自动化，现在投产的平台日均交易量超过 1 亿笔。另外，项目在基础硬件、操作系统、中间件、数据库、云平台五大领域全栈式国产化创新，实现全链路信创国产化，为其他业务系统创新工程提供借鉴。项目还满足人行颁布的分布式数据库技术金融应用规范要求，国产化和信创能力要求，满足 5、4、3 级灾备和高可用方案满足业务连续性要求。腾讯云数据库还成为国有大型银行分布式数据库新核心，为中国银行完成核心系统大机下移。项目还是国内银行核心全链路信创国产化，采用了TDSQL+中标麒麟+鲲鹏，也是国内银行核心系统实现x86 和国芯混部署，此外项目具备自动化容灾平台，数据库高扩展性、异地多活和无限扩展性。除了银行，腾讯云数据库还为国内头部保险集团太平洋保险，实现国产化自主可控，以分布式数据库承载保险核心系统，太保计划全面平滑迁移 oracle 系统超 1000 个，上千套系统评估 TDSQL 产品 oracle 兼容度高达 98%，全面支撑新业务上线。项目使用集中式分布式双架构满足业务不同需求，集中式分布式双架构一体化并支持平滑扩展，精准架构推荐模型指导业务灵活选择架构。项目里单产品支撑 TP/AP/HTAP 多场景，两地两中心/三中心两阶段规划平滑扩展，终实现多中心架构灵活弹性。除了金融的标杆案例和重磅客户，腾讯云云原生数据库 TDSQL-C 为团油网完成云原生架构升级，支撑单日超 2.5 亿交易，累计服务车主超 4 亿。还为 bilibili 提供内核性能优化，实现超百万 QPS 性能。另外，TDSQL-C Serverless 云原生数据库与微信联合打造微信云托管开发平台，实现与微信生态互通，联合微信小程序云开发，创造开发者使用数据库新形态，为接近 50 万小程序开发者提供了一站式开发云服务。腾讯云数据库将积累的行业场景与案例的实践经验，通过白皮书的形式分享出来。中国信息通信研究院云计算与大数据研究所联合腾讯共同编制了《金融级分布式数据库白皮书》，阐述了金融分布式数据库现状概述，在行业的应用分析，落地应用的难点与挑战等内容。白皮书也提到，国产数据库 TDSQL 被广泛应用在了银行核心系统，0 银行中服务比例高达 60%，能够满足金融级要求的高可用、高性能、低成本、线性水平扩展、企业级安全、便捷性运维的分布式数据库。在 CSDN 看来，以上这些积累让腾讯云数据库有底气，成为金融级数据库，提供核心、自主、安全、弹性的数据库产品与服务。腾讯云数据库 TDSQL 希望在未来五年，助力 1000 家金融机构实现核心系统数据库国产化转型。在 2021 腾讯数字生态大会上，CSDN 看到，腾讯云要“将前沿科技打造成简单的样子”，所以腾讯云在联合生态的力量，把企业级分布式数据库提供给更广阔的中长尾用户。腾讯云数据库TDSQL 宣布启动免费版计划，提供免费版软件包下载介质、开发文档手册等，建立开发者交流社区，打造免费版软件生态。同时腾讯云提供数据库专家服务，为免费版进行服务兜底，线上支付形式激活代理商业绩模式，促进免费版商业化逻辑转移。TDSQL 也在积极参与数据库技术与开发者生态，参与 MariaDB、MySQL、PostgreSQL、TDPUB 数+社区多个项目交流与社区贡献，以及投入资源举办腾讯云 TDSQL 数据库大赛。其中值得一提的是欧洲航天局基于 TDSQL PG 开源版，搭建 Mission 行星探索项目核心系统，数据量超过了 300TB。现在，腾讯云数据库已有超 2000+合作伙伴、共同服务 1000+企业客户、主要合作伙伴平均业务增长率超 ，共同打造覆盖 20+行业、100+行业解决方案，并发布了业界银行联合核心 HTAP 方案。信创战略下，数据库等基础软件正在逐步获得国家与 IT 产业的重视，其中，互联网企业自研数据库在实现自用之后，正在成为国产企业级数据库领域重要的力量。腾讯云数据库专注于分布式数据库，技术脚步仍在向前，从更底层研究数据库的多个下一代技术原型系统，布局未来数据库场景技术。成为多模多引擎一体化、云上云下融合、智能自治的新一代分布式数据库，TDSQL 未来可期。来源：https://mp.weixin.qq.com/s/ie20ZRheOUg2KwUsWYxh4A