星环KunDB ——助力企业数字化转型的高性能分布式交易型数据库
KunDB是公司研发的一款面向数据操作场景的分布式交易性数据库,主要用于支持操作性业务场景(如ERP、OA、HIS等)和高并发场景(如消费者的手机APP应用、健康码查询等)的核心数据系统的构建。
KunDB 主要的技术特色包括:
a)良好的 SQL 语法兼容:支持 SQL 99 标准(包括语法和各类数据库对象及数据类型等),兼容 MySQL 和 Oracle 语法(包括 Oracle PL/SQL 语法),能有效降低业务系统开发和从其他数据库迁移的成本;
b)可扩展性:KunDB 采用计算和存储解耦合设计,存储层支持水平分片,可以通过增加节点按需扩展分片,同时计算可下推到存储层,实现性能提升。分布式的架构可以保证通过增加新的硬件资源来线性地提升数据库的存储能力和计算性能;
c)高并发的分布式事务:自研分布式事务管理技术,通过自研的全局事务管理器 GTM、2PC 协议等技术保证高并发的全局 ACID,单节点每秒可达上万个事务吞吐量;
d)全套的安全管理措施:提供数据库用户认证、授权、鉴权、权限管控,以及系统操作审计、SQL 审计、安全审计,提供数据存储加密、链路通信加密能力,能够防止 SQL 注入,也支持国产加密算法对整库数据做透明加密;
e)独特的混合部署技术:支持 X86 与各种国产芯片架构,以及 CentOS、RedHat、 UOS、麒麟等国内外主流的操作系统,能够运行在异构CPU架构以及多种操作系统混合部署的集群环境中;
f)云化服务能力:KunDB 使用容器技术支撑,并与星环 TDC 平台做了深度的优化和整合,能够在星环数据云平台上以云数据库的方式提供服务,可以让用户按需创建数据库服务、根据业务需求来实现弹性的扩缩容、自动化的运行时监控等;
g)高可用和灾备能力:支持故障时的立即切换,能提供 7X24 小时连续服务保证。提供灾备和恢复工具与机制,并结合业务情况提供数据灾备解决方案。
2021年重大更新升级
2021年11月发布KunDB 2.2版本
重构了元数据管理组件,采用了一致性存储,支持至少10万以上的数据库对象且性能不会劣化。
数据水平拆分的语法重构后,支持了跨存储节点分片、本地多分区的两级数据拆分策略,更便于数据管理和性能优化,配套工具也做了适配。
还支持了跟星环多模数据库Inceptor组成数据联邦解决方案, KunDB作为Inceptor的后端存储,通过Inceptor 统一SQL引擎提供数据并行转储和高并发查询能力,利于Inceptor用户跟KunDB组成数据仓库+数据集市一站式解决方案。
关联工具能力全面增强,主要是数据导入导出、备份恢复时,压缩、加密等功能的丰富和性能提升。其它特性的预览功能。
应用场景/人群
KunDB 适合的业务场景主要包括:
操作型的业务应用(如 ERP、OA、HIS 等)
企业 ERP、OA 等系统需要支撑快速发展的企业业务,特别是在互联网上提供服务时,MySQL 和 Oracle 等集中式数据库因为无法扩展会导致性能不足,可以使用 KunDB 作为升级替代方案,提供更高的性能和并发度。
高并发的数据应用(手机APP、健康码等)
分布式架构提供的高并发读写能力,以及分布式事务提供的 ACID 保证,可用于构建超高并发的数据操作型应用,如企业构建面向消费者的手机APP 应用,各地政府大数据中心构建的健康码、一网通办类应用等。
应用案例:
某能源行业央企省公司的综合运营管控平台支撑了该公司原材料的采购、配置、调运和结算等业务流程,是日常业务运营及管控的重要系统。该平台利用 KunDB 作为后端OLTP数据库,实现平台新业务的快速开发上线。关联业务存储在Oracle系统的存量数据全量迁移到 KunDB 中,并且通过数据同步组件,每天从该 Oracle 数据库中实时同步相关增量数据到 KunDB 数据库中,支撑综合运营管控业务系统,日均处理百万行数据,并提供查询服务。KunDB 上线后,为企业关键运营流程的正常运转,以及综合运营指标处理和实时展现提供了有效支撑。
某头部医疗信息化公司围绕临床数据中心服务,构建围绕医院临床、科研、教育、管理服务,通过对数据的科学、合理、有效利用反哺医教研管。在医院的CDR典型场景,采用星环ArgoDB+KunDB形成了联合数据解决方案。临床数据中心的数据由ArgoDB对实时数据进行加工、处理,部分结果实时输出至 KunDB,提供给医生进行医疗信息并发查询服务。1000并发下,多种维度数据查询请求KunDB均可毫秒级响应,有效满足医院问诊效率提升。
产品功能
支持库、模式、表、视图、索引、触发器、约束、序列、包、同义词、存储过程、自定义函数等传统数据库对象,提供标准SQL做数据交互和数据库管理,提供MySQL方言模式和Oracle方言模式。2021年新增了Oracle PL/SQL语法的完整支持。
支持结构化数据的存储,包括数值类型、字符串类型、二进制类型、日期/时间类型、布尔类型等,还支持LOB大字段,枚举、集合、JSON、XML、GIS等数据类型。支持常用数值、逻辑、比较、字符拼接等操作运算符,并支持数值、字符串、日期、聚合、类型转换、控制处理、正则、安全、窗口分析等上百个函数。
支持CHARSET和Collation的指定,包括UTF8、UTF8MB4、GBK、GB18030等,可针对库、表、列指定,至此回客户端和服务器分别修改字符集。
数据通过表定义支持单分片存储、多分片拆分存储、跨分片复制存储等多种方式。支持在线扩缩自动数据重分布,变更存储层拓扑。2021年新增了水平分片存储+本地分区存储的多级数据分布策略,同时提供无分片存储的轻量高可用版本完整兼容MySQL8.0。
支持INSERT/UPDATE/DELETE/SELECT等DML操作,支持集合、关联、聚合、排序、分组、分页等查询,并支持跨分片的分布式查询的优化,通过EXPLAIN查看执行计划,并通过HINT干预。2021年新增了HASH JOIN等算子、内存列式计算等模型优化分析性能,并支持了CTE。
2021新增了可插拔分布式引擎,即分析增强的事务处理(AETP)技术,数据不需要同步到异构AP库的情况下,可完成大数据量的复杂分析。
支持跨分片的分布式事务,保证事务ACID,通过超时机制解除死锁。2021年新增Snapshot Isolation隔离级别的全局一致性。
数据库管理、计算、存储节点均支持HA部署方案。同城支持集群跨可用区部署,提供容灾方案;异地通过数据同步技术,做主备集群容灾。
2021年新增数据联邦功能,作为星环多模数据库INCEPTOR的TP存储引擎,对外部应用支持部分SQL通过INCEPTOR SQL引擎对KunDB进行数据管理。
提供用户认证与口令管理、DAC权限管理、SSL通信链路记录、数据透明加密、用户操作与不同类型的SQL统一审计等数据库安全功能,审计通过独立系统进行,审计记录单独存储做归档。
通过节点白名单功能和资源控制、隔离保障数据库的高可靠性运行。
容器方式部署和运行,提供可视化部署管理工具,包括试用星环THD Manager在物理机/虚拟机上按照传统方式部署,和星环数据云TDC上以服务化方式部署,并提供数据库的可视化配置管理。
支持在线升级,包括自动化升级、在线升级、滚动升级、开源组件的维护更新、升级前环境检查、升级过程可视化、升级过程中的人工纠错、版本回退的方案。
提供数据库运维工具KunDBA,包括统一的图形化界面、状态监控、性能监控、API接口展示节点的组网关系、SQL分析功能、分布式集群节点异常日志查询,以及异常告警和自定义告警规则和渠道。
数据导入导出工具,并行加载和导出保障高性能。支持csv、txt、excel等多种方式的文件形式,支持加解密,压缩与解压等。
数据备份管理工具,支持数据库全量、增量方式,物理和逻辑方式组合,支持实例、库、表级别的备份恢复,并可恢复到指定时间点做恢复。
提供标准JDBC和ODBC驱动,兼容MySQL协议及生态工具。
国产化支持主流CPU(龙芯、飞腾、鲲鹏等)和OS部署(UOS、中标/银河麒麟、华为欧拉等),支持东方通、宝兰德、迪思杰等中间件。
产品优势
SQL 兼容& ACID
支持标准SQL并兼容MySQL、Oracle方言及生态,支持Oracle PL/SQL语法。提供分布式事务支持,在分布式架构中严格保证一致性。底层分布式架构对业务操作完全透明,延续集中式数据库使用方式,减少迁移成本和学习成本。
性能水平扩展
采用分布式架构,具备的水平扩展能力以及高并发特征,轻松处理高并发、大流量的访问,使数据库性能不再成为系统瓶颈。
高可用与分布式双模式
提供高可用和分布式两种部署模式,高可用部署模式提供多存储节点组件高可用存储,完整兼容MySQL;分布式模式底层提供水平分片的分布式存储,高度兼容MySQL和Oracle,支持分布式查询。高可用模式和分布式模式部署后可简易的切换。
私有化部署与云化支持
数据库分布式架构与容器技术结合实现了数据库组件的服务化和灵活编排,兼顾私有化部署和云化部署场景,做到了快速扩缩容和弹性调度,友好适配异构硬件环境和充分利用硬件资源。
高并发事务处理场景性能卓越
高并发事务处理场景,小规模KunDB集群可以轻松实现上万TPS。以TPCC基准测试数据为例,低3个KunDB节点事务处理能力即可满足替代Oracle。
即席查询与分布式计算
内置星环自研的分布式计算引擎,不需要ETL过程就可以读取新数据进行即席查询和复杂分析。
安全可靠
星环科技自主研发的国产数据库,支持国产CPU和服务器等自主可控的硬件平台,确保数据信息的安全。在用户认证、自主访问控制(DAC)和强制访问控制(MAC)、链路与数据加密、操作与SQL审计等方面提供数据库的多维度安全保护,严格保证数据和业务的安全性和完整性。
高可用与容灾
通过多副本+故障转移的方式实现系统高可用,内置故障恢复和异地灾备机制,提供7x24小时连续服务保证。
服务客户/使用人数
新增代表性客户包括上海市大数据中心、东华医为、以及范围内多家三甲医院等,新增部署总节点数近100。
市场价值
为国内市场提供国产自主的数据库产品,可使用国产化软硬件构建国产化基础设施,替代Oracle等国外商业数据库,降低安全风险和License成本。
采用分布式架构和容器部署,为行业核心系统的分布式架构改造提供高性能事务数据库能力和多中心容灾解决方案。
作为高并发数据集市解决方案,随着行业越来越多的创新应用如数字大屏业务、报表应用、数据共享等面向终端用户开放,并发要求越来越高,可满足对高性能查询需求的支撑。
多种部署模式部署,为企业不同应用需求提供多数据库实例,并可快速部署、统一运维、资源隔离。
跨分片的分布式查询优化和AETP技术的分析增强,以及数据联邦方案为企业事务与分析融合处理业务提供一站式解决方案。
提示:直接点击文末左下角“阅读原文”链接可直达该产品官网页面
产品所属企业·星环科技:
星环科技致力于打造企业级大数据基础软件,围绕数据的集成、存储、治理、建模、分析、挖掘和流通等数据全生命周期提供基础软件与服务,构建明日数据世界。公司以上海为总部,以北京、南京、广州、新加坡为区域总部,在郑州、成都、重庆、济南设有支持中心,同时在深圳、西安等地设有办事机构,并在加拿大设有海外分支机构。
经过多年自主研发,星环科技建立了多个产品系列:一站式大数据基础平台TDH、分布式分析型数据库ArgoDB及交易型数据库KunDB、基于容器的智能数据云平台TDC、大数据开发工具TDS、智能分析工具Sophon和超融合大数据一体机TxData Appliance 等,并拥有多项专利技术。
目前公司产品已经在十几个行业应用落地,拥有超过一千家终端用户。2016年公司成为中国进入Gartner数据仓库及数据管理解决方案魔力象限的厂商,且被评为具前瞻性的远见者;2017年被IDC评为中国大数据市场;2018年星环科技成为12年来全球完成TPC-DS测试并通过官方审计的数据库厂商;2020年再次被IDC被评为中国大数据管理平台。目前星环科技已完成E轮融资。
来源 https://zhuanlan.zhihu.com/p/449147904
相关文章