易鲸捷数据库 EsgynDB 对OLTP、ODS的支持

2022-05-27 00:00:00 数据 事务 工作 负载 运营

传统关系型数据库处理传统的运营型工作负载,但由于 Hadoop 能大幅降低成本、 减少供应商锁定和无缝扩展以处理更多工作负载、存储更多数据,因此,使用 Hadoop 来处理工作负载的需求越来越大。

一般而言,受事务保护的运营型工作负载创造收益、接触客户、预测前景或经营业 务,所以对公司而言,它是非常重要的部分。通常情况下,该工作负载在响应时间 (次秒级)、事务数据完整性、用户数量、并发性、可用性和数据量方面都有严格 要求。随着物联网的兴起,设备数量和种类的不断增长促进了事务和数据的增长, 同时还改变了数据的类型,这些数据需要被获取并作为事务的一部分被使用。运营 数据发展迅速,包括各式各样的数据格式和类型,因此,下一代运营应用程序需要 使用结构化、半结构化和非结构化数据类型。例如,半结构化的日志数据和结构化 的事务数据、从设备获取的物联网数据、文字信息与情感和其他分析评论、需要被 搜索的文件或文本信息以及与结构化数据/元数据相关的视觉图像等。

然而,Hadoop 无法满足前述所有需求,例如,事务支持、灾备方案、强数据完整 性、次秒级响应时间、运营查询优化和管理工作负载(根据优先级分配任务且并发 地执行)。EsgynDB 能解决以上所有问题,它强大的 DBMS 支持应用程序和数据, 减少架构在 Hadoop 上软件之间的数据延迟和冗余。

EsgynDB 提供全面的 SQL 数据库功能,支持公司利用现有 SQL 技能,提高开发人 员产出和处理工作负载的效率。在处理运营型工作负载时,EsgynDB 具备以下优势:

  • 与 HBase 深度集成,充分发挥 HBase 优势。
  • 低延迟读写事务优化,支持事务 SQL 工作负载的高并发和快速响应。
  • JNI 客户端(Type 2 JDBC 驱动)直接访问 HBase 服务,减少服务时间。
  • 编译 SQL 计划缓存,减少重新编译的开销。缓存命中策略不仅是简单文字匹配,它在编译过程的多个阶段进行。如果谓词的代入值不同,导致基数有很大差异,则 EsgynDB 将为相似查询缓存出不同计划。
  • 多维访问方法(Multidimensional Access Method)专利技术:
    • 即使索引的前导列没有谓词,也能高效地使用索引。 o 大幅减少使用二级索引的需求。
    • 帮助用户自动实现 salting 和 divisioning,实现数据分区。
  • EsgynDB 扩展 HBase 时为它添加了 ACID(原子性、一致性、隔离性和持久性) 事务保护,从而确保数据跨多行、表和 SQL 语句(使用完全分布式事务管理架 构)的一致性。EsgynDB 与 HBase 深度集成,能在高并发场景时提供高扩展性、 高效率的执行和事务一致性。
  • 提供高可用和数据完整性功能,对运营型应用程序至关重要。
  • 跨数据中心的全面双活分布式事务支持,扩展读/写工作负载并提供灾难恢复零事务丢失机制。
  • 对运营错误进行时间点恢复,例如,被删除的表格或错误的事务更新。
  • 弹性扩展。在不宕机和同时处理事务和查询的情况下,跨集群的节点和存储可以大幅增加或减少。下一个事务或查询将利用重新配置的计算机或存储资源。

以上大部分功能也可以处理 BI/分析型工作负载。

来源 https://www.modb.pro/db/11370

相关文章