开创实时数据处理新未来：EMQ 流数据库 HStreamDB 正式开源！

2022-03-28 00:00:00 数据 支持 开源 实时 数据流

引言

随着计算机和网络技术的迅猛发展以及向各行业的不断渗透，如今数据的产生方式和产生来源相比以前都有了极大的丰富，比如：来自传感器的数据、网站上的用户活动数据、来自移动终端和智能设备的数据、金融市场的实时交易数据，各种监控程序产生的数据等等。 这些数据大多都是以连续的数据流的形式，从多种外部数据源持续不断地生成，在多数情况下，我们无法控制这些流数据到达的顺序和产生的速率。

一直以来，为了更好地解决当前各行业实际业务中对于实时流数据存储和处理的种种需求，EMQ 始终在探寻一个佳的流处理系统与架构。

在《当数据库遇见流计算：流数据库的诞生！》 一文中，EMQ 提出了 「流数据库」 这一全新数据库品类。相比当前各种非系统化的流数据解决方案，我们有理由相信流数据库会是实时数据处理时代的佳选择，也将成为未来企业软件系统的核心基础设施。

在今天这篇文章中，我们将向大家介绍 EMQ 正在研发的流数据库产品 HStreamDB。

HStreamDB 项目概述

HStreamDB 是一款专为流式数据设计的， 针对大规模实时数据流的接入、存储、处理、分发等环节进行全生命周期管理的流数据库。 它使用标准 SQL (及其流式拓展）作为主要接口语言，以实时性作为主要特征，旨在简化数据流的运维管理以及实时应用的开发。

HStreamDB 的整体架构如下图所示，单个 HStreamDB 节点主要由 HStream Server (HSQL) 和 HStream Storage (HStore) 两个核心部件组成，一个 HStream 集群由若干个对等的 HStreamDB 节点组成， 客户端可连接至集群中任意一个 HStreamDB 节点， 并通过熟悉的 SQL 语言来完成各种从简单到复杂的流处理和分析任务。


HStreamDB 整体架构


HStream Server (HSQL) 作为 HStreamDB 的核心计算组件，其本身被设计为无状态的。它主要负责客户端的连接管理，安全认证，SQL 解析，SQL 优化，以及流计算任务的创建、调度、执行和管理等。

HStream Server (HSQL) 自顶向下可具体分为以下几层结构：

  1. 接入层。 主要负责客户端请求的协议处理、连接管理、以及安全认证和访问控制。
  2. SQL 层。 客户端主要通过 SQL 语句与 HStreamDB 交互，来完成大部分流处理和实时分析的任务。该层主要负责将用户提交的 SQL 语句编译成逻辑数据流图。与经典的数据库系统一样，这里包含两个核心的子组件：SQL 解析器 和 SQL 优化器。SQL 解析器负责负责完成词法分析、语法分析，将 SQL 语句编译到对应的关系代数表达式；SQL 优化器负责根据各种规则和 Context 信息对生成的执行计划进行优化。
  3. Stream 层。 该层包含各种常见的流处理算子的实现，以及表达数据流图的数据结构和 DSL，还支持用户自定义函数作为处理算子。主要负责为 SQL 层传递下来的逻辑数据流图选择对应的算子实现和优化，生成可执行的数据流图。
  4. Runtime 层。 该层负责实际执行数据流图的计算任务并返回结果。主要包含任务调度器、状态管理器以及执行优化器等组件。其中调度器负责计算任务在可用计算资源之间的调度，可能是在单个处理的多线程之间调度，也可能是在单机的多处理器之间调度，或者是在分布式集群的多台机器或容器之间调度。状态管理器负责协调流处理算子的状态维护和容错。执行优化器可以通过自动化并行等手段加速数据流图的执行。

HStream Storage (HStore) 作为 HStreamDB 的核心存储组件，它是专门为流式数据设计的低延时存储组件，不但能够分布式持久化存储大规模实时数据，而且能够通过 Auto-Tiering 机制，无缝对接 S3 之类的大容量二级存储，实现历史数据和实时数据的统一存储。

HStream Storage (HStore) 的核心存储模型是非常贴合流式数据的日志模型，数据流本身可以看作是一个无限增长的日志，它支持的典型操作包括追加写和区间读，同时数据流是不可变的，一般不支持更新操作。

HStream Storage (HStore) 可分为以下几个层次：

  1. Streaming Data API 层。 该层提供核心的数据流管理和读写操作，包括数据流的创建、删除，以及向数据流中写入数据和消费数据流中的数据。在 HStore 对创建的数据流的数量没有限制，同时能支持大量数据流的并发写入，在大量数据流并发写入的时候依然能够保持稳定的低延迟，HStore 的存储设计中并没有按照数据流来做存储， 因此数据流的创建是非常轻量的操作。针对数据流的特点，HStore 提供了 append 操作支持数据快速写入，同时在读取流数据方面，提供了基于订阅语义的 read 操作，数据流中新写入的数据会被实时推送给数据消费者。
  2. 复制层。 该层主要基于优化的 Flexible Paxos 共识引擎实现了流数据的强一致复制，保证数据的容错和可高可用性。同时通过非确定性的数据分布策略，大化了集群数据的可用性。而且支持复制组在线重配置，实现了无缝的集群数据均衡和水平扩展。
  3. 本地存储层。 该层主要负责数据的本地持久化存储，实现上基于优化的 RocksDB 存储引擎 封装了流数据的存取接口，可支持大量数据低延迟的写入和读取。
  4. 二级存储层。 该层为多种长期存储系统提供了统一的接口封装，比如 HDFS, AWS S3 等，支持将历史数据自动卸载到这些二级存储系统上，同时也可以通过统一的 Streaming Data 接口来访问。

HStreamDB 功能特性

注：以下功能特性为到 HStreamDB 1.0 版本为止的全部规划，部分功能正在持续开发中，当前版本暂未实现，敬请期待。


HStreamDB 功能架构

基于 SQL 的数据流处理

HStreamDB 设计了完整的基于事件时间的状态化处理方案，不仅支持基本的过滤、转换操作，还支持按 key 做聚合计算，基于多种时间窗口的计算，以及数据流之间 join 的能力，同时也支持乱序和晚到的消息的特殊处理，保证计算结果的准确性。用户只需要通过 SQL 语句就能完成上述所有的处理功能，无需学习任何三方 API。同时，HStream 的流处理具备丰富的扩展能力，用户可以针对自己的业务自行扩展。

数据流的物化查询

HStreamDB 提供物化视图功能，支持在持续更新的数据流上进行复杂的查询和分析操作。HStreamDB 内部的增量计算引擎会根据数据流的变化实时更新物化视图，用户可通过 SQL 语句查询物化视图获得实时的数据洞察。

数据流管理

HStreamDB 支持创建和管理大量的数据流， 数据流的创建在 HStreamDB 是非常轻量的操作， 同时基于优化的存储设计， 在大量数据流并发读写的情况下仍然能够保持稳定的读写延迟。

数据流的持久化存储

HStreamDB 提供低延时的可靠的数据流存储，保证写入的数据消息不丢失，并且能够重复消费。HStreamDB 会将写入的数据消息复制到多个存储节点，提供高可用和容错能力，同时支持将冷数据转储到成本更低的存储服务上，比如对象存储、分布式文件存储等，存储的容量可无限扩展，能够实现数据的存储。

数据流的 Schema 管理

HStreamDB 强调弹性的 Schema 支持，数据流可以是无 Schema 的，也可以通过 Json、 Avro、Protobuf 等多种格式来制定 Schema， 同时也支持 Schema 的演化，自动管理多版本 Schema 之间的兼容性。

数据流的接入和分发

HStreamDB 数据的接入和分发由 Connector 完成，它与包括 MQTT Broker、MySQL、ElasticSearch、Redis 等在内的多种数据系统相连接，方便用户和外部数据系统进行集成。

安全机制

HStreamDB 的安全性将由 TLS 加密传输、基于 OAuth 和 JWT 等的身份认证以及授权机制保证，同时预留安全插件接口，用户可根据需要对默认的安全机制进行扩展。

监控和运维工具

HStreamDB 设置了基于 Web 的控制台，包含大量的系统仪表盘和可视化图表， 能够对集群机器状态，系统关键指标等进行详细的监控，方便运维人员对集群进行管理。

HStreamDB 应用场景

实时数据分析

传统的数据分析通常基于批处理技术， 批处理一般是在预先收集好的有限的数据集上运行，因此分析的结果往往不包含新的数据，有较高的时延。HStreamDB 能够对实时的数据流进行分析，并随着数据流的变化及时地更新结果，这能够更好的支持诸如网站用户活动实时预测、物联网传感器数据实时分析等应用。相比批处理，不但能提供更实时的数据洞察， 而且避免了周期性调度批处理任务的易出错和复杂性。

事件驱动应用

事件驱动应用通常是根据到来的事件实时触发对应的动作或行为， 它可以是无状态的或者带状态的，比如：金融交易中的实时欺诈检测，业务流程监控预警物联网规则引擎等。基于 HStreamDB，实现这些复杂的事件驱动应用可能仅需要寥寥几条仅仅需要几条 SQL 语句，大大降低了开发和维护这些应用的成本。

实时数据管道

企业内部往往需要在多个数据系统之间进行数据同步和迁移， 比如将在线的事务数据库中的数据拷贝到离线的数据仓库进行分析，这个过程通常是由一整套 ETL 系统完成的， 这类 ETL 系统的开发和维护成本都比较高， 而且它的数据同步往往不是实时的， 扩展性也比较差。HStreamDB 集成了多种外部系统的连接器， 能够非常方便地搭建实时的数据管道， 实现实时构建索引，实时构建缓存等数据同步任务。

在线机器学习

如今机器学习系统在业务系统中起着越来越重要的作用， 包括搜索、推荐、风控等事件背后都广泛依赖机器学习系统。然而随着在线业务及相关应用场景的井喷式发展， 常规的离线系统及离线机器学习平台已无法满足业务发展要求。HStreamDB 的实时计算引擎能够助力机器学习系统的实时化， 实现在线特征提取，实时推荐等应用。

HStreamDB 快速上手

下面我们将基于 docker 快速上手使用 HStreamDB。

拉取 docker 镜像

docker pull hstreamdb/logdevice
docker pull hstreamdb/hstream

相关文章