易鲸捷数据库 EsgynDB 流式处理

Zero Latency 公司实现了梦寐以求的愿景:实时处理高速捕捉的数据。数据批处理 导致的延迟已不能被接受，许多应用程序使用流式编程模型(而不是批处理)处理 注入的数据。流式处理包括两方面:一方面，保存注入的数据;另一方面，如果数 据注入速度很快，处理前无法保存数据，必须进行实时处理。

HBase 擅长高速数据写入，很适合被 EsgynDB 使用，用于处理运营型工作负载。因 此，EsgynDB 能满足高速注入 Big Data 的需求，并提供全面的 ACID 支持。

Kafka 作为一种缓冲，能避免大数据系统因为数据注入的瞬时增大而导致系统崩溃， 这在数据实时入库保存或实时分析的场景下均可能出现。为了更好地保存并简化数 据注入，EsgynDB 与 Kafka 进行集成。该集成采用了 EsgynDB 的 Table UDF，能流 式地处理复杂场景或进行分析，同时，它还能利用引擎的所有 SQL 能力。

数据导入进 HBase memstore 或内存，EsgynDB 数据注入速度约为 74μs/行。任何需 要访问数据的查询均能实现立即访问。只有那些能在 100μs 或 0.1ms 内处理数据的 应用程序将先处理数据，再保存数据(如需要)。另外，Netflix 每天通过 3000 多 个代理的 24 个集群获取 7000 亿条信息(=370μs/信息);LinkedIn 通过 1100 个代 理传输 1300 万条信息/秒(=85μs/信息);Facebook Messenger 和 WhatsApp 每天处 理 600 亿条信息。

数据导入进 HBase memstore 或内存，EsgynDB 数据注入速度约为 74μs/行。任何需 要访问数据的查询均能实现立即访问。只有那些能在 100μs 或 0.1ms 内处理数据的 应用程序将先处理数据，再保存数据(如需要)。另外，Netflix 每天通过 3000 多 个代理的 24 个集群获取 7000 亿条信息(=370μs/信息);LinkedIn 通过 1100 个代 理传输 1300 万条信息/秒(=85μs/信息);Facebook Messenger 和 WhatsApp 每天处 理 600 亿条信息。

作为通用参考，EsgynDB 的流式数据注入速度约为 50,000 行/秒/节点，bulk load 数 据注入速度约为 100,000 行/秒/节点。

来源 https://www.modb.pro/db/11369