DolphinDB流数据聚合引擎教程

2022-04-28 00:00:00 数据 时间 计算 引擎 聚合

流数据是指随时间持续增长的动态数据。互联网的运营数据和物联网的传感器数据都属于流数据的范畴。流数据的特性决定了它的数据集是动态变化的,传统的面向静态数据表的计算引擎无法胜任流数据领域的分析和计算任务,所以流数据场景需要专门的计算引擎来处理。

DolphinDB提供了灵活的面向流数据的聚合引擎,通过createStreamAggregator函数创建流数据聚合引擎,能够持续不断地对已有的流数据做聚合计算,并且将计算结果持续输出到指定数据表中。

1.聚合引擎应用框架

流聚合引擎本身是一个独立的计算引擎,只要向聚合引擎写入数据就可以触发计算,并将计算结果输出到目标表。而在流数据场景下,聚合引擎与流数据订阅功能(subscribeTable)配合,可以方便的将流数据持续的提供给聚合引擎。示例如下:

tradesAggregator = createStreamAggregator(5, 5, <[sum(qty)]>, trades, outputTable, `time)
subscribeTable(, "trades", "tradesAggregator", 0, append!{tradesAggregator}, true)

相关文章