Flink入门实战 (下)

一、 时间语义与 Wartermark

1、 Flink 中的时间语义

在 Flink 的流式处理中，会涉及到时间的不同概念，如下图所示：

Event Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的
日志数据中，每一条日志都会记录自己的生成时间，Flink 通过时间戳分配器访问事
件时间戳。
Ingestion Time：是数据进入 Flink 的时间。
Processing Time：是每一个执行基于时间操作的算子的本地系统时间，与机器
相关，默认的时间属性就是 Processing Time。

一个例子——电影《星球大战》：

例如，一条日志进入 Flink 的时间为 2017-11-12 10:00:00.123，到达 Window 的

系统时间为 2017-11-12 10:00:01.234，日志的内容如下：

2017-11-02 18:37:15.624 INFO Fail over to rm2