大数据】带你理解并使用flink中的Time

一、Time的简介 flink 中的streaming定义了多种流式处理的时间，Event Time（事件时间）、Ingestion Time（接收时间）、Processing Time（处理时间）。 Event Time：指事件产生的时间，比如业务数据库一条数据产生的时间、一条日志数据产生的时间等。 Ingestion Time：指flink接收数据的时间。 Processing Time：指数据被flink算子处理的时间。 在真实的业务代码开发中，我们常使用Event TIme、Processing Time。 二、Window的概念 flink中，streaming流式计算被设计为用于处理无限数据集的数据处理引擎，其中无限数据集是指一种源源不断有数据过来的数据集，window （窗口）将无界数据流切割成为有界数据流进行处理的方式。实现方式是将流分发到有限大小的桶（bucket）中进行分析。 三、Window的类型 1、分类关系 TimeWindow（计时窗口），按照一定时间生成 Window（比如：每5秒 CountWindow（计数窗口），按照指定的数据量生成一个 Window，与时间无关（比如：每20个元素）。 TumblingWindow（滚动窗口） Sliding Window（滑动窗口） Session Window（会话窗口）