Hi all,

Flink 有支持 Keyed Watermarks 的计划吗?

感觉这是一个很大的缺陷,尤其是在 IoT 数据处理中,每个设备数据上传的速度可能是不一样的。这样的设计导致速度上传快的设备需要等待速度上传慢的设备来推动 
watermark。

不用的 key 代表不同的设备,在业务逻辑上是不同的,event time 和数据上传速度也不同,却要共享同一个 Operator 的 
watermark,这是没有道理的。

在网上搜索的时候,找到一篇资料也提到了这个问题。https://bigdata.cs.ut.ee/keyed-watermarks-partition-aware-watermark-generation-apache-flink



Best  regards
Utopia

回复