By using the DataStream API with the same business logic I'm getting no dropped events.
Von: Jan Oelschlegel <oelschle...@integration-factory.de> Gesendet: Mittwoch, 17. Februar 2021 19:18 An: user <user@flink.apache.org> Betreff: Kafka SQL Connector: dropping events if more partitions then source tasks Hi, i have a question regarding FlinkSQL connector for Kafka. I have 3 Kafka partitions and 1 Kafka SQL source connector (Parallelism 1). The data within the Kafka parttitons are sorted based on a event-time field, which is also my event-time in Flink. My Watermark is generated with a delay of 12 hours WATERMARK FOR eventtime as eventtime - INTERVAL '12' HOUR But the problem is that I see dropping events due arriving late in Prometheus. But with parallelism of 3 there are no drops. Do I always have to have as much source-tasks as I have Kafka partitions? Best, Jan HINWEIS: Dies ist eine vertrauliche Nachricht und nur für den Adressaten bestimmt. Es ist nicht erlaubt, diese Nachricht zu kopieren oder Dritten zugänglich zu machen. Sollten Sie diese Nachricht irrtümlich erhalten haben, bitte ich um Ihre Mitteilung per E-Mail oder unter der oben angegebenen Telefonnummer. HINWEIS: Dies ist eine vertrauliche Nachricht und nur für den Adressaten bestimmt. Es ist nicht erlaubt, diese Nachricht zu kopieren oder Dritten zugänglich zu machen. Sollten Sie diese Nachricht irrtümlich erhalten haben, bitte ich um Ihre Mitteilung per E-Mail oder unter der oben angegebenen Telefonnummer.
