Hi, GuavaFlinkConnectorRateLimiter 目前只在 flink-connector-gcp-pubsub[1] 有使用。 Flink CDC 还未支持限流[2],目前可以尝试降低 snapshot 并发数来缓解数据库压力。
Best, Jiabao [1] https://github.com/apache/flink-connector-gcp-pubsub/blob/f5372f25cfc1954d00a4b2fc9342e8ed5a3ef3ab/flink-connector-gcp-pubsub/src/main/java/org/apache/flink/streaming/connectors/gcp/pubsub/PubSubSource.java#L22 [2] https://github.com/ververica/flink-cdc-connectors/issues/510 > 2024年1月2日 11:39,casel.chen <[email protected]> 写道: > > 业务表存量数据很大,如果不加限流直接使用flink cdc读取snapshot阶段数据的话会造成业务库压力,触发数据库告警,影响在线业务。 > 请问Flink CDC中如何在Snapshot阶段读取数据时进行限流? > > > 我看到社区之前有人提议过,但issue一直是open状态 > https://issues.apache.org/jira/browse/FLINK-18740 > > > 另外,我在flink最新master分支源码中有找到 > GuavaFlinkConnectorRateLimiter,但没有找到调用它的例子,请问如何在flink作业中使用限流呢?
