从代码上看,Flink
内部是有限速的组件的。org.apache.flink.api.common.io.ratelimiting.GuavaFlinkConnectorRateLimiter,
但是并没有在connector中使用。
casel.chen 于2024年6月5日周三 14:36写道:
> kafka本身是支持消费限流的[1],但这些消费限流参数在flink kafka sql
> connector中不起作用,请问这是为什么?如何才能给flink kafka source table消费限速? 谢谢!
>
>
> [1] https://blog.csdn.net/q
适当调小chunk.size 的大小可能有用。
Guo Baoxing 郭宝兴 (集团IT) 于2025年5月16日周五 11:05写道:
> 实时任务flink on yarn运行,实时同步MySQL表到StarRocks经常遇到的内存问题:十万级别的数据量使用jm
> 1024mb,tm1024mb启动会报连接超时的问题,tm改成2048mb就会同步成功,但是源表十万级别数据量tm用2048mb内存非常浪费,看jobmanager日志,主要原因应该在chunk上,因为源表主键id的最大值为190562215,最小id为
> 1,可能是因为chunk太大导致内存不够,这种应该怎么优化