Re: 请问flink sql作业如何给kafka source table消费限速?

2024-06-04 文章 Alex Ching
从代码上看,Flink 内部是有限速的组件的。org.apache.flink.api.common.io.ratelimiting.GuavaFlinkConnectorRateLimiter, 但是并没有在connector中使用。 casel.chen 于2024年6月5日周三 14:36写道: > kafka本身是支持消费限流的[1],但这些消费限流参数在flink kafka sql > connector中不起作用,请问这是为什么?如何才能给flink kafka source table消费限速? 谢谢! > > > [1] https://blog.csdn.net/q

Re: 稀疏主键导致内存过大

2025-05-15 文章 Alex Ching
适当调小chunk.size 的大小可能有用。 Guo Baoxing 郭宝兴 (集团IT) 于2025年5月16日周五 11:05写道: > 实时任务flink on yarn运行,实时同步MySQL表到StarRocks经常遇到的内存问题:十万级别的数据量使用jm > 1024mb,tm1024mb启动会报连接超时的问题,tm改成2048mb就会同步成功,但是源表十万级别数据量tm用2048mb内存非常浪费,看jobmanager日志,主要原因应该在chunk上,因为源表主键id的最大值为190562215,最小id为 > 1,可能是因为chunk太大导致内存不够,这种应该怎么优化