4. 看下你的 sink 和 source 是不是 chain 在一个 task 里面的,如果是这样的,那么某个 sink task 慢,就会直接导致这个 source 分区的数据读的慢。
On Thu, 3 Dec 2020 at 21:42, Jark Wu <[email protected]> wrote: > 1. 是不是共享了 source,看下 web ui 中的拓扑图就知道了 > 2. 追数据的时候,或者下游消费速度不一的时候,分区之间消费不均衡是很正常的。 > 3. 你可以调大 sink 的并发,以及增加 buffer size 来缓解这个问题。 > > Best, > Jark > > On Wed, 2 Dec 2020 at 19:22, zz <[email protected]> wrote: > >> hi各位: >> 目前我有一个任务,source table是读取一个topic生成的,但是有6个sink,使用了多条insert >> 语句输出到同一张mysql表中,按照我的理解,这些insert语句 >> 应该都是共享这个source table的,读取kafka只需要读取一次,但是在运行过程中发现kafka >> topic有的分区消费的很快有的分区很慢,请问一下可能是什么原因呢? >> topic一共是18个分区,任务是18个并行度 > >
