磊哥,我想再多问一个问题。
若topic只有一个分区的情况下。。
我这边压了一下,网卡流量大概是30Mbit/s,不知道如何提高这个消费速度才好,压测程序是个很简单的source,并丢弃的处理。


-----邮件原件-----
发件人: 范超 
发送时间: 2020年9月24日 星期四 10:49
收件人: [email protected]
主题: 答复: 回复:FlinkKafkaConsumer on Yarn 模式下 设置并行度无法提高kafka的消费速度,但是提交两个应用却可以

感谢磊哥,后来发现确实是这个问题导致。

Source节点的并行度取决于topic的分区数


-----邮件原件-----
发件人: 吴磊 [mailto:[email protected]] 
发送时间: 2020年9月18日 星期五 16:29
收件人: user-zh <[email protected]>
主题: 回复:FlinkKafkaConsumer on Yarn 模式下 设置并行度无法提高kafka的消费速度,但是提交两个应用却可以

hello,Source节点并行度的有效性是取决于topic对应的分区数的。比如如果你只有6个分区,那你12个并行度和6个并行度的消费速度是一样的。




------------------&nbsp;原始邮件&nbsp;------------------
发件人:                                                                            
                                            "user-zh"                           
                                                         <[email protected]&gt;;
发送时间:&nbsp;2020年9月18日(星期五) 下午4:07
收件人:&nbsp;"[email protected]"<[email protected]&gt;;

主题:&nbsp;FlinkKafkaConsumer on Yarn 模式下 设置并行度无法提高kafka的消费速度,但是提交两个应用却可以



各位好,我遇到了一个奇怪的问题

我是使用flink1.10和 flink-connector-kafka_2.11

使用Flink on yarn 模式运行,无论怎么调大并行度。Kafka节点(我使用的单节点)的网卡输出速度一直上不去。

但是提交两个同样的应用同样使用FLink on Yarm模式,Kafka节点的网卡输出速度是正常翻倍的。

我想达到的目的不是通过多向yarn集群提交多一个app,而是通过设置并行度来提高应用的吞吐量。。

求各位大佬指导

回复