磊哥,我想再多问一个问题。 若topic只有一个分区的情况下。。 我这边压了一下,网卡流量大概是30Mbit/s,不知道如何提高这个消费速度才好,压测程序是个很简单的source,并丢弃的处理。
-----邮件原件----- 发件人: 范超 发送时间: 2020年9月24日 星期四 10:49 收件人: [email protected] 主题: 答复: 回复:FlinkKafkaConsumer on Yarn 模式下 设置并行度无法提高kafka的消费速度,但是提交两个应用却可以 感谢磊哥,后来发现确实是这个问题导致。 Source节点的并行度取决于topic的分区数 -----邮件原件----- 发件人: 吴磊 [mailto:[email protected]] 发送时间: 2020年9月18日 星期五 16:29 收件人: user-zh <[email protected]> 主题: 回复:FlinkKafkaConsumer on Yarn 模式下 设置并行度无法提高kafka的消费速度,但是提交两个应用却可以 hello,Source节点并行度的有效性是取决于topic对应的分区数的。比如如果你只有6个分区,那你12个并行度和6个并行度的消费速度是一样的。 ------------------ 原始邮件 ------------------ 发件人: "user-zh" <[email protected]>; 发送时间: 2020年9月18日(星期五) 下午4:07 收件人: "[email protected]"<[email protected]>; 主题: FlinkKafkaConsumer on Yarn 模式下 设置并行度无法提高kafka的消费速度,但是提交两个应用却可以 各位好,我遇到了一个奇怪的问题 我是使用flink1.10和 flink-connector-kafka_2.11 使用Flink on yarn 模式运行,无论怎么调大并行度。Kafka节点(我使用的单节点)的网卡输出速度一直上不去。 但是提交两个同样的应用同样使用FLink on Yarm模式,Kafka节点的网卡输出速度是正常翻倍的。 我想达到的目的不是通过多向yarn集群提交多一个app,而是通过设置并行度来提高应用的吞吐量。。 求各位大佬指导
