回复：flink1.9.3 on yarn 提交任务问题

Wed, 09 Sep 2020 04:32:33 -0700 

这个应该是和你配置的HA有关，你去掉HA配置试试，或者检查一下HA配置



Best  Jun


------------------ 原始邮件 ------------------
发件人: 宁吉浩 <[email protected]&gt;
发送时间: 2020年9月9日 17:46
收件人: user-zh <[email protected]&gt;
主题: 回复：flink1.9.3 on yarn 提交任务问题




我使用如下两条命令提交,发现两个任务共使用一个flink-ui
在ui里取消任意一个job,将会使整个集群被取消,这个应该不是正常情况吧?
或者说,是我的提交命令有问题吗？ 
ps: -d 参数也增加过,没作用

nohup /data2/workspace/flink/flink-1.9.3/bin/flink run -m yarn-cluster \
-yn 1 -ys 3 -p 3&nbsp; -ytm 2048m -ynm test \
-c aa.class aaa.jar \ &amp;
nohup /data2/workspace/flink/flink-1.9.3/bin/flink run -m yarn-cluster \
-yn 1 -ys 3 -p 3&nbsp; -ytm 2048m -ynm test2 \
-c bb.class bbb.jar \ &amp;


------------------------------------------------------------------
发件人：zheng faaron <[email protected]&gt;
发送时间：2020年9月8日(星期二) 16:09
收件人：[email protected] <[email protected]&gt;
主　题：Re: flink1.9.3 on yarn 提交任务问题

Hi,

第一个问题，per-job的方式和session的方式在运行时是不在一个ui中的。

第二个问题，可以配置yarn. container. vcore

Best,
Faaron Zheng

________________________________
From: 宁吉浩 <[email protected]&gt;
Sent: Monday, September 7, 2020 3:23:12 PM
To: user-zh <[email protected]&gt;
Subject: flink1.9.3 on yarn 提交任务问题

我选择用 bin/flink run -m yarn cluster 的方式提交任务；
遇到了两个问题:
1. 这两个任务在一个flink集群ui里可见，甚至和之前的flink-session(测试使用)集群在同一个ui里， 这是正常现象吗?
2. 我知道可以通过并行度和slot的指定来确定 tm的数量，查看下图，两个任务一共占用了yarn的8个容器，请问 cpu这个该如何设定?
ps: 之前使用spark 可以直接设定 执行器核心数量,现在找不到方法，总不能一个tm8个solt,就使用一个cpu吧
[cid:__aliyun159946339265863261]

回复