Fwd: 从 state 中恢复数据,更改 yarn container 个数会有影响吗

2019-11-04 Thread Biao Liu
Hi, this topic should be sent to user-zh mailing list. Just forward there. Thanks, Biao /'bɪ.aʊ/ -- Forwarded message - From: Yun Tang Date: Tue, 5 Nov 2019 at 13:20 Subject: Re: 从 state 中恢复数据,更改 yarn container 个数会有影响吗 To: wangl...@geekplus.com.cn , user &

Re: 从 state 中恢复数据,更改 yarn container 个数会有影响吗

2019-11-04 Thread Yun Tang
下游task的CPU在进行什么操作,再做之后的判断。 祝好 唐云 From: "wangl...@geekplus.com.cn" Date: Tuesday, November 5, 2019 at 11:48 AM To: user Subject: 从 state 中恢复数据,更改 yarn container 个数会有影响吗 从 RocketMQ 中消费数据做处理。 代码中最大的并行度为 8, 提交任务时指定 -ys 4 ,会自动分配 2 个 container 作为 taskMgr 运行一段时间后以 savepoint 方式停止。 再从 savepo

从 state 中恢复数据,更改 yarn container 个数会有影响吗

2019-11-04 Thread wangl...@geekplus.com.cn
从 RocketMQ 中消费数据做处理。 代码中最大的并行度为 8, 提交任务时指定 -ys 4 ,会自动分配 2 个 container 作为 taskMgr 运行一段时间后以 savepoint 方式停止。 再从 savepoint 恢复,此时指定 -ys 2 , 会分配 4 个container 作为 taskMgr , 但任务提交后程序不从 RocketMQ 消费数据了,消费 TPS 一直是 0,这是什么原因呢? 谢谢, 王磊 wangl...@geekplus.com.cn