https://eng.uber.com/athenax/ <https://eng.uber.com/athenax/>
uber开源的athenax项目就是将JobGraph直接提交到集群，你可以参考下 > 在 2019年4月3日，上午11:33，文报 <[email protected]> 写道： > > 感谢各位的来信。 > > 昨天思考了两位的问题，关于依赖的问题。可以将所有任务都通用的依赖放置在lib目录下(如:Flink集群依赖，Kafka依赖)，将各个任务不同的依赖放置在以任务名命名的文件夹下。Flink启动提供了-C来加载jar包，那么可以用这点来完成两部分jar的加载。不同任务的依赖可以通过代码直接上传到各自的目录上。关于编译的问题，暂时不知道如何提交JobGraph到JobManager上，所以不知道编译会不会有问题。 > > > StreamExecutionEnvironment.getExecutionEnvironment().getStreamGraph().getJobGraph()可以获取到JobGraph，我应该如何将获取到JobGraph上传到JobManager上。第一步应该如何去做。 > 期待各位的回信，感谢。 > > > > > ------------------ 原始邮件 ------------------ > 发件人: "Yuan Yifan"<[email protected]>; > 发送时间: 2019年4月2日(星期二) 下午3:24 > 收件人: "user-zh"<[email protected]>; > > 主题: Re:回复： 远程提交代码到Flink集群 > > > > 获取生成的图是可以的，env.，但是有一个问题，你图中使用的各种依赖恐怕无法如期提交到各个节点上，所以运行的时候还是得打包的JAR的……我建议此事就不折腾了吧。 > > > > > > > > > 在 2019-04-02 14:39:45，"文报" <[email protected]> 写道： >> 谢谢各位的回复。 >> >> 我通过将代码推到git上，利用jenkins打包生成jar文件，然后调用shell脚本完成了简单的自动化。今天看见了JobManager是可以直接接受JobGraph，那么我能不能在代码中直接获取到自己代码生成的JobGraph，提交到JobManager上，这样就不需要通过jar包的形式上传运行了。如果能实现，第一步我应该怎么去做。 >> 期待各位的回信，感谢。 >> >> >> >> >> ------------------ 原始邮件 ------------------ >> 发件人: "我自己的邮箱"<[email protected]>; >> 发送时间: 2019年3月29日(星期五) 下午2:19 >> 收件人: "user-zh"<[email protected]>; >> >> 主题: 回复： 远程提交代码到Flink集群 >> >> >> >> 谢谢各位的解答，我试试。 >> >> >> >> >> ------------------ 原始邮件 ------------------ >> 发件人: "Lifei Chen"<[email protected]>; >> 发送时间: 2019年3月29日(星期五) 中午11:10 >> 收件人: "user-zh"<[email protected]>; >> >> 主题: Re: 远程提交代码到Flink集群 >> >> >> >> 有一个小巧的go cli, 支持直接部署jar包到flink manager上。 >> >> https://github.com/ing-bank/flink-deployer >> >> 希望能帮到你！ >> >> Kaibo Zhou <[email protected]> 于2019年3月29日周五 上午11:08写道： >> >>> 可以用 flink 提供的 Restful API 接口，upload 上传 jar 包然后 run。 >>> >>> 参考： >>> >>> https://ci.apache.org/projects/flink/flink-docs-stable/monitoring/rest_api.html#jars-upload >>> 和 https://files.alicdn.com/tpsservice/a8d224d6a3b8b82d03aa84e370c008cc.pdf >>> 文档的介绍 >>> >>> 文报 <[email protected]> 于2019年3月28日周四 下午9:06写道： >>> >>>> 各位好！ >>>> >>>> >>> 请教一下各位，在本地开发完代码后，怎么样可以将编写好的代码直接提交到Flink集群上运行?(想做Flink任务的自动化，避免每次开发完成后都需要打jar包提交到web页面上)
