背景:1.flink 集群模式 standalone HA ,共三台,zk选举jobmanager,1 active 1 standby 2.文件系统由于公司原因,没有用hdfs,用的本地文件系统 3.backend用的增量rocksdb
配置情况: 进程分布情况如下: 问题:checkpoint数据在01(01是主jobmanager)上占用很小,但在02、03节点增长特别快,目前已占用数据盘90%的存储。 但由于使用的是增量rocksdb,不敢随意删chekpoint数据,想问问大佬们: 1.是否有办法让flink自动清理过期checkpoint,还是只能通过加磁盘方式解决? 2.我一直认为checkpoint数据是由主jobmanager触发写的,那么在当前情况应该只有01节点会写入checkpoint(本地磁盘),为什么02、03节点也会写入checkpoint,而且写入量比01大那么多?
