Re: 配置了state.checkpoints.num-retained为1,但taskmanger 中checkpoints数量越来越多,占用内存,如何解决?
8d32a26.b2174b65.png> > > > > > > 梁嘉贤 > 深圳市城市交通规划设计研究中心有限公司/数据模型中心 > > > > -- Original -- > From: "Yu Chen"; > Date: Wed, Nov 8, 2023 12:59 PM > To: "梁嘉贤"; > Cc: "user&
Re: 配置了state.checkpoints.num-retained为1,但taskmanger 中checkpoints数量越来越多,占用内存,如何解决?
Hi 嘉贤, Flink Web上展示的Checkpoint的历史记录,state-checkpoints.num-retained参数会控制在Checkpoint storage中存储的checkpoint数量,Flink会滚动删除Checkpoint storage的checkpoint文件,但是这个过程中Flink Web上记录是不会删除的(你可以在对应的Checkpoint记录的Path上的地址去确认)。 同时,如果你是Heap StateBackend,那么状态是存储到内存里的,checkpoint是flush到文件的。之所以内存增大大概率是任务本身导致的,而非历史Chec