线上有一个流量较大的flink sql作业需要升级添加业务字段,当前主要是kafka (canal) 多表关联写入 mongodb 数据同步场景,除了source offset外无其他状态,如何让用户对升级无感呢? 常规的停止作业再启动作业至少要几十秒,会造成消息积压告警,有没有可能先启新作业待运行平稳后再停止老作业?kafka group使用同一个,作业启动从group-offsets开始可以吗?另外,如果是有大状态作业又要如何无缝升级?
- flink sql作业无缝升级问题 casel.chen
- Re: flink sql作业无缝升级问题 Jiangang Liu
- Re: flink sql作业无缝升级问题 yidan zhao
- Re:Re: flink sql作业无缝升级问题 casel.chen
- Re: Re: flink sql作业无缝升级问题 yidan zhao