hi,感谢提供的方案 是的,day是订单的创建时间
想请教下,你们的离线任务是每次都将全量订单数据一起修正吗,就是不管历史的有没有变化 都去作修正, 要是这样那会不会出现绝大部分情况,离线跑的任务都是无效的,因为历史数据未发生变化 > 在 2020年8月17日,下午1:22,zhiyezou <1530130...@qq.com> 写道: > > HI > > > 这个day应该是订单的创建时间吧 > > > 我觉得我们遇到的问题有些类似,看下我们的方案对你是否有所帮助。 > > > 首先,我们会把day这个条件控制在3天(select * where day > >now-3),状态的TTL也是3天,即flink保留3天的状态,这样即使有3天前的数据到来也不会更新我们的结果表;这样可以解决更新错误的问题。 > > > 然后,通过离线任务来定时修正3天前的结果数据。这样可以保证数据的最终一致性 > > > > > > > ------------------ 原始邮件 ------------------ > 发件人: > "user-zh" > > <superainbo...@163.com>; > 发送时间: 2020年8月17日(星期一) 中午12:32 > 收件人: "user-zh@flink.apache.org"<user-zh@flink.apache.org>; > > 主题: (无主题) > > > > hi,社区的小伙伴,大家好!我有一个应用场景,想请教下大家有没有遇过,有什么好的方案。 > 场景就是:按照user和day的维度统计订单表里的有效订单数,同时存在历史的订单状态随时可能被更新,比如可能当前把2个月前的订单状态置未true,所以没法根据历史结果预统计,翻译称sql就是select > user,day,count(*) from table where state = true group by > user,day;目前我已经用flink-sql-cdc-connector实现了,但是有一个问题就是state,因为按user day组合 > 那么如果全部状态都保存后期回越来越大,但是如果设置ttl,那么如果历史订单变化,最终更新出去的值也不对。 > 希望社区的小伙伴给我出出主意