Hi, 相同记录的不同操作 的 gwo.order_code 会相同吗。默认 group by 的并行度是最大的并行度,如果不同的话,那么会被 hash 到 不同的并发,就有可能出现你说的那个情况。
在 2020-10-26 10:34:30,"air23" <[email protected]> 写道: >这边源数据 就是用cdc读取mysql。cdc不会保证有序吗 ? Forword 这个是通过什么方式保证的? 谢谢你的回复 >在 2020-10-26 05:37:45,"hailongwang" <[email protected]> 写道: >>Hi air, >>保证内部是 Forword 试试,因为内部是 Hash 或者 Rebalance 的话,就会出现相同的数据的操作记录被不同的并发处理,这样到 sink >>时候就会出现乱序的可能。 >> >> >>Best, >>Hailong Wang. >> >> >> >> >>在 2020-10-23 13:21:19,"air23" <[email protected]> 写道: >>>你好, >>>这边发现使用cdc读取mysql ,然后写入mysql会有乱序问题 >>>在上游mysql update一条数据,connert=print是有一条delete 和一条insert的数据, >>>但是jdbc写入mysql时候 发现mysql有时候是正常的,但是有时候会没有,当把并行度改成1的时候是正常的。 >>>这边怀疑是乱序了,先insert 再delete了。所以导致结果表 没有这条数据,请问flink sql 或者flink cdc 怎么保证有序。
