Re: Flink SQL的状态清理

2023-09-24 文章 Jane Chan
Hi, 可以通过设置 table.exec.state.ttl 来控制状态算子的 state TTL. 更多信息请参阅 [1] [1] https://nightlies.apache.org/flink/flink-docs-master/zh/docs/dev/table/concepts/overview/#%e7%8a%b6%e6%80%81%e7%ae%a1%e7%90%86 Best, Jane On Thu, Sep 21, 2023 at 5:17 PM faronzz wrote: > 试试这个 t_env.get_config().set("table.exe

Re: Flink SQL的状态清理

2023-10-17 文章 Jane Chan
Jane On Mon, Oct 9, 2023 at 6:01 PM 小昌同学 wrote: > 你好,老师,我也是这样设置的,我这边是flink sql client,但是我去flink web ui界面并没有看到这个配置生效。 > > > | | > 小昌同学 > | > | > ccc0606fight...@163.com > | > 回复的原邮件 > | 发件人 | Jane Chan | > | 发送日期 | 2023年9月25日 11:24 | > | 收件人 | | >

Re: Re:flink sql关联维表在lookup执行计划中的关联条件问题

2024-03-14 文章 Jane Chan
Hi iasiuide, 感谢提问. 先来回答最后一个问题 关联维表的限制条件有的会作为关联条件,有的不作为关联条件吗? 这种有什么规律吗? > Lookup join 的 on condition 会在优化过程中经过一系列改写, 这里只简要对影响 lookup 和 where 的几处进行说明. 1. logical 阶段, FlinkFilterJoinRule 会将 on 条件 split 为针对单边的 (左表/右表) 和针对双边的. **针对单边的 filter 会被尽量 pushdown 到 join 节点之前** (这意味着有可能会额外生成一个 Filter 节点); Fi

Re: [ANNOUNCE] Apache Flink Table Store 0.2.0 released

2022-08-28 文章 Jane Chan
Congrats! Thanks Jingsong for driving this release, and thanks to all contributors! Best, Jane On Mon, Aug 29, 2022 at 11:35 AM Jingsong Li wrote: > The Apache Flink community is very happy to announce the release of > Apache Flink Table Store 0.2.0. > > Apache Flink Table Store is a unified st

Re: regular join每条流单独设置ttl

2023-02-14 文章 Jane Chan
你好, 目前 Flink SQL 还不支持为每条流单独设置 state TTL, 不过社区计划支持这个功能, 最近就会有 FLIP 提出, 也欢迎参与讨论. Best regards, Jane On Wed, Feb 15, 2023 at 11:13 AM Jason_H wrote: > 大家好, > 我遇到一个问题,在使用flinksql做双流join时,我用的是常规的regular > join,分别是一条数据流,一条维表流,现在我想单独给数据流设置ttl,请教一下可以怎么做,flink版本是1.15.2 > > > | | > Jason_H > | > | > hyb

Re: 使用flink sql 将kafka的数据同步到mysql无法删除。

2023-02-25 文章 Jane Chan
Hi, 原问题中 String 变量 kafka 和 mysql 赋值反了, 以及能提供下所使用的 flink 版本吗, 我使用 1.16.1 没有复现此问题 payload { "before": { "rowid": "f251af39-1a95-4d6f-b4cb-cdf93d5d1b6d", "63f73b332e77497da91286f0": "Jerry", "63f73b3f2e77497da91286fb": "mobile number", "63f73b3f2e77497da91286fc": "telephone number

Re:

2023-02-25 文章 Jane Chan
退订请发送邮件至 user-zh-unsubscr...@flink.apache.org Best, Jane On Fri, Feb 24, 2023 at 7:43 PM LITA LITA wrote: > 退订 > > <704669...@qq.com.invalid> 于2023年2月24日周五 07:58写道: > > > 退订 > > > > >

Re: 使用flinksql将kafka的数据同步mysql,在源kafka进行删除操作,mysql收到op为d的数据进行删除操作但是与此同时会新增一条当前数据以前的旧数据。

2023-03-01 文章 Jane Chan
Hi, 可以尝试用 EXPLAIN CHANGELOG_MODE[1] 把 plan 打出来看看, 或者尝试升级到 FLINK 1.16 版本, 这个 query 在 1.16.2 上验证没有问题 [1] https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/dev/table/sql/explain/ Best, Jane On Wed, Mar 1, 2023 at 6:22 PM 陈佳豪 wrote: > flink ,kafka连接 jdbc连接版本都是1.15.2的 > > > > > > > >

Re: Re: 使用flinksql将kafka的数据同步mysql,在源kafka进行删除操作,mysql收到op为d的数据进行删除操作但是与此同时会新增一条当前数据以前的旧数据。

2023-03-04 文章 Jane Chan
wrote: > hi 你好 > 目前没有1.16.2版本的吧? 我看flink官网都是1.16.0 或者是1.16.1的 > > > > > > > > > > > > > > > > > > 在 2023-03-02 11:52:41,"Jane Chan" 写道: > >Hi, > > > >可以尝试用 EXPLAIN CHANGELOG_MODE[1] 把 plan 打出来看看, 或者尝试升级到 F

Re: Re:Re: Re: 使用flinksql将kafka的数据同步mysql,在源kafka进行删除操作,mysql收到op为d的数据进行删除操作但是与此同时会新增一条当前数据以前的旧数据。

2023-03-08 文章 Jane Chan
63fd660536521f81a2cfabad, > 63fd660536521f81a2cfabae]) > > > > > >== Optimized Execution Plan == > >Sink(table=[default_catalog.default_database.电话_1], fields=[rowID, 名称, > 手机, 座机], upsertMaterialize=[true]) > >+- Calc(select=[CAST(rowid AS VARCHAR(255)) AS rowID, > 63

Re: 我上报的一个sql bug没人处理怎么办?

2023-03-22 文章 Jane Chan
Hi, 这是 Calcite 的一个 bug[1], 已经在 1.27.0 上修复. 不过由于 Flink 1.15.1, 1.15.2 和 1.16.1 都依赖 Calcite 1.26.0, 所以目前只能尝试如下方式绕过, 可以等 release-1.17 发布后升级到新版本上, 应该不会再有问题了. select * from (values(case when true then map['test','123456789'] else map ['msg_code','0', 'msg_reason', cast('abc' as string)] end)); [1] h

Re: regular join每条流单独设置ttl

2023-03-22 文章 Jane Chan
Hi, 我在社区发起了在 Operator 粒度设置 State TTL 的讨论 [1], 支持为每条流单独设置 TTL, 欢迎参与讨论 :) [1] https://lists.apache.org/thread/ffmc96gv8ofoskbxlhtm7w8oxv8nqzct Best, Jane On Wed, Feb 15, 2023 at 1:26 PM Jane Chan wrote: > 你好, > > 目前 Flink SQL 还不支持为每条流单独设置 state TTL, 不过社区计划支持这个功能, 最近就会有 FLIP 提出

Re: Re: 我上报的一个sql bug没人处理怎么办?

2023-03-22 文章 Jane Chan
Hi, 如回复所述, 如果不想切换版本, 在 1.15 上可以尝试手动 cast 'abc' 字段为 varchar 来绕过这个问题 map ['msg_code','0', 'msg_reason', cast('abc' as string)] 如果不想修改 SQL, 目前只能手动编译出 release-1.17 分支, 编译方法参考 [1] [1] https://nightlies.apache.org/flink/flink-docs-master/docs/flinkdev/building/ 祝好! Jane On Wed, Mar 22, 2023 at 6:04 

Re: flink写入mysql数据异常

2023-03-23 文章 Jane Chan
3.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fsmed9b2013afa816e025ae07760d572391.jpg&items=%5B%22ccc0606fighting%40163.com%22%5D> > 回复的原邮件 > 发件人 Jane Chan > 发送日期 2023年3月23日 14:23 > 收件人 > 主题 Re: flink写入mysql数据异常 > 可以把完整 SQL 发出来看看 > > 祝好! > Jane >

Re: flink写入mysql数据异常

2023-03-23 文章 Jane Chan
om&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fsmed9b2013afa816e025ae07760d572391.jpg&items=%5B%22ccc0606fighting%40163.com%22%5D> > 回复的原邮件 > 发件人 Jane Chan > 发送日期 2023年3月23日 15:42 > 收件人 > 主题 Re: flink写入mysql数据异常 > Hi, > > 没有看到附件哦. 回到你的问题, Flink SQL 目前支持以 U

Re: 退订

2023-09-03 文章 Jane Chan
退订请发送邮件至 user-zh-unsubscr...@flink.apache.org Best, Jane On Sun, Sep 3, 2023 at 6:15 PM lei-tian wrote: > 退订 > > > | | > lei-tian > | > | > totorobabyf...@163.com > |