Flink Stream SQL 何时支持拉取 Iceberg表

2021-01-10 文章 Luna Wong
我看Iceberg官方文档,Stream目前只支持Iceberg Sink但是没有Source。未来在哪个版本会支持Iceberg Source Stream。有issue吗?

Re:Sql Client读取Kafka报错:Could not find any factory for identifier 'kafka'

2021-01-10 文章 air23
下载个 flink-sql-connector-kafka 这个jar 放在lib下试下 在 2021-01-09 02:08:12,"inza9hi" 写道: >搜了下之前的邮件,貌似没有发现和我同样的问题。 > >lib 下的Jar >flink-csv-1.11.3.jar >flink-table-blink_2.11-1.11.3.jar >flink-dist_2.11-1.11.3.jar >flink-table_2.11-1.

Re: Row function cannot have column reference through table alias

2021-01-10 文章 刘海
使用ROW里面的 表别名.字段名 会出现解析错误,我之前使用hbase也有这个问题,我一般是在查询里面包一层子查询 | | 刘海 | | liuha...@163.com | 签名由网易邮箱大师定制 On 1/11/2021 11:04,马阳阳 wrote: We have a sql that compose a row with a table’s columns. The simplified sql is like: INSERT INTO flink_log_sink SELECT b.id, Row(b.app_id, b.message) FROM flink_log_s

Re: CEP 如何按事件时间处理

2021-01-10 文章 huang botao
你好,Flink 默认按照ProcessingTime 来处理数据, 如果想修改的话,可以可以通过`env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);` 的方式来设置 按照 EventTime 来处理数据。 在CEP中也是通过一样的方法来设置时间处理方式。 On Wed, Jan 6, 2021 at 7:58 PM bulterman <15618338...@163.com> wrote: > Hi all, > 我写了一个测试demo,设置了水印从数据中提取,但在cep的pattern里within()

Re:Row function cannot have column reference through table alias

2021-01-10 文章 马阳阳
The error message when using a view is as the following: org.apache.flink.table.api.TableException: Cannot generate a valid execution plan for the given query: FlinkLogicalSink(table=[default_catalog.default_database.flink_log_sink], fields=[id, EXPR$1]) +- FlinkLogicalCalc(select=[id, ROW(famil

Row function cannot have column reference through table alias

2021-01-10 文章 马阳阳
We have a sql that compose a row with a table’s columns. The simplified sql is like: INSERT INTO flink_log_sink SELECT b.id, Row(b.app_id, b.message) FROM flink_log_source a join flink_log_side b on a.id = b.id; When we submit the sql to Flink, the sql cannot be parsed, with the following

Re:Re: 【Flink SQL】维表优化规则建议

2021-01-10 文章 张韩
hi,感谢回复 自定义的维表支持lookup,在DDL中维表定义主键和时间属性 在 2021-01-11 10:02:43,"Leonard Xu" 写道: >Hi, >这个异常信息可以提升的准确说是需要主键和even-time 时间属性,你的自定义维表是同时支持lookup和scan的吗? >这个异常信息可以提升的,如果确定问题的话可以再社区建个JIRA提升下的。 > >祝好 >Leonard Xu > >> 在 2021年1月9日,09:39,张韩 写道: >> >> 版本:1.12 >> 问题:维表关联若是支持事件时间,维表需要有主键和时间属性,在满足这两个条件前提下,自定

Re: flink1.12.0 native k8s启动不了

2021-01-10 文章 Yang Wang
这个问题的根本原因是你Client端用的是1.12版本,但是你build的镜像的基础镜像是1.11的,因为1.12的镜像还没有发布到docker hub上 你用正确的Dockerfile[1]自己重新build一个,再运行一下看看 [1]. https://github.com/apache/flink-docker/tree/master/1.12/scala_2.12-java8-debian Best, Yang yzxs 于2021年1月8日周五 下午12:16写道: > 1、使用以下命令发布任务: > ./bin/flink run-application \ >

Re:Re: 【Flink SQL】维表优化规则建议

2021-01-10 文章 张韩
Hi,感谢回复 自定义的维表仅仅是支持lookup,是在DDL中定义了维表主键和时间属性 在 2021-01-11 10:02:43,"Leonard Xu" 写道: >Hi, >这个异常信息可以提升的准确说是需要主键和even-time 时间属性,你的自定义维表是同时支持lookup和scan的吗? >这个异常信息可以提升的,如果确定问题的话可以再社区建个JIRA提升下的。 > >祝好 >Leonard Xu > >> 在 2021年1月9日,09:39,张韩 写道: >> >> 版本:1.12 >> 问题:维表关联若是支持事件时间,维表需要有主键和时间属性,在满足这两个条件前提下

Re: 【Flink SQL】维表优化规则建议

2021-01-10 文章 Leonard Xu
Hi, 这个异常信息可以提升的准确说是需要主键和even-time 时间属性,你的自定义维表是同时支持lookup和scan的吗? 这个异常信息可以提升的,如果确定问题的话可以再社区建个JIRA提升下的。 祝好 Leonard Xu > 在 2021年1月9日,09:39,张韩 写道: > > 版本:1.12 > 问题:维表关联若是支持事件时间,维表需要有主键和时间属性,在满足这两个条件前提下,自定义维表若是实现LookupTableSource接口则优化会报异常: > Caused by: org.apache.calcite.plan.RelOptPlanner$CannotPl

flink sqlsubmit自定义程序报错

2021-01-10 文章 Fei Han
大家好! 参考云邪写的sqlsubmit提交SQL文件,我修改后提交,SQL文件已经识别了,可以创建表。但是提交任务insert的时候,在local模式下就报错。 Flink版本是1.12.0。我的提交命令是:$FLINK_HOME/bin/flink run -mip:8081 -d -p 3 -c sql.submit.SqlSubmit $SQL_JAR -f $sql_file 在local模式报错如下: The program finished with the following exception: org.apache.flink.client.progra