Re: [ANNOUNCE] Apache Flink ML 2.0.0 released

2022-01-10 文章 Till Rohrmann
This is really great news. Thanks a lot for all the work Dong, Yun, Zhipeng and others! Cheers, Till On Fri, Jan 7, 2022 at 2:36 PM David Morávek wrote: > Great job! <3 Thanks Dong and Yun for managing the release and big thanks > to everyone who has contributed! > > Best, > D. > > On Fri, Jan

sql-gateway和jdbc-driver还维护吗?

2022-01-10 文章 Ada Wong
我看这俩项目一两年没更新了。想用Flink彻底替换到Spark,这俩项目是刚需,用来替换SparkThriftServer。

Re: sql-gateway和jdbc-driver还维护吗?

2022-01-10 文章 Ada Wong
https://github.com/ververica/flink-jdbc-driver https://github.com/ververica/flink-sql-gateway Ada Wong 于2022年1月10日周一 19:32写道: > > 我看这俩项目一两年没更新了。想用Flink彻底替换到Spark,这俩项目是刚需,用来替换SparkThriftServer。

?????? sql-gateway??jdbc-driver??????????

2022-01-10 文章 ??????
 https://github.com/DataLinkDC/dlink ?? --  -- ??: "user-zh"

Re: Flink on Native K8s 部署模式下Tm和Jm容器配置Hosts问题

2022-01-10 文章 JianWen Huang
首先感谢您答复。我也想到了采用第二种JOB动态+ConfigMap挂到Flink Client Pod中,然后命令提交。 另外您和官方文档都提到kube config的配置。请问flink client在源码实现中是在哪个地方去解析读取kube config的? Yang Wang 于2022年1月10日周一 15:17写道: > > 抱歉回复晚了 > > 在实践中,Flink on Native K8s的部署方式需要一个机器同时拥有k8s和flink客户端才能很好的完成部署工作。 > > Flink client并不依赖K8s客户端的,只要有对应的kube config就可以了 > >

????

2022-01-10 文章 9191

退订

2022-01-10 文章 xingb...@163.com
退订

cumulate窗口不支持偏移offset参数吗?

2022-01-10 文章 casel.chen
实时统计需求是每隔一小时计算周一到周日每周累计的交易量和总金额,拟使用flink sql cumulate window计算,假定作业启动时间是周四,如果不加offset偏移量参数的话,统计的是这周四到下周四的交易量和总金额,但我查了一下flink官方文档对cumulate window[1]介绍只有两个参数,一个是step,另一个是size,并没有看到offset,请问有没有办法实现?谢谢! SELECTwindow_start,window_end,SUM(price)FROMTABLE(CUMULATE(TABLEBid,DESCRIPTOR(ts),INTERVAL'1'HOUR

flink sql动态累计窗口实现问题

2022-01-10 文章 casel.chen
听了FFA2021快手Flink SQL分享有讲到动态累计窗口实现,想问一下Flink开源社区是否有相应实现?或者有相应的JIRA?我们也有这样的使用场景,如果暂时没有的话要如何自己实现?特别是自定义sql语法这块,有没有一些相关的教程?谢谢!

cumulate window可以在retract流上使用吗?

2022-01-10 文章 casel.chen
cumulate window只能在append流上使用吗?可以在retract流或upsert流上使用吗?

退订

2022-01-10 文章 朱福生
退订 发自我的iPhone

Re: flink sql 如何提高下游并发度?

2022-01-10 文章 Caizhi Weng
Hi! 可以设置 parallelism.default 为需要的并发数。 Jeff 于2022年1月9日周日 19:44写道: > 当source为kafka时,最大并发度由kafka分区决定的, 有没有办法在不增加kafka分区情况下提高整个任务的并发度呢?

Re: 批模式疑问

2022-01-10 文章 Caizhi Weng
Hi! env.setRuntimeMode(RuntimeExecutionMode.BATCH); 要放在创建 table environment 之前,否则创建出来的 table environment 还是 streaming 模式。另外这个需要 Flink >= 1.14。 陈卓宇 <2572805...@qq.com.invalid> 于2022年1月10日周一 15:03写道: > 代码逻辑简单描述: 我通过fromElements的方式简单构造了几条测试数据,然后将流转表,在表上 > 使用我自定义的聚合函数,进行聚合操作,最后打印 > 我的代码: > Stream

Re: 如何确定分配内存的大小

2022-01-10 文章 Caizhi Weng
Hi! 这个和你的作业特性强相关。目前 task manager 是按比例给各个算子分配 managed memory,所以只要内存不太小作业都能勉强跑,如果遇到内存问题再调大对应部分即可。 https://zhuanlan.zhihu.com/p/340345588 可以作为参考。 许友昌 <18243083...@163.com> 于2022年1月10日周一 15:18写道: > 请问在启动flink 任务时,要如何确定该分配多少内存给 jobmanager,分配多少给 taskmanager,当我们指定 -ytm 1024 > 或 -ytm 2048 的依据是什么?

?????? ??????????

2022-01-10 文章 ??????
??   --  -- ??:

退订

2022-01-10 文章 DannyLau
退订 | | myself | | chaobing...@163.com | 签名由网易邮箱大师定制