This is really great news. Thanks a lot for all the work Dong, Yun, Zhipeng
and others!
Cheers,
Till
On Fri, Jan 7, 2022 at 2:36 PM David Morávek wrote:
> Great job! <3 Thanks Dong and Yun for managing the release and big thanks
> to everyone who has contributed!
>
> Best,
> D.
>
> On Fri, Jan
我看这俩项目一两年没更新了。想用Flink彻底替换到Spark,这俩项目是刚需,用来替换SparkThriftServer。
https://github.com/ververica/flink-jdbc-driver
https://github.com/ververica/flink-sql-gateway
Ada Wong 于2022年1月10日周一 19:32写道:
>
> 我看这俩项目一两年没更新了。想用Flink彻底替换到Spark,这俩项目是刚需,用来替换SparkThriftServer。
https://github.com/DataLinkDC/dlink ??
-- --
??:
"user-zh"
首先感谢您答复。我也想到了采用第二种JOB动态+ConfigMap挂到Flink Client Pod中,然后命令提交。
另外您和官方文档都提到kube config的配置。请问flink client在源码实现中是在哪个地方去解析读取kube config的?
Yang Wang 于2022年1月10日周一 15:17写道:
>
> 抱歉回复晚了
>
> 在实践中,Flink on Native K8s的部署方式需要一个机器同时拥有k8s和flink客户端才能很好的完成部署工作。
>
> Flink client并不依赖K8s客户端的,只要有对应的kube config就可以了
>
>
退订
实时统计需求是每隔一小时计算周一到周日每周累计的交易量和总金额,拟使用flink sql cumulate
window计算,假定作业启动时间是周四,如果不加offset偏移量参数的话,统计的是这周四到下周四的交易量和总金额,但我查了一下flink官方文档对cumulate
window[1]介绍只有两个参数,一个是step,另一个是size,并没有看到offset,请问有没有办法实现?谢谢!
SELECTwindow_start,window_end,SUM(price)FROMTABLE(CUMULATE(TABLEBid,DESCRIPTOR(ts),INTERVAL'1'HOUR
听了FFA2021快手Flink
SQL分享有讲到动态累计窗口实现,想问一下Flink开源社区是否有相应实现?或者有相应的JIRA?我们也有这样的使用场景,如果暂时没有的话要如何自己实现?特别是自定义sql语法这块,有没有一些相关的教程?谢谢!
cumulate window只能在append流上使用吗?可以在retract流或upsert流上使用吗?
退订
发自我的iPhone
Hi!
可以设置 parallelism.default 为需要的并发数。
Jeff 于2022年1月9日周日 19:44写道:
> 当source为kafka时,最大并发度由kafka分区决定的, 有没有办法在不增加kafka分区情况下提高整个任务的并发度呢?
Hi!
env.setRuntimeMode(RuntimeExecutionMode.BATCH); 要放在创建 table environment
之前,否则创建出来的 table environment 还是 streaming 模式。另外这个需要 Flink >= 1.14。
陈卓宇 <2572805...@qq.com.invalid> 于2022年1月10日周一 15:03写道:
> 代码逻辑简单描述: 我通过fromElements的方式简单构造了几条测试数据,然后将流转表,在表上
> 使用我自定义的聚合函数,进行聚合操作,最后打印
> 我的代码:
> Stream
Hi!
这个和你的作业特性强相关。目前 task manager 是按比例给各个算子分配 managed
memory,所以只要内存不太小作业都能勉强跑,如果遇到内存问题再调大对应部分即可。
https://zhuanlan.zhihu.com/p/340345588 可以作为参考。
许友昌 <18243083...@163.com> 于2022年1月10日周一 15:18写道:
> 请问在启动flink 任务时,要如何确定该分配多少内存给 jobmanager,分配多少给 taskmanager,当我们指定 -ytm 1024
> 或 -ytm 2048 的依据是什么?
??
-- --
??:
退订
| |
myself
|
|
chaobing...@163.com
|
签名由网易邮箱大师定制
16 matches
Mail list logo