pom文件就是源码里面的那个
setting.xml：
alimaven
aliyun maven
http://maven.aliyun.com/nexus/content/groups/public/
central
mapr-public
mapr-releases
mapr-releases
https://maven.aliyun.com/repository/mapr-public
ali maven
aliyun maven
https://maven.aliyun.com/repository/public
各位大佬好, flink 升级1.12.0,在使用类似如下语句时
select trade_id,sku_id,max(case f= 1 then 'aaa' else '' end ) as a,max(case f=2
then 10 else 0 end) as b from order group by trade_id,sku_id
出现 MaxWithRetractAggFunction$MaxWithRetractAccumulatr$Converter.toInternal
java.lang.interger cannot to org.apache.flink.ta
HI:
大家好，我现在遇到了一个问题，flink在通过cdc的方式读取binlog的方式进行读取日志的时候报错，具体报错如下：
2021-01-13 15:45:21,920 INFO org.apache.kafka.connect.runtime.WorkerConfig
[
hi~ Java 语法不支持，Long 可以设置
赵一旦 于2021年1月7日周四 下午8:13写道：
> 报错信息如下：
> java.lang.IllegalArgumentException: Can not set long field
> com.xxx.buzz.pojo.AbstractDrRecord.timestamp to null value
> at
> sun.reflect.UnsafeFieldAccessorImpl.throwSetIllegalArgumentException(
> UnsafeFieldAccessorImpl.java:
hi,
我现在使用flink1.12写HDFS又重新碰到了这个问题，请问有什么办法可以避免吗？
best,
amenhub
发件人： Yu Li
发送时间： 2020-08-11 21:43
收件人： user-zh
主题： Re: Flink 1.10.1版本StreamingFileSink写入HDFS失败
Hi 王剑，
我认为你的分析是正确的，相关代码在超过lease的soft limit之后应该主动调用一下recover
lease的逻辑。你是否愿意提交一个patch来fix该问题？我在JIRA上也留言了，后续可以直接在JIRA上讨论。
另外，更正一下JIRA链
hi~ io.debezium 包版本 是你自己配置的？ 还是 官方的？ 尝试的解决下，所以问的
guoxb__...@sina.com 于2021年1月13日周三 下午4:32写道：
> HI:
> 大家好，我现在遇到了一个问题，flink在通过cdc的方式读取binlog的方式进行读取日志的时候报错，具体报错如下：
>
> --
flink: 1.12
kubernetes: 1.17
TM, :
TMnamespaceconfigmap
system:serviceaccount:flink-test:default ??
??flink?? "taskmanager.service-account" ,
"jobmanager.service-account", "kubernetes.serv
Pattern.begin("start")
.where(new
SimpleCondition() {
@Override
public boolean filter(KafkaTopicOffsetTimeMsg
kafkaTopicOffsetTimeMsg) throws Exception {
return
kafkaTopicOffsetTimeMsg.ms
So what makes it happen? Have fixed it？
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Hi penguin,
虽然你配置了多个mirror，但实际起作用的是第一个mirror。第一个mirror针对大部分情况够用了，我这边在阿里云仓库可以正常下载json-smart:2.3，你这边没有贴出来pom.xml，没有，
所以我这边没有一一尝试。但无非问题主要是以下方面排查：
1、你要确定一下，你是不是用的这个settings.xml;
2、针对特定的不能从阿里云仓库下载的jar包，可以在pom.xml中配置
和 ，以 WSO2 Maven2
Repository仓库为例，配置如下：
wso2-maven2-repository
Hi Jark and Benchao
I have learned from your previous email on how to do pv/uv in flink sql.
One is to make a MMdd grouping, the other is to make a day window.
Thank you all.
I have a question about the result output. For MMdd grouping, every
minute the database would get a record, and m
大家好：
版本：1.12.0
方式：Flink sql
table.exec.state.ttl 和 tConfig.setIdleStateRetention() 对于flink sql，这两种作用是一样的吗？
作用是一样的。
TableConfig#setIdleStateRetention()的实现就是设置table.exec.state.ttl这个参数
| |
马阳阳
|
|
ma_yang_y...@163.com
|
签名由网易邮箱大师定制
在2021年01月13日 20:45，孙啸龙 写道：
大家好：
版本：1.12.0
方式：Flink sql
table.exec.state.ttl 和 tConfig.setIdleStateRetention() 对于flink sql，这两种作用是一样的吗？
个人观点：
这个应该不可以，你提交的任务最终实际是打包给tm去执行的，使用的是tm的日志配置，而不是你自己的配置。
你自己那个配置仅仅用于本地调试启动的时候有效。
nicygan 于2021年1月13日周三 上午9:55写道：
> dear all：
> 我的flink任务提交到yarn运行，
> 默认生效的是日志配置是flink/conf中的log4j.properties。
> 但我的应用jar包中还有一个log4j2.xml，这里面配置了KafkaAppend，要把日志发送到kafka。
> 我要如果设置，才能让这两个配置文件都生效呢？
>
Hi Jark and Benchao,
There are three more weird things about the pv uv in Flink SQL.
As I described in the above email, I computed the pv uv in two method, I
list them below:
For the day grouping one, the sql is
> insert into pvuv_sink
> select a,v,MAX(DATE_FORMAT(ts, '-MM-dd HH:mm:00')) dt
报错500，开发者工具展示的异常信息如下。
"
想知道这个是什么情况，以及需要调整什么参数呢？
这是flink的Akka部分报的错，相关源码如下，可以找找这个 maximumFramesize 怎么修改？
https://github.com/apache/flink/blob/d093611b5dfab95fe62e4f861879762ca2e43437/flink-runtime/src/main/java/org/apache/flink/runtime/rpc/akka/AkkaRpcActor.java：
private Either, AkkaRpcException>
serializeRemoteResultAndVerifySize(
O
有这样一个参数“akka.framesize” ，可以在你启动flink的时候加上 或者 在conf/flink-conf.yaml 配置上：
akka.framesize
"10485760b"StringMaximum size of messages which are sent between the JobManager
and the TaskManagers. If Flink fails because messages exceed this limit, then
you should increase it. The message size requires a
各位大佬。help
flink1.9.2版本升级到1.12.0版本
flink on yarn部署
异常日志如下
The program finished with the following exception:
org.apache.flink.client.program.ProgramInvocationException: The main method
caused an error: Could not deploy Yarn job clus
好的，我找到了这个参数。不过这个参数表达啥含义知道吗，我看10MB不是个小数字感觉。
Evan 于2021年1月14日周四 下午1:54写道：
> 有这样一个参数“akka.framesize” ，可以在你启动flink的时候加上 或者 在conf/flink-conf.yaml 配置上：
>
> akka.framesize
> "10485760b"StringMaximum size of messages which are sent between the
> JobManager and the TaskManagers. If Flink fails because me
你可以从akka的原理架构中获取一些信息
参考： https://akka.io
之前在其他博主的介绍中看到过，感觉意思差不多，上面说这是JobManager和TaskManager之间通信时发送的消息大小的最大值
发件人： 赵一旦
发送时间： 2021-01-14 14:19
收件人： user-zh
主题： Re: Flink webui 查询任务信息报错500
好的，我找到了这个参数。不过这个参数表达啥含义知道吗，我看10MB不是个小数字感觉。
Evan 于2021年1月14日周四 下午1:54写道：
> 有这样一个参数“akka.framesize” ，可以在
kafka 读 key fields：
https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connectors/kafka.html#key-fields
On Wed, 13 Jan 2021 at 15:18, JasonLee <17610775...@163.com> wrote:
> hi
>
> 你写入数据的时候设置 headers 了吗 没设置的话当然是空的了
>
>
>
> -
> Best Wishes
> JasonLee
> --
> Sent from: http://apac
已知问题，后续版本会修复，作为临时解决办法，可以使用直接这样去构造 (b.app_id, b.message)，不用添加 ROW 关键字。
On Mon, 11 Jan 2021 at 11:17, 刘海 wrote:
> 使用ROW里面的 表别名.字段名 会出现解析错误，我之前使用hbase也有这个问题，我一般是在查询里面包一层子查询
>
>
> | |
> 刘海
> |
> |
> liuha...@163.com
> |
> 签名由网易邮箱大师定制
> On 1/11/2021 11:04，马阳阳 wrote：
> We have a sql that compose a row
从报错信息看是超时了，看看client与 JM 之间的网络是否通常把。
On Sun, 10 Jan 2021 at 16:23, Fei Han
wrote:
> 大家好！
>
> 参考云邪写的sqlsubmit提交SQL文件，我修改后提交，SQL文件已经识别了，可以创建表。但是提交任务insert的时候，在local模式下就报错。
> Flink版本是1.12.0。我的提交命令是:$FLINK_HOME/bin/flink run -mip:8081 -d -p 3 -c
> sql.submit.SqlSubmit $SQL_JAR -f $sql_file
> 在l
社区已经在做了，可以关注下这个 FLIP：
https://cwiki.apache.org/confluence/display/FLINK/FLIP-36%3A+Support+Interactive+Programming+in+Flink
On Fri, 8 Jan 2021 at 15:42, 张锴 wrote:
> 保存中间变量可以用状态存
>
> 李继 于2021年1月7日周四 下午5:42写道：
>
> > HI ， 请问当一个算子会被多次使用时,怎么把他缓存住，类似于spark的cache操作
> >
> > val env = getBatchEnv
> > va
为啥不用天级别的tumble window？ 自动就帮你清楚 state 了
On Wed, 6 Jan 2021 at 13:53, 徐州州 <25977...@qq.com> wrote:
> 最近在做一个flink实时数仓项目，有个日报的场景，使用flink-on-yarn模式，如果job不停止，第二天的结果就在第一天的基础上累加了，我计算的读取规则（数据TimeStamp>current_date）就认为是今天的数据，可是如果集群不停止第二天的计算结果就会在第一天累加，代码中只设置了env.setStateBackend(new
> MemoryStateBackend())，目
您好!
我想把下面的代码转化为纯SQL,
然后在Flink SQL Client中运行,
但是其中一部分的转化我遇到了困难,如下:
DataStreamds=tEnv.toRetractStream(group,Row.class).flatMap(newFlatMapFunction,Row>(){@OverridepublicvoidflatMap(Tuple2value,Collectorcollect)throwsException{collect.collect(value.f1);}}).returns(Types.ROW(Types.STRING,Types.LONG));
这个问题是在1.12.1中修复的，1.12.0里面还不能支持给TM设置ServiceAccount
具体可以看下这个ticket，https://issues.apache.org/jira/browse/FLINK-20664
另外，1.12.1正在投票，最近就会发布
Best,
Yang
1120344670 <1120344...@qq.com> 于2021年1月13日周三 下午5:17写道：
> *flink版本: 1.12*
> *kubernetes: 1.17*
> TM无法启动, 报错如下:
>
>
> 从报错来看，TM尝试访问统一namespace下的confi
group by [时间字段]
我们也有类似场景，每天数据的时间是不一样的，这样不会导致今天的数据累加才对啊？
在 2021-01-14 15:06:26，"Jark Wu" 写道：
>为啥不用天级别的tumble window？ 自动就帮你清楚 state 了
>
>On Wed, 6 Jan 2021 at 13:53, 徐州州 <25977...@qq.com> wrote:
>
>> 最近在做一个flink实时数仓项目，有个日报的场景，使用flink-on-yarn模式，如果job不停止，第二天的结果就在第一天的基础上累加了，我计算的读取规则（数据
大家好：
版本：1.12.0
方式：flink sql
测试sql：
select a.id,b.money,b.createTime from test_state_from a
full join test_state_from1 b on a.id=b.id;
问题：
test_state_from和test_state_from1 分别插入50万条数据，查看 checkpoint 大小为83m，state
ttl 设 置为16分钟，30分钟后查看checkpoin
30 matches
Mail list logo
