Re: pyflink 使用udf函数 处理成json字符串发送到kafka的格式问题

2020-06-01 Thread Xingbo Huang
客气客气,互相交流学习😀 Best, Xingbo jack 于2020年6月1日周一 下午9:07写道: > 非常感谢解惑,刚开始使用pyflink,不是很熟悉,还请多多指教 > > > > > > > 在 2020-06-01 20:50:53,"Xingbo Huang" 写道: > > Hi, > 其实这个是CSV connector的一个可选的 > quote_character参数的效果,默认值是",所以你每个字段都会这样外面包一层,你可以配置一下这个参数为\0,就可以得到你要的效果了。 > st_env.connect( > Kafka() >

Re: pyflink 使用udf函数 处理成json字符串发送到kafka的格式问题

2020-06-01 Thread jack
非常感谢解惑,刚开始使用pyflink,不是很熟悉,还请多多指教 在 2020-06-01 20:50:53,"Xingbo Huang" 写道: Hi, 其实这个是CSV connector的一个可选的quote_character参数的效果,默认值是",所以你每个字段都会这样外面包一层,你可以配置一下这个参数为\0,就可以得到你要的效果了。 st_env.connect( Kafka() .version("0.11") .topic("logSink")

Re: pyflink 使用udf函数 处理成json字符串发送到kafka的格式问题

2020-06-01 Thread Xingbo Huang
Hi, 其实这个是CSV connector的一个可选的 quote_character参数的效果,默认值是",所以你每个字段都会这样外面包一层,你可以配置一下这个参数为\0,就可以得到你要的效果了。 st_env.connect( Kafka() .version("0.11") .topic("logSink") .start_from_earliest() .property("zookeeper.connect", "localhost:2181")

pyflink 使用udf函数 处理成json字符串发送到kafka的格式问题

2020-06-01 Thread jack
请教各位,我这边使用pyflink 消费kafka json字符串数据发送到kafka, 把kafka消息按照一个字段来处理, 数据输入: {"topic": "logSource", "message": "x=1,y=1,z=1"} 发送到kafka里面的数据结果如下: "{""topic"": ""logSource"", ""message"": ""x=1,y=1,z=1""}" 又被双引号包了一层, 我的udf函数中使用的是 json模块进行处理,请各位帮我看一下怎么样转成正常的json串。 @udf(input_types=[DataTypes.STRING()