你好,
请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 来取消订阅邮件。
Best,
Zhanghao Chen
From: 唐凯
Sent: Saturday, November 25, 2023 9:23
To: user-zh
Subject: 退订
退订
请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 来取消订阅来自
user-zh@flink.apache.org
邮件组的邮件。
Best,
Zhanghao Chen
From: 曹明勤
Sent: Thursday, February 22, 2024 9:42
To: user-zh@flink.apache.org
Subject: 退订
退订
我在 Yanquan 的回答基础上补充下，通过 /jobs/:jobid/plan 实际上拿到的就是 JSON 表示的 JobGraph 信息（通过
JsonPlanGenerator 这个类生成，包含了绝大部分 jobgraph 里常用的信息），应该能满足你的需要
From: casel.chen
Sent: Saturday, March 2, 2024 14:17
To: user-zh@flink.apache.org
Subject: 根据flink job web url可以获取到JobGraph信息么？
JobGraph 里有个字段就是 jobid。
Best,
Zhanghao Chen
From: 阿华田
Sent: Friday, March 8, 2024 14:14
To: user-zh@flink.apache.org
Subject: 回复： Flink DataStream 作业如何获取到作业血缘？
获取到Source 或者 DorisSink信息之后, 如何知道来自那个flink任务，好像不能获取到flinkJobId
| |
阿华田
|
|
a15733178...@163.com
|
签名
/integration/flink/app/src/main/java/io/openlineage/flink/OpenLineageFlinkJobListener.java
Best,
Zhanghao Chen
From: 阿华田
Sent: Friday, March 8, 2024 16:48
To: user-zh@flink.apache.org
Subject: 回复： Flink DataStream 作业如何获取到作业血缘？
”JobGraph 可以获得 transformation 信息
，Zhanghao Chen 写道：
你可以看下 OpenLineage 和 Flink 的集成方法 [1]，它是在 StreamExecutionEnvironment 里注册了一个
JobListener（通过这个可以拿到 JobClient 进而拿到 job id）。然后从 execution environment 里可以抽取到
transformation 信息处理 [2]。
[1] https://openlineage.io/docs/integrations/flink/
[2]
https://github.com/OpenLineage/OpenLineage/blob/main
你好，
写 Kafka 分区的策略取决于使用的 Kafka Sink 的 Partitioner [1]，默认使用的是 Kafka 的 Default
Partitioner，底层使用了一种称之为黏性分区的策略：对于指定 key 的数据按照对 key hash 的方式选择分区写入，对于未指定 key
的数据则随机选择一个分区，然后“黏住”这个分区一段时间以提升攒批效果，然后攒批结束写完后再随机换一个分区，来在攒批效果和均匀写入间做一个平衡。
具体可以参考 [2]。
因此，默认配置下不存在你说的遍历导致攒批效果下降的问题，在达到 Kafka
单分区写入瓶颈前，只是扩大写入并发就会有比
如果是用的 DataStream API 的话，也可以看下新增的 DataGen Connector [1] 是否能直接满足你的测试数据生成需求。
[1]
https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/connectors/datastream/datagen/
Best,
Zhanghao Chen
From: ha.fen...@aisino.com
Sent: Thursday, March 28, 2024 15:34
To
请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅。你可以参考[1] 来管理你的邮件订阅。
[1]
https://flink.apache.org/zh/community/#%e9%82%ae%e4%bb%b6%e5%88%97%e8%a1%a8
Best,
Zhanghao Chen
From: 熊柱 <18428358...@163.com>
Sent: Monday, April 1, 2024 11:14
To: u
请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅。你可以参考[1] 来管理你的邮件订阅。
[1]
https://flink.apache.org/zh/community/#%e9%82%ae%e4%bb%b6%e5%88%97%e8%a1%a8
Best,
Zhanghao Chen
From: zjw
Sent: Monday, April 1, 2024 11:05
To: user-zh@flink.apache.org
Subject: 退订
请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅。你可以参考[1] 来管理你的邮件订阅。
[1]
https://flink.apache.org/zh/community/#%e9%82%ae%e4%bb%b6%e5%88%97%e8%a1%a8
Best,
Zhanghao Chen
From: 戴少
Sent: Monday, April 1, 2024 11:10
To: user-zh
Cc: user-zh-sc.1618840368
应该是可以的。另外在老版本的 Kafka connector 上，曾经也实现过限速逻辑 [1]，可以参考下。这个需求我觉得还比较通用，可以提一个 JIRA。
[1] https://issues.apache.org/jira/browse/FLINK-11501
Best,
Zhanghao Chen
From: casel.chen
Sent: Tuesday, May 28, 2024 22:00
To: user-zh@flink.apache.org
Subject: Re:Flink SQL消费kafka
Hi，从报错看是 JM 丢主了，导致 TM 上 task 全部关停。看下 JM 侧是不是 HA 连接有问题呢？
Best,
Zhanghao Chen
From: Cuixb
Sent: Saturday, June 29, 2024 10:31
To: user-zh@flink.apache.org
Subject: 这绝对算是bug
生产环境Flink 1.16.2
2024-06-29 09:17:23
java.lang.Exception: Job leader for job id
从日志看，ZK 集群滚动的时候发生了切主，两个 JM 都先后成为过 Leader，但是并没有同时是 Leader。
Best,
Zhanghao Chen
From: love_h1...@126.com
Sent: Friday, July 12, 2024 17:17
To: user-zh@flink.apache.org
Subject: Flink Standalone-ZK-HA模式下，CLi任务提交
版本：Flink 1.11.6版本，Standalone HA模式，ZooKeeper 3.5.8版本
请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自
user-zh@flink.apache.org 邮件组的邮件，你可以参考[1]来管理你的邮件订阅。
[1]https://flink.apache.org/zh/community/#%e9%82%ae%e4%bb%b6%e5%88%97%e8%a1%a8
Best,
Zhanghao Chen
From: 技安 <359502...@qq.com.INVALID>
Sent: Sa
不是的哈。MVP 是 Minimum Viable Product （最简可行产品）的缩写，代表一个只实现了核心功能，听取早期用户反馈来后续进一步完善的版本。
Best,
Zhanghao Chen
From: guanyq
Sent: Saturday, April 2, 2022 14:56
To: user-zh@flink.apache.org
Subject: flink 1.15
看了FFA的分享(流批一体) Flink1.15版本推出 MVP版本，动态表存储的流批一体
请问MVP版本是收费版么?
你 kubernetes.rest-service.exposed.type 这个参数设置的是什么呢？
Best,
Zhanghao Chen
From: yidan zhao
Sent: Thursday, April 7, 2022 11:41
To: user-zh
Subject: k8s session cluster flink1.13.6创建后提示的地址啥用。
参考
https://nightlies.apache.org/flink/flink-docs-release-1.13/docs
要你或者其他外部系统分配好资源，Flink
被动接受这些分配好的资源；Native K8s 使用主动资源管理 - Flink 集群启动后自己会根据提交上来的作业的属性去跟 K8s 申请所需要的资源。
Best,
Zhanghao Chen
From: yidan zhao
Sent: Friday, April 8, 2022 10:52
To: user-zh
Subject: Re: k8s session cluster flink1.13.6创建后提示的地址啥用。
貌似官网对flink k8s情况有2个入口，分
.fixed-delay.delay
nightlies.apache.org
Best,
Zhanghao Chen
From: gangzi <1139872...@qq.com.INVALID>
Sent: Monday, April 11, 2022 19:55
To: user-zh
Subject: flink命令行参数不生效问题
我用命令提交作业：flink run -t yarn-per-job -ynm SocketWordCount -yqu root.
你好，可以贴下客户端的具体提交命令吗？
Best,
Zhanghao Chen
From: 799590...@qq.com.INVALID <799590...@qq.com.INVALID>
Sent: Tuesday, April 12, 2022 10:46
To: user-zh
Subject: flinksql执行时提示自定义UDF无法加载的
环境信息
flink-1.13.6_scala_2.11
java 1.8
使用的是standalonesession集群模式，n
le program, it might be necessary to adjust certain parameters for
optimization. For example, unbounded streaming programs may need to ensure that
the required state size is capped (see streaming concepts).
nightlies.apache.org
Best,
Zhanghao Chen
From: 段晓雄
Sent: M
A 的评论区可以看一下
Best,
Zhanghao Chen
From: QQ <1139872...@qq.com.INVALID>
Sent: Tuesday, April 12, 2022 9:19
To: user-zh@flink.apache.org
Subject: Re: flink命令行参数不生效问题
非常感谢解答。关于这套新的统一的cli命令的说明或者FLIP在哪里？
> 2022年4月11日 下午11:49，Zhanghao Chen 写道：
>
> 你好，-m
不同的线程 dump 分析工具支持的文件格式可能不一样，你需要去工具官网看下支持以什么方式生成的 thread dump 文件，然后远程登录 TM
所在物理机生成 dump 文件。
Best,
Zhanghao Chen
From: 陈卓宇 <2572805...@qq.com.INVALID>
Sent: Wednesday, April 20, 2022 17:00
To: user-zh
Subject: flink的Thread Dump日志
大佬您好：
因为线上出现了一个flink cdc mo
，导致了和 zk 连接有问题进入 suspended 状态
Best,
Zhanghao Chen
From: magic
Sent: Wednesday, April 20, 2022 17:49
To: user-zh
Subject: Filnk: Job leader for job id lost leadership
Hi，all
我们在使用Flink 消费kafka数据写入hudi时，经常会报错：Job leader for job id
lost leadership， 但是同集群
你是用的什么 Flink 集群部署模式提交的 SQL 任务呢？
Best,
Zhanghao Chen
From: 段晓雄
Sent: Saturday, April 16, 2022 19:52
To: user-zh@flink.apache.org
Subject: RE: Re: Re: 日志里提示 The state is cleared because of state ttl. This will
result in incorrect result 如何解决？
Zhanghao,
感谢帮助！我在
记录缓冲区中的数据来保证一致性，产生更多 io 并增大 cp 大小。
* aligned cp 在算子收到最后一个 cp barrier 完成 barrier 对齐后才触发快照，barrier 对齐期间较早收到
barrier 的 input channel 会被阻塞，在反压时阻塞时间会显著增加，导致 cp 速度变慢；好处是 barrier
对齐的过程使得快照不需要记录缓冲等待队列中的数据就可以保证一致性。
Best,
Zhanghao Chen
From: 小昌同学
Sent: Saturday, Ju
你好， 退订请发送任意消息至 user-zh-unsubscr...@flink.apache.org。
Best,
Zhanghao Chen
From: chenshu...@foxmail.com
Sent: Sunday, June 12, 2022 11:44
To: user-zh
Subject: unsubscribe; 退订
unsubscribe
退订
chenshu...@foxmail.com
/confluence/display/FLINK/FLIP-144%3A+Native+Kubernetes+HA+for+Flink
Best,
Zhanghao Chen
From: m18814122325
Sent: Sunday, June 12, 2022 22:45
To: user-zh@flink.apache.org
Subject: Flink k8s HA 手动删除作业deployment导致的异常
Flink version: 1.15.0
deploy mode: Native k8s
你好，能提供下完整的 jm/tm 侧报错日志吗？
Best,
Zhanghao Chen
From: 谭家良
Sent: Sunday, July 3, 2022 16:18
To: user-zh@flink.apache.org
Subject: 任务出现TooLongFrameException: Adjusted frame length exceeds问题
版本：flink-1.14
任务：FlinkSQL，从kafka消费，TVF统计窗口输出
出现问题：无论是Flink JM和TM都出现了
你好，可以看下：https://www.mail-archive.com/issues@flink.apache.org/msg498605.html
的总结。不过这个特性还是实验性的，请谨慎使用。
Best,
Zhanghao Chen
From: Zhizhao Shangguan
Sent: Friday, July 15, 2022 10:44
To: user-zh@flink.apache.org
Subject: Flink SQL 能处理延时丢弃的数据吗？
Hi，ALL：
咨询个
Hi, 退订请发送任意内容至邮箱user-zh-unsubscr...@flink.apache.org
Best,
Zhanghao Chen
From: 孙福
Sent: Saturday, July 16, 2022 23:01
To: user-zh@flink.apache.org
Subject: Re:Re: Flink SQL 能处理延时丢弃的数据吗？
退订
在 2022-07-15 15:06:51，"Zhizhao Shangguan"
你好，可以检查下：
1. tm 侧是否有异常，导致 tm 退出；
2. tm 侧是否 gc 严重导致没有及时处理心跳；
3. jm - tm 间是否网络有异常导致心跳信息无法传达。
Best,
Zhanghao Chen
From: 陈卓宇 <2572805...@qq.com.INVALID>
Sent: Friday, July 22, 2022 11:30
To: user-zh
Subject: flink异常
社区大佬您好，小弟请教一个问题：
flink版本：1.14.5
冷备部署的话可以通过一个外围的作业管控服务定期做 savepoint 并拷贝到另一条链路的 HDFS 集群上，故障时从另一条链路重启作业即可。
Best,
Zhanghao Chen
From: andrew <15021959...@163.com>
Sent: Monday, July 25, 2022 10:05:39 PM
To: user-zh
Subject: Flink应用高可靠
Dear Flink：
你好！
现有一个需求，Flink实时计算平台任务对下游用户很重要，不能出问题
Another possibility is that the CGroup mechanism is not enabled for YARN [1].
[1]
https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/NodeManagerCgroups.html
Best,
Zhanghao Chen
From: Vincent Woo
Sent: Monday, March 17, 2025 10:00
To: Zhanghao
Hi, Vincent. Old versions of JDK8 lack proper container awareness. It is
suggested to upgrade your JDK to at least 8u372 or 11.0.16, see [1][2] for more
details.
[1] https://bugs.openjdk.org/browse/JDK-8146115
[2] https://bugs.openjdk.org/browse/JDK-8230305
Best,
Zhanghao Chen
35 matches
Mail list logo
