可以配置文件的 rooling policy [1],可以是时间间隔,也可以是文件大小。
https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/table/filesystem/#rolling-policy

Best regards,
Yuxia

----- 原始邮件 -----
发件人: "谭家良" <tanjl_w...@126.com>
收件人: "user-zh" <user-zh@flink.apache.org>
发送时间: 星期一, 2022年 6 月 06日 下午 4:44:51
主题: kafka数据落地到Hive/Filesystem(orc/parquet格式)的疑问

大家好,关于kafka数据消费到hive/filesystem(orc/parquet)我有个疑问。orc/parquet如何调整落地的文件大小?是根据checkpoint时间来的吗?在落地到hive/filesystem
 connector有什么优化建议吗?


best,
tanjialiang.


| |
谭家良
|
|
tanjl_w...@126.com
|

回复