如何 增加 doris ROUTINE LOAD​ 处理 频率

Thu, 07 Jul 2022 03:09:51 -0700 

你好：




    我新安装了doris，做应用尝试。目前接人kafka数据碰到了问题，请求帮助。目前 FE 1个，BE 4个。

ROUTINE LOAD 配置如下：


   CREATE ROUTINE LOAD cloud.kafka_ods_wm_job ON ods_wm

********* PROPERTIES ( "desired_concurrent_number"="20", "max_batch_interval" = 
"5", "strict_mode" = "false", "format" = "json" ) FROM KAFKA ( 
"kafka_broker_list" = "X.X.X.X:XX", "kafka_topic" = "realtime_doris", 
"property.group.id" = "cloud_ods_wm", "property.kafka_default_offsets" = 
"OFFSET_END" );

  

  表现是lag数量呈周期上升。约5分钟，到120万条。然后急速下降。5分钟后再次上升到120万。呈周期性。

  doris 目前能调整的参数不多。

  试问，我该如何加快FE调度JobScheduler，加快调度Task ，快速消费kafka。

Reply via email to