Q: Routine load is running but it doesn't read new data from kafka A: If your Doris version is 0.12.0, some Routine load bug will caused this situation. We have fixed some similar problems one after another, please check if there are similar error messages in PR. For example, there are empty messages in Kafka, the disk is full, or too many tasks, etc. This is a PR example: https://github.com/apache/incubator-doris/pull/4861
If any, upgrading the version can solve this problem. Ling Miao 瀚羽星海 <353675...@qq.com.invalid> 于2021年7月9日周五 上午11:32写道： > 您好： > 问题描述： > 最近开发过程中使用Doris做数据处理，在使用routine load > 方式从kafka数据源中导入数据，由于kafka中随时间迁移会不断有新的数据被生产，因此Doris中的数据预期应是按时间连续不断的，但现在经常出现数据无故中断的情况，检查kafka中的消息数据是连续的，且kafka运行无异常，使用show命令检查Doris的导入任务状态为running状态，ErrorLogUrls字段并无错误信息提示，多次查询Progress字段的偏移量均不再变化（即没有新的数据被导入到Doris中），当前偏移量已过十亿，数据量为千万/日左右，所创导入任务desired_concurrent_number并发度为3，采用动态分区方式自动创建分区，检查相关分区均正常创建，重新依照该导入任务的偏移量创建新的导入任务，可以看到有新的数据导入进Doris中且时间和之前断掉的地方衔接上了。 > 集群环境： > Doris版本0.12.0，由于资源有限采用3fe3be的形式部署，其中有两台服务器同时部署有be和fe > 咨询： > 该种routine > load为running状态却不见数据导入进数据库的现象可以怎样修复？be或fe日志中会有相关信息提示吗？ > 根据之前社区提供的建议，在将Doris版本由0.12.0升级到当前最新版本0.14.0后查见routine > load中有新字段重复现象（同时含有"exec_mem_limit"和"execMemLimit"字段等）。另，查见routine > load中新增字段OtherMsg有提示性信息（errCode = 2, detailMessage = failed to send task: > errCode = 2, detailMessage = failed to submit task. error code: > TOO_MANY_TASKS, msg: > 9758f19e76d9456f-9bd2bc3b6495d4d7），该种提示信息在既往的日志中也同样查询到，但数据导入不受影响，该种日志可有办法修复？ > 以上问题还敬请解答一下，谢谢！
