Re: Pyflink JVM Metaspace 内存泄漏定位

Thu, 21 Jan 2021 04:22:26 -0800 

hi，JDBC 的问题目前已经解决了，但是又出了个新的问题，是 Kafka
的，还是同样的这个任务，Pyflink的，从Mysql读数据然后写入Kafka，任务结束后，还是有内存不释放，目前从jmap看应该是如下导致的。

class com.sun.jmx.mbeanserver.StandardMBeanIntrospector @ 0xad5d01b0
com.sun.jmx.mbeanserver.MBeanIntrospector$MBeanInfoMap @ 0xad715a00
java.util.WeakHashMap$Entry[32] @ 0xafc583f0
java.util.WeakHashMap$Entry @ 0xb10dd228
class
org.apache.flink.kafka.shaded.org.apache.kafka.common.utils.AppInfoParser$AppInfo
@ 0xb1036c38
org.apache.flink.util.ChildFirstClassLoader @ 0xb0d0a1e8

python的sql里，connector的设置没有什么额外设置，如下：
        ) WITH (
            'connector' = 'kafka',
            'topic' = 'stream-sink',
            'properties.bootstrap.servers' = 'xxx:9092',
            'properties.client.id' = 'statistics-p',
            'format' = 'json',
            'json.fail-on-missing-field' = 'false'
        )

Jar包用的官网提供的
https://repo.maven.apache.org/maven2/org/apache/flink/flink-sql-connector-kafka_2.11/1.12.0/flink-sql-connector-kafka_2.11-1.12.0.jar
包。

不知道这种情况是否有遇到过？

从taskmanager的日志看，任务期间有报：
2021-01-21 20:06:28,940 WARN 
org.apache.flink.kafka.shaded.org.apache.kafka.common.utils.AppInfoParser []
- Error while loading kafka-version.properties: null
2021-01-21 20:06:28,940 INFO 
org.apache.flink.kafka.shaded.org.apache.kafka.common.utils.AppInfoParser []
- Kafka version: unknown
2021-01-21 20:06:28,940 INFO 
org.apache.flink.kafka.shaded.org.apache.kafka.common.utils.AppInfoParser []
- Kafka commitId: unknown

这种日志，是可能这个原因导致的吗？ 还有 kafka-version.properties 这个文件在pyflink里需要怎么添加呢？



--
Sent from: http://apache-flink.147419.n8.nabble.com/

回复