Re: Re: Flink 1.10读取kafka数据，打包jar，提交任务到集群运行测试，遇到java.lang.NoClassDefFoundError: org/apache/flink/streaming/connectors/kafka/FlinkKafkaConsumerBase问题，求救大神帮忙解答，谢谢！

Mon, 13 Apr 2020 00:09:45 -0700 

感谢flink道友解答，谢谢！

目前是通过maven来开发flink程序，只是编译打包到集群运行的时候缺少kafka依赖包，flink-connector-kafka_2.11-1.10.0.jar，flink-connector-kafka-base_2.11-1.10.0.jar，kafka-clients-1.0.1-kafka-3.1.1.jar
这些添加到lib后，程序运行成功！

发件人： 刘宇宝
发送时间： 2020-04-13 14:59
收件人： [email protected]
主题： Re: Flink 1.10读取kafka数据，打包jar，提交任务到集群运行测试，遇到java.lang.NoClassDefFoundError: 
org/apache/flink/streaming/connectors/kafka/FlinkKafkaConsumerBase问题，求救大神帮忙解答，谢谢！
用官方项目模板起步，https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/projectsetup/java_api_quickstart.html
 
不要往 flink 里头加 jar 包，在你项目的 pom.xml 里加：
 
      <dependency>
            <groupId>org.apache.flink</groupId>
            
<artifactId>flink-connector-kafka_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>
 
From: "[email protected]" <[email protected]>
Reply-To: "[email protected]" <[email protected]>
Date: Monday, April 13, 2020 at 2:32 PM
To: user-zh <[email protected]>
Subject: Flink 
1.10读取kafka数据，打包jar，提交任务到集群运行测试，遇到java.lang.NoClassDefFoundError: 
org/apache/flink/streaming/connectors/kafka/FlinkKafkaConsumerBase问题，求救大神帮忙解答，谢谢！
 
 
你好：
 
    我在用Flink 1.10读取kafka数据，本地IDEA环境执行没有问题，将代码编译打包（不是fat 
jar）到集群上运行测试，执行提示：java.lang.NoClassDefFoundError: 
org/apache/flink/streaming/connectors/kafka/FlinkKafkaConsumerBase问题。
    我在Flink 1.10集群的每个节点下的 
/lib下都添加了kafka依赖包：flink-connector-kafka_2.11-1.10.0.jar
    我启动的命令：
    我先启动了一个Yarn session:
    yarn-session.sh -yd -jm 2048m -tm 2048m -s 10
    然后在session提交任务测试
    flink run -d -p 2 -m yarn-cluster -c 
com.sdf.flink.streaming.BroadcastOrderJoinGoodsName -yid 
application_1585277813790_0006 ./flink-project_1.10.0-1.0.jar
    启动就报如下错误：
   [cid:_Foxmail.1@bf61ef0c-2f52-034d-bba5-a41cbf6b4faf]
 
/lib下的依赖包：
[cid:_Foxmail.1@0be9c7f1-1b24-8e3e-ea4f-d47b95d9ffaf]
 
代码片段：
[cid:_Foxmail.1@76174c8c-512d-b948-71c9-359c474bf11e]
 
就是简单的读取数据，输出测试！
 
________________________________
[https://exmail.qq.com/cgi-bin/viewfile?type=signature&picid=ZX1328-4PdHqpEhbWjLSGE47md0b7k&uin=688208663]
 
 
 
 
 
 
史蒂夫软件（深圳）有限公司
技术部   王卫光
[email protected]<mailto:[email protected]>
地址/Add：深圳南山科区科技园高新南十二道康佳研发大厦A座
手机/Mob：13128970998
http://www.stevengame.com/<http://www.vcanbio.com/>

回复