[
https://issues.apache.org/jira/browse/FLINK-16481?page=com.atlassian.jira.plugin.system.issuetabpanels:all-tabpanel
]
likang updated FLINK-16481:
---------------------------
Attachment: Flink-Kafka-Connetor的改进.docx
> flink-kafka-connector 支持动态扩缩容
> -----------------------------
>
> Key: FLINK-16481
> URL: https://issues.apache.org/jira/browse/FLINK-16481
> Project: Flink
> Issue Type: Improvement
> Components: API / Core
> Reporter: likang
> Priority: Major
> Attachments: Flink-Kafka-Connetor的改进.docx
>
>
> 社区版本的Flink-kafka-connector的 source和sink在动态扩缩容时都没有kafka元数据的感知能力。
> 1.flink-kafka-producer的写数据，元数据的map是没有定时更新，只在Task第一次发送数据时有元数据的更新操作。
>
> 2.Flink-kafka-consumer,目前的的AbstractPartitionDiscoverer存在Bug，数据消费的线程和discoverer的线程使用了两个Kafka-consumer的对象，而Kafka-consumer的元数据更新需要poll函数触发，故目前扩容时，Source也是无法感知到元数据变化的。
--
This message was sent by Atlassian Jira
(v8.3.4#803005)
