#agent.sources = httpSrc

#agent.sources = spoolSrc

#agent.sources = avroSrc

#agent.sinks = loggerSink

##################################################################################################################

# Initialize agent's source, channel and sink


agent.sources = twitterSrc

agent.channels = memoryChannel

agent.sinks = solrSink

##################################################################################################################
##################################################################################################################

# Setting the source


agent.sources.twitterSrc.type = org.apache.flume.source.twitter.TwitterSource

agent.sources.twitterSrc.consumerKey = <My consumerKey>

agent.sources.twitterSrc.consumerSecret = <My consumerSecret>

agent.sources.twitterSrc.accessToken = <My accessToken>

agent.sources.twitterSrc.accessTokenSecret = <My accessTokenSecret>

agent.sources.twitterSrc.keywords = hadoop, big data, analytics, bigdata, cloudera, data science, data scientiest

agent.sources.twitterSrc.maxBatchSize = 10

agent.sources.twitterSrc.maxBatchDurationMillis = 200

##################################################################################################################
##################################################################################################################

# Setting the channel to memory

agent.channels.memoryChannel.type = memory


# Max number of events stored in the memory channel

agent.channels.memoryChannel.capacity = 10000

agent.channels.memoryChannel.transactionCapacity = 100

##################################################################################################################
##################################################################################################################

# Setting the sink to HDFS

agent.sinks.solrSink.type = hdfs

agent.sinks.solrSink.hdfs.path = hdfs://localhost:9000/user/flume

agent.sinks.solrSink.hdfs.fileType = DataStream


# Write format can be text or writable

agent.sinks.solrSink.hdfs.writeFormat = Text


# use a single csv file at a time

agent.sinks.solrSink.hdfs.maxOpenFiles = 1


# rollover file based on maximum size of 10 MB

agent.sinks.solrSink.hdfs.rollSize = 10485760

agent.sinks.solrSink.hdfs.batchSize = 1000   


# never rollover based on the number of events

agent.sinks.solrSink.hdfs.rollCount = 10000


# rollover file based on max time of 1 min

agent.sinks.flumeHDFS.hdfs.rollInterval = 600

##################################################################################################################
##################################################################################################################

# Connect source and sink with channel

agent.sources.twitterSrc.channels = memoryChannel

agent.sinks.solrSink.channel = memoryChannel

##################################################################################################################
##################################################################################################################
