annel

1Source组件是专门用来收集数据的可以处理各种类型、各种格式的日志数据包括

avro、thrift、exec、jms、spoolingdirectory、netcat、sequence

2Channel组件对采集到的数据进行缓存可以存放在Memory

File

HDFS、Logger、avro、thrift、ipc、file、Hbase、solr、自定义。

Source

4.Source中Exec、Spooldir、Taildir的区别

具体代码Flume学习之监控端口数据Exec、Spooldir、Taildir心得_flume

表示执行linux命令来读取文件

source就是读目录下的文件这些文件是不断在追加新内容的文件可以断点续传

Taildir

batchSize参数决定一次性往putlist放event的个数

默认为20

适当调大可以提高搬运event到channel的性能2channel

typeMemory

channel时dataDir配置多个不同盘的目录来提高性能3sink

batchSize参数决定一次批量从takelist读取的event条数

Flume

是事务性的因此这两个环节不会出现数据的丢失唯一可能丢失数据的情况是

Channel

FLume事务包括Put事务和Take事务。

Flume事务保证了数据在Source

Sink这两个阶段传输时不会丢失一旦事务中所有的事件全部传递到

Channel

的传递过程如果因为某种原因使得事件无法记录那么事务将会回滚。

需要注意的是Take事务可能导致数据重复。

如果发送过程中出现异常回滚将takeList中的全部event归还给Channel。

这个操作可能导致数据重复,如果已经写入一半的event到了HDFS但是回滚时会向channel归还整个takeList中的event后续再次开启事务向HDFS写入这批event时候就出现了数据重复。