。

Avro文件格式是使用Flume通过网络发送数据的标准方法。

从多个Web服务器收集日志#xff0c;发送到一个或多个集中处理的agent#xff0c;之后再发往日志存储中心其中一个agent的sink将数据发送到另一个agent的source。

Avro文件格式是使用Flume通过网络发送数据的标准方法。

从多个Web服务器收集日志发送到一个或多个集中处理的agent之后再发往日志存储中心

将前面两个示例组合应用

第一个agent从Netcat接收数据增加一个channel和sink将这个sink发送到第二个agent

第二个agent在监控文件变化的同时监控从sink发送来的事件最终输出到控制台

使用Avro

属性名默认值Descriptionchannel–type–avrohostname–绑定的主机名或者IP地址port–监听端口

使用Avro

属性名默认值说明channels–type–avrobind–绑定的主机名或者IP地址port–监听端口

添加agent1配置文件

配置source类型为NetCat,监听地址为本机端口为44444

a1.sources.r1.type

配置channel类型为内存内存队列最大容量为1000一个事务中从source接收的Events数量或者发送给sink的Events数量最大为100

a1.channels.c1.type

a1.channels.c1.transactionCapacity

memory

a1.channels.c2.transactionCapacity

100#

配置channel类型为内存内存队列最大容量为1000一个事务中从source接收的Events数量或者发送给sink的Events数量最大为100

a2.channels.c1.type

a2.channels.c1.transactionCapacity

100#

打开Netcat连接到44444发送数据可以同时在agent1和agent2看到最新数据。