Hadoop软件安装及使用集群配置【数仓】Hadoop集群配置常用参数说明【数仓】zookeeper软件安装及集群配置【数仓】kafka软件安装及集群配置【数仓】flume软件安装及配置

Flume常见配置说明

Source是Flume体系中的第一个组件负责从外部数据源接收数据并将这些数据传递到Channel中。

这些数据源可以是日志文件、网络端口、消息队列等。

1.1

指定Source的类型为avro。

Avro是一个数据序列化系统Avro

Source允许Flume接收通过Avro协议发送的数据。

bind:

指定监听的IP地址。

Flume将在这个IP地址上监听传入的数据。

port:

1.2

Source允许Flume通过执行外部命令来接收数据。

command:

要执行的命令。

这个命令的输出将被Flume捕获并传递到Channel中。

例如tail

1.3

指定Source类型为org.apache.flume.source.kafka.KafkaSource。

Kafka是一个分布式消息队列Kafka

Source允许Flume从Kafka主题中消费数据。

kafka.bootstrap.servers:

Kafka集群的地址列表。

Flume将连接到这些服务器以消费数据。

kafka.topics:

1.4

Source允许Flume通过TCP/IP网络接收数据。

bind:

指定监听的IP地址。

Flume将在这个IP地址上监听传入的数据。

port:

1.5

Source是Flume中用于实时监控文件变化并采集新增数据的组件它更加可靠和高效能够确保数据的零丢失。

positionFile:

指定用于存储文件偏移量的JSON文件的路径。

这个文件记录了每个被监控文件的当前读取位置以确保在Flume重启后能够继续从正确的位置读取数据实现数据的连续性和完整性。

filegroups:

定义要监控的文件组。

每个文件组可以包含多个文件路径和通配符模式用于匹配需要采集的文件。

这提供了灵活性允许用户根据需求指定特定的文件或目录进行监控。

files:

在每个文件组内指定具体的文件路径和通配符模式。

可以使用正则表达式或简单的通配符来匹配文件名从而精确地指定要采集的文件。

channels:

指定与该Source关联的Channel的名称。

这是数据流向下游组件的桥梁确保数据能够正确地传输到指定的Channel中。

Channel

Channel是Flume体系中的第二个组件负责存储从Source接收到的数据直到Sink准备好将其发送到目标位置。

Channel保证了数据的可靠性和持久性。

2.1

Channel将数据存储在内存中具有较快的读写速度。

capacity:

存储在Channel中的最大事件数。

当达到这个容量时新的数据将无法进入Channel直到有数据被Sink消费。

transactionCapacity:

每次事务中可以从Channel中取出或放入的最大事件数。

这影响了数据在Channel和Sink之间的传输速度。

2.2

Channel将数据存储在磁盘上保证了数据的持久性。

dataDirs:

用于存储事件数据的中提高了数据的可靠性和可扩展性。

checkpointDir:

用于存储Channel状态检查点的目录。

检查点记录了数据的读取和写入位置确保在Flume重启后能够恢复状态。

capacity:

Channel类似当达到这个容量时新的数据将无法进入Channel。

2.3

指定Channel类型为org.apache.flume.channel.kafka.KafkaChannel。

Kafka

Channel将数据存储在Kafka集群中结合了Kafka的高可靠性和可扩展性。

kafka.bootstrap.servers:

Kafka集群的地址列表。

Flume将连接到这些服务器以存储和读取数据。

kafka.topic:

用于存储事件的Kafka主题。

数据将被写入这个主题并从这个主题中读取出来进行后续处理。

parseAsFlumeEvent:

是否将消息解析为Flume事件。

如果设置为true则消息将被解析为Flume事件格式进行存储和传输如果设置为false则消息将以原始格式存储。

Sink

Sink是Flume体系中的最后一个组件负责从Channel中取出数据并将其发送到目标位置。

这些目标位置可以是HDFS、Kafka、数据库等。

3.1

Sink将数据写入到HDFS中进行存储和分析。

hdfs.path:

HDFS上的目标路径。

数据将被写入这个路径下的文件中。

hdfs.fileType:

文件类型指定了数据的存储格式如DataStream或SequenceFile等。

不同的格式有不同的存储方式和压缩选项。

hdfs.writeFormat:

写入格式指定了数据在文件中的排列方式如Text表示按行写入文本数据Writable表示使用Hadoop的Writable接口进行序列化后写入。

hdfs.batchSize:

每个批次写入HDFS的事件数。

这影响了数据写入HDFS的速度和效率。

较大的批次可以减少写入操作的次数但也会增加内存消耗和延迟。

3.2

指定Sink类型为org.apache.flume.sink.kafka.KafkaSink。

Kafka

Sink将数据发送到Kafka集群中进行存储和处理。

Kafka的高吞吐量和可扩展性使其成为大数据处理中的常用组件。

kafka.bootstrap.servers:

Kafka集群的地址列表。

Flume将连接到这些服务器以发送数据。

与Kafka

Source中的配置类似但方向相反发送而不是接收。

kafka.topic:

目标Kafka主题。

数据将被写入这个主题中进行存储和处理。

与Kafka

Source中的配置类似但方向相反写入而不是读取。

batchSize:

Sink中的hdfs.batchSize类似这影响了数据发送到Kafka的速度和效率。

较大的批次可以减少网络传输次数提高吞吐量但也会增加内存消耗和延迟。

需要根据实际情况进行调整以获得最佳性能。

3.3

Sink将数据记录到日志文件中通常用于调试和测试目的。

它不会将数据发送到外部系统或存储中而是将其打印到控制台或写入到日志文件中供开发人员查看和分析。

maxEventSize:

记录的最大事件大小以字节为单位。

如果事件超过此大小则将被截断以防止日志文件过大或控制台输出过多信息。

这有助于控制日志的规模和可读性。

在实际应用中可以根据需要调整这个值以平衡日志的详细程度和存储成本。

二、配置示例

这些实例展示了如何配置Source、Channel和Sink来构建数据流的简单场景。

示例1从日志文件采集数据到HDFS

agent.channels.channel1.capacity

10000#

hdfs://namenode:8020/flume/events/%Y-%m-%d/%H-%M-%S

agent.sinks.sink1.hdfs.fileType

DataStream

agent.sinks.sink1.hdfs.writeFormat

Text

agent.sinks.sink1.hdfs.batchSize

1000

agent.sinks.sink1.hdfs.rollSize

agent.sinks.sink1.hdfs.rollCount

10000

agent.sinks.sink1.hdfs.rollInterval

300#

这个示例展示了如何从Kafka的一个topic读取数据通过Memory

Define

org.apache.flume.source.kafka.KafkaSource

agent.sources.kafkaSource.kafka.bootstrap.servers

kafka-broker:9092

agent.sources.kafkaSource.kafka.topics

input-topic#

agent.channels.memoryChannel.type

memory

agent.channels.memoryChannel.capacity

10000#

org.apache.flume.sink.kafka.KafkaSink

agent.sinks.kafkaSink.kafka.bootstrap.servers

kafka-broker:9092

agent.sinks.kafkaSink.kafka.topic

output-topic

agent.sinks.kafkaSink.batchSize

20#

agent.sources.kafkaSource.channels

memoryChannel

agent.channels.fileChannel.type

file

agent.channels.fileChannel.checkpointDir

agent.channels.fileChannel.dataDirs

/path/to/data/dir#

agent.sinks.hbaseSink.columnFamily

my_column_family

agent.sinks.hbaseSink.serializer

org.apache.flume.sink.hbase.RegexHbaseEventSerializer

agent.sinks.hbaseSink.serializer.regex

([^

agent.sinks.hbaseSink.serializer.regexIgnoreOrder

false

agent.sinks.hbaseSink.serializer.colNames

key,value#

agent.sources.avroSource.channels

fileChannel

fileChannel请注意以上配置示例仅供参考并且可能需要根据您的实际环境如服务器地址、端口号、路径、表名等进行调整。

另外请确保您已经安装了所有必要的Flume插件例如Kafka插件或HBase插件以便使用相关的Source和Sink。

在配置文件中agent是Flume中定义的一个服务单元它可以包含一个或多个source、channel和sink。

sources负责接收数据channels负责缓存数据sinks负责将数据发送到最终目的地。

在配置文件中你需要为每个组件指定一个唯一的名称并使用这个名称将它们连接起来。