kibana的RBAC实战zookeeper集群搭建zookeeper基本管理及kafka单点部署实战

0、昨日内容回顾:1、基于nginx的反向代理控制访问kibana2、配置ES集群TSL认证:3、配置kibana连接ES集群4、配置filebeat连接ES集群5、配置logstash连接ES集群6、自定义角色使用logstash组件写入数据到ES集群7、部署zookeeper单点8、zookeeper的命令行基本管理9、zookeeper集群部署10、编写zk的集群管理脚本11、使用zkWeb管理zookeeper集群12、快速搭建kafka单点环境

0、昨日内容回顾:

logstash的filter插件之mutate,useragent

(1)部署nginx服务

http://10.0.0.103:5601$request_uri;auth_basic

oldboyedu

/oldboyedu/softwares/es7/elasticsearch-7.17.5/

cert

config/elastic-certificates.p12

-pass

config/elastic-certificates.p12

data_rsync.sh

pwd/config/elastic-certificates.p12

vim

/oldboyedu/softwares/es7/elasticsearch-7.17.5/config/elasticsearch.yml

...

[elk101.oldboyedu.com,elk102.oldboyedu.com,elk103.oldboyedu.com]

10.0.0.*:19200

在最后一行添加以下内容xpack.security.enabled:

true

xpack.security.transport.ssl.enabled:

true

xpack.security.transport.ssl.verification_mode:

certificate

xpack.security.transport.ssl.keystore.path:

xpack.security.transport.ssl.truststore.path:

elastic-certificates.p12(5)elk101节点同步ES配置文件到其他节点

data_rsync.sh

./bin/elasticsearch-setup-passwords

auto

[/oldboyedu/softwares/jdk1.8.0_291/jre]

does

elastic,apm_system,kibana,kibana_system,logstash_system,beats_system,remote_monitoring_user.

The

e31LGPoUxik7fnitQidO(8)postman访问

3、配置kibana连接ES集群

[http://10.0.0.101:9200,http://10.0.0.102:9200,http://10.0.0.103:9200]

kibana_system

/tmp/oldboyedu-linux85/test.log

[http://10.0.0.101:9200,http://10.0.0.102:9200,http://10.0.0.103:9200]

username:

oldboyedu-jiaoshi07-testsetup.ilm.enabled:

false

setup.template.settings:index.number_of_shards:

0(2)启动filebeat实例

config/24-log-to-es_tls.yaml5、配置logstash连接ES集群

(1)编写配置文件

指定读取文件的起始位置但前提是该文件之前未读取过或者未在.sincedb文件中记录。

start_position

oldboyedu-linux85-logstash-fileuser

elasticpassword

config/16-file-to-es_tsl.conf查看logstash采集文件的偏移量路径。

-la

/oldboyedu/softwares/logstash-7.17.5/data/plugins/inputs/file/6、自定义角色使用logstash组件写入数据到ES集群

~]#

指定读取文件的起始位置但前提是该文件之前未读取过或者未在.sincedb文件中记录。

start_position

beginning}

oldboyedu-linux85-logstash-fileindex

oldboyedu-linux85-logstash-demouser

123456}

https://zookeeper.apache.org/releases.html[rootelk101.oldboyedu.com

~]#

http://192.168.15.253/ElasticStack/day07-/softwares/apache-zookeeper-3.8.0-bin.tar.gz(2)解压软件包

~]#

apache-zookeeper-3.8.0-bin.tar.gz

~]#

/etc/profile.d/kafka.sh(5)创建zk的配置文件

~]#

/oldboyedu/softwares/zk/conf/{zoo_sample.cfg,zoo.cfg}(6)启动zk节点

~]#

查看/oldboyedu-linux85/jiaoshi07的数据。

#

create

在根路径下创建一个名为oldboyedu-linux85的znode。

create

在/oldboyedu-linux85/znode下创建一个名为jiaoshi07的子znode并指定该znode数据为123。

create

/oldboyedu-linux85/jiaoshi07/liwenxuan

88888

创建一个前缀为/oldboyedu-linux85/jiaoshi07/liwenxuan有序编号的znode数据为88888

create

/oldboyedu-linux85/linux85/test

创建一个名为/oldboyedu-linux85/linux85/test的临时znode。

当前会话结束临时znode会自动删除。

#

set

删除名为/oldboyedu-linux85/test02的znode但该znode不能有子znode。

即必须为空。

deleteall

递归删除/oldboyedu-linux85/jiaoshi07下的所有znode。

9、zookeeper集群部署

~]#

/oldboyedu/data/zk(2)修改单点zk的配置文件

~]#

/oldboyedu/softwares/zk/conf/zoo.cfg

...

server.10310.0.0.103:2888:3888(3)同步数据即可

~]#

/oldboyedu/softwares/apache-zookeeper-3.8.0-bin/

~]#

((host_id101;host_id103;host_id))

ssh

/oldboyedu/data/zk/myid;done(5)所有节点启动zk服务

~]#

{start|stop|restart|status}exit

cmd$1#定义函数功能

{start|stop|restart|status};;esac

function

zookeeperManger[rootelk101.oldboyedu.com

~]#

10.0.0.101:2181,10.0.0.102:2181,10.0.0.103:218111、使用zkWeb管理zookeeper集群

(1)下载软件包

http://192.168.15.253/ElasticStack/day07-/softwares/zkWeb-v1.2.1.jar(2)启动zkweb

java

http://192.168.15.253/ElasticStack/day07-/softwares/kafka_2.13-3.2.1.tgz(2)解压软件包

~]#

KAFKA_HOME/oldboyedu/softwares/kafka

export

PATH$PATH:$KAFKA_HOME/bin[rootelk101.oldboyedu.com

softwares]#

/oldboyedu/softwares/kafka/config/server.properties

...

zookeeper.connect10.0.0.101:2181,10.0.0.102:2181,10.0.0.103:2181/oldboyedu-linux85-kafka321

~]#

$KAFKA_HOME/config/server.properties

[rootelk101

$KAFKA_HOME/config/server.properties

[rootelk101

/tmp/kafka-logs/meta.properties

#Fri

cluster.idH2ceIpqTT1iUzb46e5jeKw

version0

$KAFKA_HOME/config/server.properties在zkWeb查看即可。

今日作业