c…一、说明

本文章内容主要的参考来源是https://www.cnblogs.com/javashop-docs/p/12410845.html但参考文献中的elasticsearch是用的6.x版本7.x与6.x有些配置上的差异因此有必要在此基础上记录一下。

二、思路

在k8s中的持久化部署不可避免的要用到持久卷我们采用nfs方式的持久卷来存储es数据。

持久卷的详细介绍请见这里

https://kubernetes.io/docs/concepts/storage/persistent-volumes/

节点规划

默认启动5个节点3主2数据。

根据es官方推荐每个节点的智能要分离因此maseter节点不存储数据只用来协调。

es的数据目录默认只允许一个节点访问但在k8s上采用了持久卷所有节点的数据都存储在这个卷上这会导致es的访问权限问题。

报错如下

java.io.IOException:

/usr/share/elasticsearch/data/nodes/0

当然可以通过更改es的配置max_local_storage_nodes来允许多个节点访问同一个数据目录但es官方不推荐这样做。

节点名

/usr/share/elasticsearch/data/es-data-1

es-data-2

/usr/share/elasticsearch/data/es-data-2

三、部署

关于索引的磁盘占用请根据业务的数据量情况来规划持久卷硬件的情况根据我们实际测算1000个商品大约需要1MB/每节点

在默认的规划中我们使用k8s的master节点作为nfs服务器为上述卷准备了10G的空间请确保k8s

master

不少于10G的空闲磁盘。

请根据您的具体业务情况选择nfs服务器如果条件允许最好是独立的nfs服务器。

根据如上规划建立nfs服务

#master节点安装nfs

/nfs/data/{mqdata,esmaster,esdata}

#修改权限

#showmount测试这里的ip输入master节点的局域网ip

showmount

接下来要在每一个节点上安装nfs服务以便使k8s可以挂载nfs目录

#所有node节点安装客户端

复制附件中的pv.yaml内容修改其中的server配置为nfs服务器的ip地址

nfs:

由于在elasticsearch.yaml中设置了node信息nodeSelector

kubectl

复制附件elasticsearch.yaml的内并执行下面的命令创建es集群

kubectl

通过以上部署我们建立了一个ns-elasticsearch的namespace并在其中创建了相应的pvc、角色账号有状态副本集以及服务。

kubectl

elasticsearch-api-service.ns-elasticsearch:9300

elasticsearch-service.ns-elasticsearch:9200

es的最大内存和最小内存需要保持一致默认的256m太小可适当增加我配置的是1024m。

es7.x参考

https://blog.csdn.net/chengyuqiang/article/details/89841544

https://www.sohu.com/a/301517999_683048

四、附件

ReadWriteOncepersistentVolumeReclaimPolicy:

nfsnfs:server:

ReadWriteOncepersistentVolumeReclaimPolicy:

nfsnfs:server:

ReadWriteOnceresources:requests:storage:

1GistorageClassName:

ReadWriteOnceresources:requests:storage:

---

elasticsearch-adminlabels:elastic-app:

elasticsearch

10selector:matchLabels:elastic-app:

elasticsearchrole:

mastertemplate:metadata:labels:elastic-app:

elasticsearchrole:

pv-storage-elastic-masterpersistentVolumeClaim:claimName:

enablecontainers:-

registry.cn-shanghai.aliyuncs.com/luckyqing/elasticsearch:7.6.2lifecycle:postStart:exec:command:

[/bin/bash,

/usr/share/elasticsearch/data;]ports:-

containerPort:

MY_POD_NAMEvalueFrom:fieldRef:apiVersion:

v1fieldPath:

metadata.name#修改es默认的数据存储es权限不允许-

name:

/usr/share/elasticsearch/data/$(MY_POD_NAME)-

name:

cluster.initial_master_nodesvalue:

elasticsearch-master-0securityContext:privileged:

name:

pv-storage-elastic-mastermountPath:

imagePullSecrets:

aliyun-secretserviceAccountName:

elasticsearch-admintolerations:-

key:

node-role.kubernetes.io/mastereffect:

NoSchedule---

elasticsearch-discoverynamespace:

ns-elasticsearch

10selector:matchLabels:elastic-app:

elasticsearchtemplate:metadata:labels:elastic-app:

elasticsearchrole:

dataspec:#将es-data持久卷声明volumes:-

name:

pv-storage-elastic-datapersistentVolumeClaim:claimName:

enablecontainers:-

registry.cn-shanghai.aliyuncs.com/luckyqing/elasticsearch:7.6.2lifecycle:postStart:exec:command:

[/bin/bash,

/usr/share/elasticsearch/data;]ports:-

containerPort:

MY_POD_NAMEvalueFrom:fieldRef:apiVersion:

v1fieldPath:

metadata.name#修改es默认的数据存储es权限不允许-

name:

/usr/share/elasticsearch/data/$(MY_POD_NAME)-

name:

-Xmx1024msecurityContext:privileged:

name:

pv-storage-elastic-datamountPath:

/usr/share/elasticsearch/data/#

imagePullSecrets:#

aliyun-secretserviceAccountName:

elasticsearch-admintolerations:-

key:

node-role.kubernetes.io/mastereffect:

NoSchedule---

elasticsearch-servicenamespace:

ns-elasticsearch

elasticsearch-api-servicenamespace:

ns-elasticsearch