。

建立有效的持续集成环境可以减少开发过程中一些不必要的问题、提高代码质量、快速迭代等;(Jenkins)

CD即持续交付Con…

Integration,简称CI)用通俗的话讲就是持续的整合版本库代码编译后制作应用镜像。

建立有效的持续集成环境可以减少开发过程中一些不必要的问题、提高代码质量、快速迭代等;(Jenkins)

CD即持续交付Continuous

Deployment用通俗的话说即可以持续的部署到生产环境给客户使用这里分为两个阶段持续交付我理解为满足上线条件的过程但是没有上线持续部署即为上线应用的过程;(k8s)

1.2

研发人员通过Git将代码上传至Gitlab项目管理员审核代码后合并代码

Jenkins通过webhook获取Gitlab上的项目代码并通过maven打包构建镜像如果构建报错则可以通过邮件或钉钉等通知相关人员

镜像构建完成后Jenkins自动将镜像pull到Harbor镜像仓库

Harbor镜像仓库通过将镜像push到k8s集群运行k8s通过编排管理实现镜像服务的伸缩和高可用。

1.3

角色主机名ip地址备注masterk8s-master192.168.250.217

k8s主节点、8核CPU、4GB(CD)

GitlabJenkinsDockerjenkins192.168.250.188

docker镜像仓库:harborharbor192.168.250.220

8核CPU、4GB

软件版本linuxcentos7docker26.1.3k8s1.22.2harbor2.0.6Jenkins2.457(尽量别用latest版本安装

二、环境准备

NetworkManager会和network启动是发生冲突导致network启动失败不能远程访问虚拟机

systemctl

/etc/sysconfig/network-scripts/ifcfg-ens33

1选择动态分配或者静态分配

IPV6_ADDR_GEN_MODEstable-privacy

NAMEens33

UUID9c922cc8-b3ed-419a-88bd-6fd756e04880

DEVICEens33

http://mirrors.aliyun.com/repo/Centos-7.repo

wget

http://mirrors.aliyun.com/repo/epel-7.repo

wget

/etc/yum.repos.d/docker-ce.repo

https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

yum

[https://2tefyfv7.mirror.aliyuncs.com]

EOF

添加主机名与ip的对应关系k8s-master、k8s-node1、k8s-node2

cat

将桥接的ipv4流量传递到iptables的链k8s-master、k8s-node1、k8s-node2

cat

net.bridge.bridge-nf-call-ip6tables

net.bridge.bridge-nf-call-iptables

EOF

安装kubeadm、kubelet、kubectlk8s-master、k8s-node1、k8s-node2

cat

/etc/yum.repos.d/kubernetes.repo

[kubernetes]

baseurlhttps://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/

enabled1

gpgkeyhttps://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg

https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg

EOF

修改docker的配置k8s-master、k8s-node1、k8s-node2

#镜像加速

[https://2tefyfv7.mirror.aliyuncs.com]

EOF

这里从节点的kubelet.service状态报codeexited,

3.5

--apiserver-advertise-address192.168.163.151

--image-repository

registry.aliyuncs.com/google_containers

--kubernetes-version

--pod-network-cidr10.244.0.0/16

Kubernetes

官方文档https://github.com/flannel-io/flannel

最好手动提前拉取所需镜像

https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

kubectl

sha256:f36824a14f1acb9413246e8f5f0cdf5f6060066f7e4eec6d27edd69004499f9f

4.1

[https://2tefyfv7.mirror.aliyuncs.com]

EOF

/data/gitlab/log:/var/log/gitlab

/data/gitlab/data:/var/opt/gitlab

beginor/gitlab-ce

切记:这里的端口要设置成80要不push项目会提示没有报错如果宿主机端口被占用需要把这个端口腾出来

4.2.3

external_url\thttp://192.168.163.155

cat

gitlab_rails[‘gitlab_ssh_host’]

‘192.168.163.155’’

gitlab_rails[gitlab_shell_ssh_port]

222

gitlab_rails[gitlab_shell_ssh_port]

222

/data/gitlab/data/gitlab-rails/etc/gitlab.yml

4.2.4

​在宿主机所在的物理机访问http://192.168.163.155/

会自动跳转到修改密码(root用户),如果密码设置的没有满足一定的复杂性则会报500需要从新设置

4.2.5

[https://2tefyfv7.mirror.aliyuncs.com]

EOF

harbor-offline-installer-v2.0.6.tgz

docker

/config/log/rsyslog_docker.conf

Generated

/compose_location/docker-compose.yml

Clean

goharbor/notary-server-photon:v2.0.6

Loaded

goharbor/clair-adapter-photon:v2.0.6

Loaded

goharbor/harbor-jobservice:v2.0.6

Loaded

goharbor/notary-signer-photon:v2.0.6

Loaded

goharbor/harbor-registryctl:v2.0.6

Loaded

goharbor/trivy-adapter-photon:v2.0.6

Loaded

goharbor/chartmuseum-photon:v2.0.6

Loaded

goharbor/registry-photon:v2.0.6

[Step

/config/log/rsyslog_docker.conf

Clearing

/config/log/rsyslog_docker.conf

Generated

/compose_location/docker-compose.yml

Clean

CI服务器的docker配置jenkins:192.168.163.155

这里因为我们要在192.168.163.155(CI服务器)上push镜像到192.168.163.156(私仓)所有需要修改CI服务器上的Docker配置。

cat

[https://2tefyfv7.mirror.aliyuncs.com],

insecure-registries:

192.168.163.156/library/gitlab-ce

自定义

192.168.163.156/library/gitlab-ce

5.8

CD服务器的docker配置k8s-master、k8s-node1、k8s-node2

cat

编辑/lib/systemd/system/harbor.service

vim

/lib/systemd/system/harbor.service

[Unit]

Documentationhttp://github.com/vmware/harbor

[Service]

ExecStart/usr/bin/docker-compose

/root/harbor/docker-compose.yml

ExecStop/usr/bin/docker-compose

/root/harbor/docker-compose.yml

down

/lib/systemd/system/harbor.service

systemctl

六、安装配置jenkinsjenkins:192.168.163.155

6.1

更换国内清华大学镜像,Jenkins下载插件特别慢更换国内的清华源的镜像地址会快不少

cat

/jenkins/hudson.model.UpdateCenter.xml

sed

s#updates.jenkins.io/update-center.json#mirrors.tuna.tsinghua.edu.cn/jenkins/updates/update-center.json#g

/jenkins/hudson.model.UpdateCenter.xml

cat

/jenkins/hudson.model.UpdateCenter.xml

替换为

s#https://www.google.com/#https://www.baidu.com/#g

重启docker获取登录密匙

/jenkins/secrets/initialAdminPassword

需要修改jenkins绑定的docker的启动参数ExecStart/usr/bin/dockerd

tcp://0.0.0.0:2376

--containerd/run/containerd/containerd.sock

vim

/lib/systemd/system/docker.service

修改镜像库启动参数后需要重启docker

需要修改harbor(192.168.163.156)的docker的启动参数ExecStart/usr/bin/dockerd

tcp://0.0.0.0:2376

--containerd/run/containerd/containerd.sock

vim

/lib/systemd/system/docker.service

修改镜像库启动参数后需要重启docker

Image时使用定义了用那个服务器的docker执行docker命令

jenkins

xmlnshttp://maven.apache.org/POM/4.0.0

xmlns:xsihttp://www.w3.org/2001/XMLSchema-instance

xsi:schemaLocationhttp://maven.apache.org/POM/4.0.0

https://maven.apache.org/xsd/maven-4.0.0.xsd

parent

groupIdorg.springframework.boot/groupId

artifactIdspring-boot-starter-parent/artifactId

/parent

docker.repostory192.168.163.156/docker.repostory

docker.registry.namedemo/docker.registry.name

docker.image.tag0.0.1/docker.image.tag

docker.maven.plugin.version1.4.10/docker.maven.plugin.version

/properties

groupIdorg.springframework.boot/groupId

artifactIdspring-boot-starter-web/artifactId

/dependency

groupIdorg.projectlombok/groupId

/dependency

groupIdorg.springframework.boot/groupId

artifactIdspring-boot-starter-test/artifactId

scopetest/scope

groupIdorg.springframework.boot/groupId

artifactIdspring-boot-maven-plugin/artifactId

configuration

groupIdorg.projectlombok/groupId

/exclude

artifactIddockerfile-maven-plugin/artifactId

version${docker.maven.plugin.version}/version

本地编译时先注释掉

contextDirectory${project.basedir}/contextDirectory

useMavenSettingsForAuthtrue/useMavenSettingsForAuth

repository${docker.repostory}/${docker.registry.name}/${project.artifactId}/repository

buildArgs

JAR_FILEtarget/${project.build.finalName}.jar/JAR_FILE

/buildArgs

src/main/resources下所有文件及文件夹为资源文件

resource

directorysrc/main/resources/directory

targetPath${project.build.directory}/classes/targetPath

includes

org.springframework.web.bind.annotation.GetMapping;

import

org.springframework.web.bind.annotation.RequestMapping;

import

org.springframework.web.bind.annotation.RestController;

/**

#添加依赖环境前提是将Java8的Docker镜像从官方镜像仓库pull下来然后上传到自己的Harbor私有仓库中

FROM

-Djava.security.egdfile:/dev/./urandom,

-jar,

192.168.163.156/demo/demo:0.0.1

ports:

在jenkins服务器(192.168.163.155)上拉取java8镜像然后推送至harbor仓库一会打包构建docker镜像的时候会用到。

docker

jenkins执行构建命令时需要ssh访问jenkins容器所在服务器192.168.163.155和k8s主节点服务器192.168.163.151所以需要配置ssh免密登录

在jenkins容器所在服务器192.168.163.155上进入jenkins容器

docker

将公钥复制到jenkins容器所在服务器192.168.163.155

ssh-copy-id

将公钥复制到k8s主节点服务器192.168.163.151)

7.4

创建私有镜像仓库Secretk8s主节点服务器192.168.163.151

k8s需要从harbor私有进行仓库拉取镜像时需要创建Secret配置harbor私有镜像仓库地址、账号密码

harbor-registry是自定义的名称与demo.yaml中的imagePullSecrets.name值一致

kubectl

安装jdk和maven(jenkins:192.168.163.155)

安装mvn

https://archive.apache.org/dist/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz

tar

MAVEN_HOME/usr/local/apache-maven-3.6.3

JAVA_HOME/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.412.b08-1.el7_9.x86_64

PATH$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH

刷新环境变量

192.168.163.156/demo/demo:0.0.1

/usr/local/apache-maven-3.6.3/bin/mvn

/jenkins/workspace/demo/pom.xml

clean

192.168.163.156/demo/demo:0.0.1

scp

/var/jenkins_home/workspace/demo/demo.yaml

ssh

访问应用192.168.163.151:30001/api/test

方式二

还需要手动在jenkins中构建项目下面整合Jenkins和gitlab使用gitlab的webhook功能实现代码提交到gitlab后

自动构建部署项目

访问应用192.168.163.151:30001/api/test

至此搭建GitlabJenkinsDockerHarborK8s集群搭建CICD平台完成