时间版本修改人描述2024年4月15日10:35:52V0.1宋全恒新建文档2024年4月17日10:33:20v1.0宋全恒完成github

actions

地址镜像介绍https://github.com/CodexDive/LLMChatharbor.alkaidos.cn/wxzhang/ragllm:latest大模型应用

CI服务器介绍

HOME_URLhttps://www.ubuntu.com/

SUPPORT_URLhttps://help.ubuntu.com/

BUG_REPORT_URLhttps://bugs.launchpad.net/ubuntu/

PRIVACY_POLICY_URLhttps://www.ubuntu.com/legal/terms-and-policies/privacy-policy

UBUNTU_CODENAMEfocal建议定要使用和宿主机相同的自定义镜像来运行CI作业不然可能会出现诸如GLIBC问题即如果宿主机为Ubuntu

20.04那么自定义镜像最好也是Ubuntu并且版本是20.04这样稀奇古怪的问题遇到的会少许多。

在仓库上查看配置指令

可以先去网址下载好actions-runner的客户端也可以在安装的时候下载。

在此演示基于网站上的程序下载安装器

Download

actions-runner-linux-x64-2.315.0.tar.gz

https://github.com/actions/runner/releases/download/v2.315.0/actions-runner-linux-x64-2.315.0.tar.gz#

Optional:

6362646b67613c6981db76f4d25e68e463a9af2cc8d16e31bfeabe39153606a0

actions-runner-linux-x64-2.315.0.tar.gz

shasum

./actions-runner-linux-x64-2.315.0.tar.gzConfigure

Create

https://github.com/CodexDive/LLMs_Inference

--token

配置的github账户必须拥有这个仓库才能配置和查看runner对于个人账户而言

actions-runner.当前最新版本为2.315.0运行器的版本默认会自动升级因此这个下载部分的链接可能会发生变化。

标签运行器

如果想要同一个运行器运行多个仓库的作业需要使用组织级的账户对于个人账户一个部署了运行器的服务器只能添加到一个仓库

配置CI服务器为运行器客户端

使用XShell等工具链接CI服务器如42.将压缩包拷贝到某个目录如/home/yangfei/actions-ci以yangfei账户为CI服务启动的账户

我们首先使用./configure

https://github.com/CodexDive/LLMs_Inference

--token

BCTEUWK4VPIV2M4PKIRQX2TGDXVXC上述命令会交互式的提醒用户输入运行器组名个人仓库无组运行器名称zjlab-runner标签为A100,40G,8C

分别表位GPU为A100,

./run.sh然后去网页上验证是否成功。

一般没有问题暂且不表我们继续将该客户端安装成服务这样重启之后运行器服务会自动运行。

sudo

在我们配置好了运行器之后可以在网页上查看运行的状态是否处于正常状态。

配置工作流

是GitHub的持续集成服务。

持续集成由很多操作组成比如登录远程服务器发布内容到第三方服务等等GitHub把这些操作称为actions。

工作流含义

在配置好了GitHub仓库之后一般我们需要再仓库代码中添加一个工作流配置文件yaml格式来确定工作流的步骤其实就是一些列的步骤组成了一个作业。

在yaml配置文件中也可以包含作业运行的基础环境可以是github提供的原始镜像也可以用自定义的镜像。

在作业执行过程中就是不断的在镜像相应的容器中执行命令查看结果。

action

Marketplace动作市场可以看为在CI过程中可以使用的一系列动作步骤。

Checkoutssh

Pytest的实践即在开发过程中开发功能和开发测试在单元测试的撰写时演示了为类写测试以及普通的功能函数写测试以及mock的用法在CI时使用github提供的环境使用自定义的镜像

workflow

注意workflow配置文件以yaml为后缀并且位于.github/workflows

This

https://docs.github.com/en/actions/automating-builds-and-tests/building-and-testing-pythonname:

Python

jobs:container-run-test:runs-on:

[self-hosted,

10.101.12.128/framework/ubuntu:22.04-official-ali-python3.7.14options:

--privilegedcredentials:username:

adminpassword:

/home/songquanheng:/home/songquanhengsteps:

name:

codecov/codecov-actionv4with:token:

${{

yanchenmochen/ActionPracticeverbose:

true

注意由于要使用容器环境因此jobs.job-name.container:下有支持的参数具体参见

Running

containerjobs.job-id.container配置容器启动时的–options参见

Use

本文详细的记录了为一个GitHub配置一个self-hosted

runner的过程通过上述的过程我们可以灵活的为仓库配置自定义的运行器并且也可以使用自定义的容器进行仓库CI作业的执行提升作业环境的封装性。

通过灵活的设计CI工作流的步骤我们可以方便的设计CI的各个步骤在执行某个步骤的时候我们也可以借助于GitHub

Actions

Marketplace所提供的常用功能组件辅助我们进行有效的工作流配置文件的编写。

因此整个生态也是闭包的。