基座模型升级性能更强大在中文C-Eval榜单中以51.7分位列第6

目前大多数部署方案采用的是fastapiuvicorntransformers这种方式适合快速运行一些demo在生产环境中使用还是推荐使用专门的深度学习推理服务框架如Triton。

本文将介绍我利用集团9n-triton工具部署ChatGLM2-6B过程中踩过的一些坑希望可以为有部署需求的同学提供一些帮助。

二.硬件要求

我部署了2个pod每个pod的资源CPU4核、内存30G、1张P40显卡显存24G。

三.部署实践

Triton默认支持的PyTorch模型格式为TorchScript由于ChatGLM2-6B模型转换成TorchScript格式会报错本文将以Python

模型目录结构

9N-Triton使用集成模型如上图所示模型仓库(model_repository),

它内部可以包含一个或多个子模型如chatglm2-6b)。

下面对各个部分进行展开介绍

python执行环境

该部分为模型推理时需要的相关python依赖包可以使用conda-pack将conda虚拟环境打包如python-3-8.tar.gz。

如对打包conda环境不熟悉的可以参考

https://conda.github.io/conda-pack/。

然后在config.pbtxt中配置执行环境路径

parameters:

$$TRITON_MODEL_DIRECTORY/../python-3-8.tar.gz}

在当前示例中$

TRITON_MODEL_DIRECTORYpwd/model_repository/chatglm2-6b。

注意当前python执行环境为所有子模型共享如果想给不同子模型指定不同的执行环境则应该将tar.gz文件放在子模型目录下如下所示

parameters:

$$TRITON_MODEL_DIRECTORY/python-3-8.tar.gz}

模型配置文件

模型仓库库中的每个模型都必须包含一个模型配置文件config.pbtxt用于指定平台和或后端属性、max_batch_size

属性以及模型的输入和输出张量等。

ChatGLM2-6B的配置文件可以参考如下

name:

模型每次请求最大的批数据量张量shape由max_batch_size和dims组合指定对于

max_batch_size

$$TRITON_MODEL_DIRECTORY/../python-3-8.tar.gz}

instance_group

https://github.com/triton-inference-server/server/blob/r22.04/docs/model_configuration.md

自定义python

初始化该Python模型时会进行调用一般执行获取输出信息及创建模型的操作

execute:

os.environ[PYTORCH_CUDA_ALLOC_CONF]

max_split_size_mb:32

设置work目录os.environ[TRANSFORMERS_CACHE]

os.path.dirname(os.path.abspath(__file__))/work/

os.path.dirname(os.path.abspath(__file__))/work/import

json#

torch.cuda.empty_cache()logging.basicConfig(format%(asctime)s

%(levelname)s:

%(message)s,levellogging.INFO)class

Python

json.loads(args[model_config])output_response_config

pb_utils.get_output_config_by_name(self.model_config,

pb_utils.get_output_config_by_name(self.model_config,

history)#

typesself.output_response_dtype

pb_utils.triton_string_to_numpy(output_response_config[data_type])self.output_history_dtype

pb_utils.triton_string_to_numpy(output_history_config[data_type])ChatGLM_path

os.path.dirname(os.path.abspath(__file__))/ChatGLM2_6Bself.tokenizer

AutoTokenizer.from_pretrained(ChatGLM_path,

AutoModel.from_pretrained(ChatGLM_path,torch_dtypetorch.bfloat16,trust_remote_codeTrue).half().cuda()self.model

init

pb_utils.InferenceResponseParameters----------requests

listA

pb_utils.InferenceRequestReturns-------listA

list

self.output_response_dtypeoutput_history_dtype

output_dtype

pb_utils.get_input_tensor_by_name(request,

prompt.decode(utf-8)history_origin

pb_utils.get_input_tensor_by_name(request,

len(history_origin)

history_origin]).reshape((-1,2)).tolist()else:history

[]temperature

pb_utils.get_input_tensor_by_name(request,

temperature).as_numpy()[0]temperature

float(temperature.decode(utf-8))max_token

pb_utils.get_input_tensor_by_name(request,

max_token).as_numpy()[0]max_token

int(max_token.decode(utf-8))history_len

pb_utils.get_input_tensor_by_name(request,

history_len).as_numpy()[0]history_len

int(history_len.decode(utf-8))#

日志输出传入信息in_log_info

{in_prompt:prompt,in_history:history,in_temperature:temperature,in_max_token:max_token,in_history_len:history_len}logging.info(in_log_info)response,history

self.model.chat(self.tokenizer,prompt,historyhistory[-history_len:]

history_len

[],max_lengthmax_token,temperaturetemperature)#

{out_response:response,out_history:history}logging.info(out_log_info)response

np.array(history)response_output_tensor

pb_utils.Tensor(response,response.astype(self.output_response_dtype))history_output_tensor

pb_utils.Tensor(history,history.astype(self.output_history_dtype))final_inference_response

pb_utils.InferenceResponse(output_tensors[response_output_tensor,history_output_tensor])responses.append(final_inference_response)#

Create

选择9n-triton-devel-gpu-v0.3镜像创建notebook测试实例

把模型放在/9n-triton-devel/model_repository结构参考3.1

进入/9n-triton-devel/server/目录拉取最新版本的bin并解压wget

http://storage.jd.local/com.bamboo.server.product/7196560/9n_predictor_server.tgz

修改/9n-triton-devel/server/start.sh

为如下

LD_LIBRARY_PATH/9n-triton-devel/server/lib/:$LD_LIBRARY_PATH

nohup

/9n-triton-devel/server/start.sh

检查服务启动成功ChatGLM2-6B模型启动差不多13分钟左右

-natp

/9n-triton-devel/server/logs/predictor_core.INFO

编写python

client访问测试服务脚本放于/9n-triton-devel/client/目录下访问端口为8010ip为127.0.0.1可以参考如下

#!/usr/bin/python3

multi_backend_message_pb2import

time

{response.outputs[0].shape})res

python_backend_utils.deserialize_bytes_tensor(response.raw_output_contents[0])for

res:print(i.decode())print(fhistory

shape:

{response.outputs[1].shape})history

python_backend_utils.deserialize_bytes_tensor(response.raw_output_contents[1])for

request_pb,

batch_size)else:print(send_one_request

fail

multi_backend_message_pb2.ModelInferRequest()request.model_name

chatglm2-6b#

multi_backend_message_pb2.ModelInferRequest().InferInputTensor()input0.name

BYTESinput0.shape.extend([1])input1

multi_backend_message_pb2.ModelInferRequest().InferInputTensor()input1.name

BYTESinput1.shape.extend([-1])input2

multi_backend_message_pb2.ModelInferRequest().InferInputTensor()input2.name

BYTESinput2.shape.extend([1])input3

multi_backend_message_pb2.ModelInferRequest().InferInputTensor()input3.name

BYTESinput3.shape.extend([1])input4

multi_backend_message_pb2.ModelInferRequest().InferInputTensor()input4.name

BYTESinput4.shape.extend([1])query

请给出一个具体示例input0.contents.bytes_contents.append(bytes(query,

encodingutf8))request.inputs.extend([input0])history_origin

鸡兔同笼问题是一个经典的数学问题涉及到基本的代数方程和解题方法。

问题描述为在一个笼子里面有若干只鸡和兔子已知它们的总数和总腿数问鸡和兔子的数量各是多少\n\n解法如下假设鸡的数量为x兔子的数量为y则总腿数为2x4y。

根据题意可以列出方程组\n\nx

总数\n2x

总腿数\n\n通过解方程组可以求得x和y的值从而确定鸡和兔子的数量。

]]).reshape((-1,))history

[bytes(item,

history_origin]input1.contents.bytes_contents.extend(history)request.inputs.extend([input1])input2.contents.bytes_contents.append(bytes(temperature,

encodingutf8))request.inputs.extend([input2])input3.contents.bytes_contents.append(bytes(max_token,

encodingutf8))request.inputs.extend([input3])input4.contents.bytes_contents.append(bytes(history_len,

encodingutf8))request.inputs.extend([input4])#

输出占位output_tensor0

multi_backend_message_pb2.ModelInferRequest().InferRequestedOutputTensor()output_tensor0.name

responserequest.outputs.extend([output_tensor0])output_tensor1

multi_backend_message_pb2.ModelInferRequest().InferRequestedOutputTensor()output_tensor1.name

historyrequest.outputs.extend([output_tensor1])min_ms

0max_ms

time.time_ns()send_one_request(request_sender,

request,

(time.time_ns()-start)/1000000print

(idx:%d

argparse.ArgumentParser()parser.add_argument(

-ip,

requiredFalse)parser.add_argument(

-p,

requiredFalse)parser.add_argument(

-t,

requiredFalse)parser.add_argument(

-m,

requiredFalse)parser.add_argument(

-hl,

requiredFalse)parser.add_argument(

-b,

parser.parse_args()send_request(args.ip_address,

args.port,

https://github.com/kserve/kserve/blob/master/docs/predict-api/v2/grpc_predict_v2.proto

模型部署

九数算法中台提供了两种部署模型服务方式分别为界面部署和SDK部署。

利用界面中的模型部署只支持JSF协议接口若要提供JSF服务接口则可以参考

http://easyalgo.jd.com/help/%E4%BD%BF%E7%94%A8%E6%8C%87%E5%8D%97/%E6%A8%A1%E5%9E%8B%E8%AE%A1%E7%AE%97/%E6%A8%A1%E5%9E%8B%E9%83%A8%E7%BD%B2.html

由于我后续需要将ChatGLM2-6B模型集成至langchain中使用所以对外提供http协议接口比较便利经与算法中台同学请教后使用SDK方式部署可以满足。

由于界面部署和SDK部署目前研发没有对齐用界面部署时直接可以使用3.1中的模型结构使用SDK部署则需要调整模型结构如下

parameters:

$$TRITON_MODEL_DIRECTORY/1/python-3-8.tar.gz}

from

TritonModel(chatglm2-6b)predictor

model.deploy(path$pwd/model_repository/chatglm2-6b,

9n-das-serving-lf2.jd.local,cpu4,memory30,use_gpuTrue,

True,instances2)

使用langchain可以快速基于LLM模型开发一些应用。

使用LLMs模块封装ChatGLM2-6B请求我们的模型服务主要实现_call函数可以参考如下代码

import

warnings.filterwarnings(ignore)class

32000temperature

_deserialize_bytes_tensor(self,

encoded

objectsParameters----------encoded_tensor

bytesThe

contentReturns-------string_tensor

np.arrayThe

struct.unpack_from({}s.format(l),

val_buf,

dtypenp.object_))classmethoddef

_infer(cls,

base64.b64encode(query.encode(utf-8)).decode(utf-8)history_origin

np.asarray(history).reshape((-1,))history

[base64.b64encode(item.encode(utf-8)).decode(utf-8)

for

base64.b64encode(temperature.encode(utf-8)).decode(utf-8)max_token

base64.b64encode(max_token.encode(utf-8)).decode(utf-8)history_len

base64.b64encode(history_len.encode(utf-8)).decode(utf-8)data

{model_name:

response.status_code!200:return

查询结果错误if

base64.b64decode(result[raw_output_contents][0].encode(utf-8))res_response

self._deserialize_bytes_tensor(res)[0].decode()return

res_responsedef

response.status_code!200:return

查询结果错误if

base64.b64decode(result[raw_output_contents][0].encode(utf-8))res_response

self._deserialize_bytes_tensor(res)[0].decode()#

result[outputs][1][shape]history_enc

base64.b64decode(result[raw_output_contents][1].encode(utf-8))res_history

np.array([i.decode()

self._deserialize_bytes_tensor(history_enc)]).reshape(history_shape).tolist()return

res_response,

本文详细介绍了在集团9n-triton工具上部署ChatGLM2-6B过程希望可以为有部署需求的同学提供一些帮助。

作者京东保险