。

ChatGPT就是是迄今为止最著名的使用LLM的工具,它由OpenAI的GPT模型的特别调整版本提供动力而今天我们就来带大家体验一下部署大模型的实战。

文章目录

本来博主是准备来部署一下咱们的清华大语言模型镜像这个目前也是非常的火啊吸引了很多人的注意其优秀的性能和GPT3

不相上下但是由于考虑到大部分人电脑其实跑大模型是有一点点吃力的为了让更多人来先迈出部署模型的第一步于是就决定去

gitee

这里我们选择的是openEuler是香橙派的这块板子内置的系统。

但其实他的内核是ubuntu这里可以给大家看一下所以我们用

ubuntu

是一由中国开源软件基金会主导以Linux稳定系统内核为基础,华为深度参与,面向服务器、桌面和嵌入式等的一个开源操作系统。

1.4

https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/wanzutao/tiny-llama/protobuf-all-3.13.0.tar.gz

--no-check-certificate解压刚刚下载的文件

tar

protobuf-all-3.13.0.tar.gz这里解压速度非常快基本一秒就OK了

protobuf-3.13.0

update使用apt-get安装必要的构建工具包括autoconf、automake和libtool这些工具用于配置和构建开源项目

apt-get

AI处理器支持8个线程我们我们可以大胆的使用4个并行进程进行编译以加快编译速度。

编译这里的时候大家就可以放松放松了大概只需要10几分钟就好了

make

/usr/local/Ascend/ascend-toolkit/latest

export

ASCEND_PATH/usr/local/Ascend/ascend-toolkit/latest

custom_op/matmul_integer_plugin.cc

文件复制到指定路径

custom_op/matmul_integer_plugin.cc

$ASCEND_PATH/tools/msopgen/template/custom_operator_sample/DSL/Onnx/framework/onnx_plugin/cd

目标文件夹进行配置

$ASCEND_PATH/tools/msopgen/template/custom_operator_sample/DSL/Onnx修改环境变量

#命令为

ASCEND_TENSOR_COMPILER_INCLUDE/usr/local/Ascend/ascend-toolkit/latest/include

export

AICPU_KERNEL_TARGETcust_aicpu_kernels

export

AICPU_SOC_VERSIONAscend310B4编译运行

依赖安装

./custom_opp_ubuntu_aarch64.run删除冗余文件

$ASCEND_PATH/opp/vendors/customize

-rf

https://mirrors.huaweicloud.com/repository/pypi/simple先cd

tiny_llama/inference

https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/wanzutao/tiny-llama/tokenizer.zip

unzip

https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/wanzutao/tiny-llama/tiny-llama.onnx我们在复制代码的时候一定要仔细嗷博主这里少打了一个w

导致并没有获取到模型后期找了半天才发现错误所以提醒大家一定要注意好每一步

atc模型转换

--input_shapeinput_ids:1,1;attention_mask:1,1025;position_ids:1,1;past_key_values:22,2,1,4,1024,64

--precision_modemust_keep_origin_dtype三、

项目体验

好了到这里我们就算是大功告成了只需要启动一下mian文件就OK了

tiny_llama/inference

Tiny-Llama这个模型由于尺寸非常小参数也只有1.1B。

所以在我们部署Tiny-Llama这个大语言模型推理过程中Ai

Core的占用率只到60%左右基本是一秒俩个词左右速度上是肯定没问题的。

后期可以去试试升级一下内存去跑一下当下主流的

千问7B模型