教你搭建1.

官方地址https://github.com/THUDM/ChatGLM-6B

ChatGLM-6B

亿参数。

结合模型量化技术用户可以在消费级的显卡上进行本地部署具体的部署条件看下章。

ChatGLM-6B

标识符的中英双语训练辅以监督微调、反馈自助、人类反馈强化学习等技术的加持62

ChatGLM-6B

开源支持中文国内很少有支持中文的开源模型低成本部署兼容CPU具有记忆功能

三部署条件

经过测试推荐还是GPU部署CPU运行的话运行时占用的资源更多并且速度实在太慢了自己单独使用的话也不能忍受这么慢的速度。

GPU的生成速度才能满足使用的体验。

内存不够启动项目的话进程会被自动kill掉。

而且模型启动后占用的现存是远远低于需要的现存的比如说我用GPU部署的无量化的ChatGLM2-6B模型正常来说需要13GB显存但我完全启动后只占用了4GB。

四手把手教你搭建

https://github.com/THUDM/ChatGLM-6B

进入项目文件夹

实在很慢的话直接去gitee上面搜ChatGLM-6B找最新的有很多人把它搬到gitee作为镜像项目。

进入项目克隆模型文件

模型文件的作用是作为训练集项目能够本地加载该模型文件并将其用于预测新的自然语言文本。

模型文件决定我们能有怎么样的输出结果。

chatglm2-6b

https://huggingface.co/THUDM/chatglm2-6b.git路径下就会有ChatGLM2-6B的文件夹我们进入到里面

chatglm2-6b你会发现模型很大但是一下子就clone完了是因为大文件是存储到lfs上面的需要我们用到git的lfs工具来进行下载。

当然你也可以手动下载后然后拷贝到服务器上不过太麻烦不推荐。

git

https://packagecloud.io/install/repositories/github/git-lfs/script.rpm.sh

sudo

https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh

sudo

模型文件都很大下载时间很久我建议在晚上的时候使用如下命令这样睡一觉全部都已经下载好了。

nohup

server_name参数指定能够访问的ip默认不写的话是只能本地127.0.0.1访问server_port参数指定web服务端口share代表是否让huggingface给你生成一个公网地址别人能通过该公网地址直接访问。

默认只能使用72小时。

五补充