wen/Qwen2-…部署资源

HF_ENDPOINThttps://hf-mirror.com下载qwen2模型

如何下载huggingface

services:m3e_api:container_name:

Asia/Shanghaiimage:

registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latestrestart:

alwaysports:-

registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.7.0

阿里云container_name:

这里的配置只有首次运行生效。

修改后重启镜像是不会生效的。

需要把持久化数据删除再重启才有效果-

./pg/data:/var/lib/postgresql/datamongo:image:

mongo:5.0.18

registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18

阿里云#

MONGO_INITDB_ROOT_USERNAMEmyusername-

MONGO_INITDB_ROOT_PASSWORDmypasswordvolumes:-

./mongo/data:/data/dbentrypoint:-

bash-

1if(!isInited){rs.initiate({_id:

rs0,members:

等待docker-entrypoint.sh脚本执行的MongoDB服务进程wait

$$!#

ghcr.io/labring/fastgpt-sandbox:latest

git#

registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:latest

阿里云networks:-

registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.9

阿里云ports:-

OPENAI_BASE_URLhttp://oneapi:3000/v1#

Key。

这里默认填写了OneAPI的快速默认key测试通后务必及时修改-

数据库最大连接数-

MONGODB_URImongodb://myusername:mypasswordmongo:27017/fastgpt?authSourceadmin#

连接参数-

PG_URLpostgresql://username:passwordpg:5432/postgres#

sandbox

SANDBOX_URLhttp://sandbox:3000#

日志等级:

./config.json:/app/data/config.json#

oneapimysql:#

registry.cn-hangzhou.aliyuncs.com/fastgpt/mysql:8.0.36

阿里云image:

--default-au***ntication-pluginmysql_native_passwordenvironment:#

默认root密码仅首次运行有效MYSQL_ROOT_PASSWORD:

oneapivolumes:-

./mysql:/var/lib/mysqloneapi:container_name:

oneapiimage:

ghcr.io/songquanpeng/one-api:v0.6.7#

image:

registry.cn-hangzhou.aliyuncs.com/fastgpt/one-api:v0.6.6

阿里云ports:-

SQL_DSNroot:oneapimmysqltcp(mysql:3306)/oneapi#

登录凭证加密密钥-

INITIAL_ROOT_TOKENfastgptvolumes:-

./oneapi:/data

/imgs/model/openai.svg,maxContext:

125000,maxResponse:

/imgs/model/openai.svg,charsPointsPrice:

0,defaultToken:

从huggingface中直接下载使用python直接部署为服务

https://github.com/datawhalechina/self-llm/blob/master/models/Qwen2/01-Qwen2-7B-Instruct%20FastApi%20%E9%83%A8%E7%BD%B2%E8%B0%83%E7%94%A8.mdfastAPI

部署模型对话服务