pi构建大模型应用平台

介绍部署测试部署fastgptoneapi服务部署向量模型m3e和nomic-embed-text测试大模型

注意事项说明

随着大模型的快速发展众多IT科技厂商都开发训练了各自的大模型并提供了各具特色的AI产品。

早期比较常见的做法是提供聊天机器人如今逐步发展为各类AI智能体用户可以在平台上选择自己需要能力构建特有的智能体。

例如语聚AI,智谱清言,Fastgpt,

coze,

如果想快速体验可以直接在平台上注册账号按需使用即可。

若想为自己的团队或者公司提供智能体那么就可以基于开源产品搭建相关平台或者二开。

Ollama,

大模型笔记01–基于ollama和open-webui快速部署chatgpt。

FastGPT

大语言模型的知识库问答系统提供开箱即用的数据处理、模型调用等能力。

同时可以通过

Flow

ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360

key.

https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json

pgvector

https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-pgvector.yml

docker

https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-milvus.yml

zilliz

https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-zilliz.yml服务正常拉起来后可以通过docker

compose

在oneapi中按需配置ollama渠道使用Ollama自己部署模型的时候秘钥可以随意写使用其它大模型厂商的话要按需填写提供的秘钥

在fastgpt的confg.json中加上对应的模型按需更改model和name字段然后重启fastgpt服务即可

vim

是否设置为知识库处理模型QA务必保证至少有一个为true否则知识库会报错usedInClassify:

true,

是否用于问题分类务必保证至少有一个为trueusedInExtractFields:

true,

是否用于内容提取务必保证至少有一个为trueusedInToolCall:

true,

是否用于工具调用务必保证至少有一个为trueusedInQueryExtension:

true,

是否用于问题优化务必保证至少有一个为truetoolChoice:

true,

是否支持工具选择分类内容提取工具调用会用到。

目前只有gpt支持functionCall:

false,

自定义文本分类提示词不支持工具和函数调用的模型customExtractPrompt:

自定义内容提取提示词defaultSystemChatPrompt:

请求API时挟带一些默认配置比如

registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api

测试方法

http://0.0.0.0:6008/v1/embeddings

--header

http://localhost:11434/api/embeddings

{model:

http://192.xx.xx.1:6008按需填写实际m3e服务的ip和端口秘钥填写上述sk-key对应的内容

http://192.x.x.1:11435(前面ip根据实际填写即可此处使用代理的端口11435)ollama默认使用/api/embeddings提供向量访问因此我们需要使用代理将/v1/embeddings转发到该接口具体配置见

然后在

dimensions:1024来返回1024维度的向量。

目前必须小于1536维度dbConfig:

{},

存储时的额外参数非对称向量模型时候需要用到queryConfig:

/imgs/model/openai.svg,charsPointsPrice:

0,defaultToken:

/imgs/model/openai.svg,charsPointsPrice:

0,defaultToken:

在skills目录提前准备好的文档并按照步骤导入数据导入到Ready需要大模型发一些时间处理(GPU一般的话就比较慢笔者P2200

新建大模型应用

参考官方文档在工作台新建一个大模型应用此处新建agent-qwen2-7b使用qwen2-7b大模型关联上知识库

nomic-embed-text-v1.5(搜索模式使用混合检索),

配置完成后测试一下结果可以发现它有从5个目标参考文档中检索知识结合检索的目标知识回答我们的问题。

测试完成点击发布发布成功后可以直接通过聊天界面进入到agent-qwen2-7b应用了如下图:

若需要让其更加智能我们可以按需补充合适的文档和提示词让其按照我们的方式检索、回答问题。

注意事项

配置渠道的时候最好每个渠道配置唯一的一个模型这样使用的时候容易区分。

新增知识库导入数据时候报错当前分组

如果有openai的token的话可以在oneapi配置text-embedding-ada-002这个渠道没有的话自行部署向量模型并在oneapi新建对应的渠道新建知识库的时使用自己新建的渠道即可。

当前分组

在使用知识库的时候发现数据一直处于索引中机器CPU长期处于高负荷状态

发现fastgpt报错503,

而fastgpt调用onepai默认接口为/v1/embeddings

因此会报错此时可以在本地通过nginx代理ollama将oneapi的/v1/embeddings转发到ollama的

代理配置如下:

http://127.0.0.1:11434;proxy_set_header

Host

$proxy_add_x_forwarded_for;proxy_set_header

X-Forwarded-Proto

http://127.0.0.1:11434;proxy_set_header

Host

$proxy_add_x_forwarded_for;proxy_set_header

X-Forwarded-Proto

ollama向量模型知识库上传数据一直卡在索引docker日志报404

fastgpt

api调用报错](https://github.com/songquanpeng/one-api/issues/1646)说明

软件:

Fastgpt配合chatglmm3e或ollamam3e搭建个人知识库

大模型必备