先说说我自己， 之前没怎么上过学，就了解一点点电脑，最终还是结果是老板让我搞AI办公， 我怀疑... 我说能够啊，然后就启动乱试。

先买个服务器或者用云？

研究研究。 我一启动直接在阿里云买了个ECS， 选了最市场价格较低的那种，最终还是结果是发觉跑不起来较大模型，老是报错说内存不够。后来才了解要选带GPU的机子，不然根本跑不动LLM。nvidia-smi 一看都是零。

其实也能够不用买GPU， 用CPU跑一些较小模型比如LLaMA.cpp，不过速度缓慢得像蜗牛。我试过把模型放在自己笔记本里跑，风扇狂转，最后再来看还是放弃了。

模型选哪个？

网上说OpenAI API很良好用，但得花钱而且有时候被墙。我就去下了个开源的Qwen， 琢磨琢磨。 放在自己的服务器上。安装的时候老是缺更少啥库，装了一堆才过去。

docker run -d --gpus all -v /my/models:/models -p 8000:8000 vllm/vllm-openai --model /models/qwen-7b-chat

/my/models/ 就良好了。

怎样把文档塞进去？

就算.... 公司有很更多word、pdf还有扫描件。我先用pip install pypdf2 pdfplumber paddleocr,然后写了个脚本把全部文件转成纯文字。不过有些表格全乱码，，最后再来看只能手动删掉那一些乱七八糟的内容。

用户上传文档  ↓保存文件到对象存储  ↓创建解析任务  ↓异步提取文本  ↓切分文本  ↓生成向量  ↓写入向量数据库  ↓更崭新文档状态

知识库问答怎么做？

还行。 制度问答类场景相同问题较更多，能够将问题归一化后缓存最终还是结果是。举个例子： 报销怎么弄？ 。如果问 “出售合同审批较高于50万需要谁审批？” AI有可能瞎猜。 系统架构图 用户入口 ├── Web端 ├── 移动端 ├── 企业微信/钉钉/飞书 └── 浏览器插件 │ ▼统一网关层 ├── 身份认证 ├── 权限校验 ├── 限流控制 ├── 申请日志 └── 可靠过滤 │ ▼AI应用服务层 ├── 对话服务 ├── 知识库问答 ├── 文档 ├── 会议纪要 ├── 写作助手 └── 工作岗位流编排 ▼模型能力层 ├── 较大语言模型 ├── Embedding模型 ├── OCR模型 ├── ASR语音识别 └── Rerank沉重排序模型 ▼数据存储层 ├── MySQL/PostgreSQL ├── Redis ├── MinIO/对象存储 ├── Elasticsearch │ └── Milvus/Qdrant/pgvector ▼运维监控层 ├─ Promeus ├─ Grafana ├─ Loki/ELK ├─ 告警系统 └─审计系统，拖进度。 部署方式怎么选？ 我看过三种方案： OpenAI API 迅速原型开发 开箱即用 效果平稳** **市场价格较高 这东西... 国内访问不平稳** LLaMA.cpp 本地离线运行 数据隐私性良好 需要自己优化推理性能** 实际落地遇到的坑 \u6A21\u578B\u9AA4\u65F6\uFF1A\u7528\u6237\u63D0\u95EE\uFF0C AI \u7B49\u5F85\uFF1A... "}