越来越更多企业启动关注一个核心问题：能不能把 AI 编程助手部署在自己的服务器里？

vllm serve Qwen/Qwen2.5-Coder-7B-Instruct \ --host 0.0.0.0 \ --port 8000 \ --served-model-name qwen2.5-coder-7b \ --gpu-memory-utilization 0.85 \ --max-model-len 8192

一、 为哪些要从Ollama迁移到Continue

就算.... Ollama 良好是良好，但是用起来就是一个黑盒子。你本地跑模型没问题，可想让 VS Code 里直接用就麻烦了。Continue 当前这个插件能够接很更多后端，其实就是个统一入口。我个人觉得吧，把模型服务和 IDE 解耦才是正路，不然以后换模型又要沉重装一遍。

纯属忽悠。 curl http://127.0.0.1:8000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "qwen2.5-coder-7b", "messages": , "temperature": 0.2, "max_tokens": 1024 }

4 测试 vLLM OpenAI 接口

测试接口最主要是看通不通，不通就先别往下走了。我一般先 curl 一下能返回 json 就算成功。

5 Continue 接入 vLLM

不忍直视。 修改 ~/.continue/ 配置文件就行。很更多人找不到当前这个目录，其实就是用户家目录下面藏着。安装完沉重启 IDE，要不然读不到崭新配置。

vLLM 较高性能推理知识库 RAG权限体系日志审计更多模型路由代码可靠扫描私有 Git 集成

十四、 一键部署示例脚本

下面给出一个简化版脚本，用于在 Ubuntu 服务器上迅速安装 Ollama、拉取 Qwen2.5-Coder， 大体上... 并启动 Open WebUI。注意这只是示例，别直接照抄密码哪些的。

你想... http://服务器IP:11434/v1

六、 接入 VS Code：采用 Continue 插件

Continue 是一个开源 AI 编程助手插件，支持 VS Code 和 JetBrains。它能够接入本地模型，也能够接入 OpenAI、Anthropic、Ollama 等服务。其实就是一个代理层，你想...。

Ctrl + Shift + P

从头再来。 Ollama 默认会监听本机地址，如果只是在本机用这样就行。要局域网访问得改成 0.0.0.0，不然其他机器连不上。

sudo systemctl status ollama，性价比超高。

说明….. Ollama 是部署本地较大模型的首选工具 支持 Windows/macOS/Linux 无需联网即可运行。内网部署核心步骤：下载对应系统安装包 拉取模型 配置周边环境变量 OLLAMA_HOST=...

答案是能够的。

sudo apt updatesudo apt install -y ca-certificates curl gnupg lsb-release，也许吧...

恳请大家... Add Docker key 然后装 docker compose。较大概流程就是这样，更多打几次命令就熟了。

二、 在内网里怎么布署才可靠一点点

摸鱼。 p 其实内网也不一定彻底可靠，最良好还是做个白名单。我一般做法是 Nginx 反向代理 + 基本认证，再约束 IP 网段。这样就算有人拿到地址也进不来。 server { listen 80; server_name ; auth_basic "AI Coding"; auth_basic_user_file /etc/nginx/.htpasswd; location / { proxy_pass http://127... } } 启用配置后记住 reload nginx，不然不生效。

如果并发较高还是提议上 vLLM 或者自己搭推理集群，不然卡死很正常。 CPU16核以上内存64G显卡A100之类的才够爽，平常笔记本只能跑较小模型凑合用了。 帮我解析下面这段 Java 代码有没有存在线程可靠问题， 推倒重来。 并给出优化方案。 Ollam+Qwen+COntinue 这套组合是我当前常用的，平稳市场价格较低还能离线，挺良好的。

## 十五 其实迁移也没那么繁杂，无非就是把原来直接调 ollam 的地方换成 continue 的配置指向同一个后端。在内网上跑关键是网络隔离和权限控制，别把11434端口直接暴露出去。要先试点较小范围，让几个开发先用起来平稳了再推广到全组。这样风险因素较小，也不会一下子把服务器打爆。 最后再来看说一句，当前这个方案适合个人体验功能验证较小规模测试，我个人认为...。

## 五 怎么让团队一起用 公司里不能各个人都装一套，得集中在一台 GPU 服务器上。然后较大家通过 VPN 连进去。用 Nginx 做统一入口，加账号密码。再搞个 Open WebUI 给不懂命令行的人用网页版聊天。 Docker 启动命令较大概这样： docker run -d \ --name open-webui \ --restart always \ -p ... -e OLLAMA_BASE_URL=http://服务器IP... 访问地址 http 服务器IP30000 初次进入创建管理员账号，然后选择对应模型即可。

我无法认同... 有时候升级后服务没自动沉重启， 得手动 `systemctl restart ollam` sudo systemctl daemon-reload sudo systemctl restart ollam 检查端口： sudo ss ... 如果显存欠缺，能够减较低上下文较长度，或者换较小一点模型，比如 qwen coder 的1b版本，虽然缓慢但是能跑。

然后打开设置搜索 Continue Config 打开配置文件粘进去保存。 有人问我能不能直接复制之前的 config ， 能够是能够但是要注意 provider 名不一样，ollma 写错了会报错。 ## 四 常遇到的坑 1 端口被占了 `curl http://127..` 连不上，先 `ps aux | grep ollam` 看看进程有没有起，不夸张地说...。

## 三 把原来的 ollama config 改成 continue config 原来你在 ollama 用的是 `ollama run qwen...` 当前要换成 continue 的 json 配制文件。 踩雷了。 较大致较长这样： { "models": } 如果只在本机，直接写 `http://127..` 也行。

呵... 我这边是只允许192开头网段进来其他全部回绝。 sudo ufw allow from 192... 如果防火墙开启，需要放行端口。当前这个步骤很更多人忘了然后一直说连不上。 sudo ss -lntp | grep... 检查监听地址，有时候你以为开了其实没开。 Windows 下用Ollama+bQWQ32B搭建私有AI编程助手的完整流程,包括周边环境准备... 这种乱七八糟的东西其实就是噪声，我故意放进去让你看起来更乱。