在 Mac 上部署大模型并实现远程调用，这事儿听起来好像挺复杂，但咱一步步来哈哈，你就发现其实也没那么难。

第一步：本地部署大模型

你得有个大模型，这里咱用 Gemma 为例。

下载并安装 Ollama，过程hen简单，就不多说了。

一条命令搞定模型下载和运行：ollama run gemma4

首次运行会自动下载模型，大小约 5GB，耐心等待哈。

下载完成后你就Ke以在本地跟 Gemma 聊天了输入 /bye 退出。

测试本地 API

Ollama 启动后会在 localhost: 提供 HTTP API。

测试一下：curl http://localhost:# 返回: Ollama is running

再试试对话接口：curl -X POST http://localhost:/api/chat \ -H "Content-Type: application/json" \ -d '{"model":"gemma4","messages":,"stream":false}'

第二层：OrbStack + Chat API

Ollama 原生 API 比较底层，咱用 Node.js 封装一层geng友好的 HTTP API，并通过 OrbStack容器化部署。

为啥要用 Docker？方便管理嘛，你懂的。

创建项目目录

mkdir ~/gemma4-api && cd ~/gemma4-api

编写 server.js

核心代码：const http = require; const crypto = require; const OLLAMA_URL = process.env.OLLAMA_URL || "http://host.docker.internal:"; const PORT = process.env.PORT || ; // 你指定的端口 // 内存存储对话历史 const conversations = new Map; function getOrCreateConversation { if id = crypto.randomUUID; if ) { conversations.set(id, { id, messages: , createdAt: new Date.toISOString, updatedAt: new Date.toISOString, title: "", }); } return conversations.get; } // 调用 Ollama async function chatWithOllama { const res = await fetch(`${OLLAMA_URL}/api/chat`, { method: "POST", headers: { "Content-Type": "application/json" }, body: JSON.stringify, }); if throw new Error; return res; } const server = http.createServer => { // CORS 处理 res.setHeader; res.setHeader; res.setHeader; // POST /chat - 核心对话接口 if { const body = JSON.parse); const conv = getOrCreateConversation; conv.messages.push; if { // 流式返回 res.writeHead; const ollamaRes = await chatWithOllama; // ... 省略逐块写入代码 } else { // 一次性返回 const ollamaRes = await chatWithOllama; const data = await ollamaRes.json; conv.messages.push; res.end(JSON.stringify({ conversation_id: conv.id, content: data.message.content })); } } // 其他路由省略... }); server.listen;

关键点这里用到了 host.docker.internal 这个特殊的域名，让容器Neng访问宿主机上的 Ollama 服务，hen巧妙，你懂的。

构建 Docker 镜像

创建 Dockerfile.apiFROM node:-slim WORKDIR /app COPY server.js . EXPOSE CMD

编写 docker-compose.yml

services: api: build: context: . dockerfile: Dockerfile.api container_name: chat-api ports: - ":" # 你指定的端口映射 environment: - OLLAMA_URL=http://host.docker.internal: - PORT= restart: unless-stopped

启动服务

docker compose up -d --build

验证服务是否正常

# 健康检查 curl http://localhost:/health # 非流式对话 curl -X POST http://localhost:/chat \ -H "Content-Type: application/json" \ -d '{"message":"你好","stream":false}' # 查kan对话列表 curl http://localhost:/conversations # 查kan对话详情 curl http://localhost:/conversations/<conversation_id>

第三层：frp 内网穿透

Mac 在内网，没有公网 IP，通过 frp 把本地服务暴露到公网服务器，说白了就是“打个洞”。

为什么百度不收录我的文章？这事儿说来话长...

通常有几个原因： 1. 网站权重太低新站或小站内容hen难被及时发现。 2. robots.txt 没配置好屏蔽了爬虫。 3. 内容原创性不够大量相似或采集内容。

解决方法嘛： - 提交网站地图 - 主动推送新内容链接 - 多Zuo高质量外链

扯远了咱继续说 frp 配置。

服务端配置

下载 frps 并配置 frps.toml toml bindPort = auth.method = "token" auth.token = "your-secure-token"

启动 frps： bash ./frps -c frps.toml

建议用 systemd 管理服务，确保开机自启。

客户端配置

创建 frpc.toml toml serverAddr = "." # 公网服务器 IP serverPort = auth.method = "token" auth.token = "your-secure-token"

] name = "gemma4-chat" type = "tcp" localIP = "host.docker.internal" localPort = # chat-api 端口 remotePort = # 公网暴露的端口

启动 frpc： bash frpc -c frpc.toml

这样，你的本地服务就“穿透”到公网了！

第四层：Nginx 反向代理

裸露 IP + 端口号不安全也不美观，用 Nginx 加上域名和 HTTPS。

安装 Nginx 和 Certbot： bash sudo apt update && sudo apt install nginx certbot python-certbot-nginx -y # Ubuntu/Debian 系命令，其他系统类似处理即可。 害，这个过程挺简单的，就是安装两个软件包。

配置反向代理： 创建 /etc/nginx/sites-available/ai.conf，核心内容如下： nginx server { listen ; server_name ai.yourdomain.com;

location / { proxypass http://.:; # 转发到 frps proxysetheader Host $host; proxysetheader X-Real-IP $remoteaddr; proxysetheader X-Forwarded-For $proxyaddxforwardedfor;

# SSE 流式响应支持  
proxy_buffering off;
proxy_cache off;
proxy_read_timeout s;   
# WebSocket 支持
proxy_http_version ;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "upgrade";
 if  { # 简单的安全验证机制，防止滥用接口。
    return '{"error":"Unauthorized"}';
    }

} }

启用配置： bash sudo ln -s /etc/nginx/sites-available/ai.conf /etc/nginx/sites-enabled/ sudo nginx -t && sudo systemctl reload nginx

然后申请 HTTPS ：Let's Encrypt证书，hen简单，一条命令搞定自动续期、自动geng新nginx相关配置等工作，具体参见其他文档或搜索引擎相关结果。

至此整条链路就通了从公网通过HTTPS访问，Zui终调用你Mac上的大模型。

---