本文档基于实际部署经验整理，持续geng新中。

你是否也想拥有一个完全属于自己的 AI 助手？无需担心隐私泄露，无需支付高额订阅费用——只要把 Ollama 安装到自己的电脑上，就Neng在本地随时呼叫大模型。下面我将从「零」到「有」一步步拆解，让你在不花一分钱的前提下完成全流程搭建。

Ollama 是社区热捧的轻量级 LLM 运行框架，背后用 Rust 打磨核心，用 Docker 把环境封装起来兼容 macOS、Linux 与 Windows。它Zui大的卖点有三点：

开源免费——官方仓库直接提供二进制文件和 Docker 镜像。

本地化安全——所有推理dou在本机完成，数据永远不出你的防火墙。

多模型支持——从 Llama‑3 到 Mistral 再到 Qwen‑3，只要一行命令即可下载。

Ru果你的机器只有四核 CPU 且 RAM 在 8 GB 左右，建议先挑选「小体积」的模型，否则会出现卡顿甚至 OOM。对显卡有需求的用户，只要驱动正常并且 GPU 支持 Vulkan/DirectX，就Ke以开启加速模式。

# 查kan Docker 版本
docker --version
# 若提示未安装，可直接去官网下载安装：
# https://www.docker.com/products/docker-desktop

⚡ 小技巧：在 Linux 上执行 sudo usermod -aG docker $USER && newgrp docker，免去每次加 sudo 的麻烦。

brew install ollama   # Homebrew 一键搞定
ollama serve &         # 后台启动服务

curl -fsSL https://ollama.com/install.sh | sh   # 官方脚本自动检测平台
systemctl start ollama.service                # 用 systemd 管理geng稳妥

直接打开 ，下载 .exe 安装包；安装完毕后在「开始菜单」里找到「Ollama Server」，点一下即可启动。

Ollama 默认提供 CPU‑optimised 的镜像，Ru果你想省点显存，Ke以先试试下面这几款轻量版：

Llama‑3‑7B‑int4约 4 GB 显存需求。

Mistral‑7B‑v0.1兼容性好，适合开发者实验。

Qwen‑1.5‑7B‑Chat中文表现惊喜。

# 拉取示例
ollama pull llama3:7b
# 想一次性把几个常用模型装好？
ollama pull mistral && ollama pull qwen1.5:7b

🛠️ 小提醒：首次拉取会占用网络带宽，大约需要几分钟，请耐心等待。

# 开启交互式会话
ollama run llama3:7b
# 输入一句话，例如：
你好，我想了解一下今天的天气。
# 想结束对话？直接 Ctrl+D 或敲 /exit。

Ru果一切顺利，你将在终端kan到类似 ChatGPT 的回答，这时候就Ke以确信本地环境Yi经搭建成功了！ 🎉

换geng小的模型，如 llama3:1b；或者使用 quantized版本。

通过环境变量限制上下文长度：

export OLLAMA_MAX_TOKENS=1024   # 默认是 2048，可自行压缩
ollama serve

若机器配备了 GPU，记得打开 GPU 加速：

export OLLAMA_NUM_GPU_LAYERS=32   # 根据显存大小调节层数
ollama serve

Ke以给 Ollima 设置代理，让它走国内镜像：

export ALL_PROXY=http://127.0.0.1:10809   # 示例 Shadowsocks 本地端口
ollama pull mistral

打开日志查kan错误细节：

journalctl -u ollama -f          # systemd 管理时实时追踪日志
# 或者直接查kan stdout 文件：
cat ~/.ollama/logs/serve.log

. JavaScript / TypeScript 示例 
// 使用 fetch 调用同一个 HTTP 接口
async function askOllama {
  const res = await fetch("http://localhost:11434/api/generate", {
      method: "POST",
      headers: { "Content-Type": "application/json" },
      body: JSON.stringify({
          model: "qwen1.5:7b",
          prompt: question,
          stream: false,
      })
  });
  const data = await res.json;
  console.log;
}
askOlloma;
开发者福利：VS Code 插件 & 快捷键 

Ollama for VS Code：安装后即可在编辑器侧边栏打开聊天窗口，用本机大模型即时生成代码注释或文档；配合 GitHub Copilot geng是如虎添翼。
CURL 快速测试：If you prefer terminal one‑liners:

curl -X POST http://localhost:11434/api/generate \
     -H 'Content-Type: application/json' \
     -d '{"model":"mistral","prompt":"解释一下区块链原理","stream":false}'

A few words from my heart – 当我第一次kan到自己电脑里跑起了「真实的大语言模型」时那种激动几乎要把键盘敲坏。零成本、本地化，这不仅是省钱，geng是一种对技术自主权的坚持。通过本文，你Yi经掌握了从系统检查、软件安装，到模型拉取、API 调用的全链路流程；接下来只需要把这些工具嵌入自己的业务场景——无论是智Neng客服、内容创作还是学习助理，douNeng轻松落地。
别忘了定期执行以下两条命令，让你的 Ollima 永远保持Zui新状态：
olloma pull --all            # geng新所有Yi缓存模型
olloma upgrade               # 升级核心二进制文件


推荐阅读：
建议：生产环境请务必开启防火墙，仅允许可信 IP 访问本地端口；同时Zuo好日志轮转，以免磁盘被写满。

发布日期：2026 年 4 月 24 日
标签：#Ollama #AI #LLM #本地部署 #开源大模型
作者：A I 技术爱好者
许可协议：MIT License
E‑mail：
CSDN 链接：


© 2026 All Rights Reserved.

温馨提示Ru果你在阅读过程中发现任何排版异常或指令失效，请立刻留言，我会第一时间geng新补丁！祝你玩得开心 🚀