嘿，兄弟，今天咱来聊聊 Ollama 本地部署这事儿。你要是也想在自己电脑上跑个大模型玩玩，那可得听好了这玩意儿其实没那么难，但细节还是得注意点，不然一不小心就踩坑了哈哈。

先说说啥是 Ollama

简单说Ollama 就个工具，让你Neng在本地跑各种大语言模型，比如 Llama 啊、Qwen 啊、Mistral 啊这些。你不用联网，也不用求爷爷告奶奶地去调 API，直接在自己电脑上就Neng玩。

说实话，这玩意儿对咱开发者来说太香了尤其现在大模型越来越火，谁不想自己玩玩kan？

不过别急着动手，咱先从安装开始说。

安装 Ollama，其实不难

你得先去把 Ollama 装上，对吧？

Windows 用户，直接去官网下个安装包，双击安装就行。记得勾上“添加到 PATH”那个选项，不然你后面用起来就麻烦了害。

macOS 用户，Homebrew 一把梭哈，或者你也Ke以用一键脚本，省事儿。

Linux 用户，也是一样，curl 一下脚本，直接搞定。

装完之后你敲个命令试试：

ollama --version

Neng跑出版本号，那说明你成了哈哈。

启动服务，才是正经事

装完还不行，你还得启动 Ollama 服务，不然它不干活。

Windows 用户注意了你得先确认服务是不是在跑。系统托盘里有没有 Ollama 的图标，没有的话，你得手动启动一下：

ollama serve

这个命令一敲，服务就起来了。你再开个新窗口，敲：

ollama list

kankan你本地dou装了哪些模型。要是Neng跑出来那说明你这服务启动成功了你懂的。

模型下载，别慌，慢慢来

模型这玩意儿，不是你想下就下的，尤其在国内，那速度，哎哟我去，简直了。

所以咱得搞个镜像加速，不然你下个模型得等到天荒地老。

你得这么干：

export OLLAMA_MODEL_SERVER=https://mirror.ollama.com

Linux/macOS 用户，把这个加到你的 .bashrc 或者 .zshrc 里Windows 用户，PowerShell 里敲：

$env:OLLAMA_MODEL_SERVER="https://mirror.ollama.com"

这样你再跑：

ollama pull qwen2:7b

就快了别问我为啥是 qwen2，咱就是说通义千问这模型，中文这块儿，真香。

模型跑起来得kan配置

你要是显存不够，别硬撑，咱得挑个轻点的模型，比如 3B 的，别一上来就整个 70B，那不是闹吗？

你要是真想跑大模型，那得kan机器配置，别把内存干崩了哈哈。

对了模型跑起来后你得试试Neng不Neng对话：

ollama run qwen2:7b "你好，介绍一下你自己"

Neng跑出结果，那说明你这模型跑起来了不然你得回头检查服务是不是没启动，或者模型没下好。

API 服务，咱也得会玩

你要是想用代码调用，那得启动 API 服务：

ollama serve

然后你就Neng用 curl 或者代码调用 API 了比如：

curl http://localhost:11434/api/generate -d '{
  "model": "qwen2:7b",
  "prompt": "你好，介绍一下你自己"
}'

你要是嫌命令行太麻烦，咱直接上代码：

curl http://localhost:11434/api/tags

Neng跑出模型列表，那说明 API 服务启动成功了你就Ke以继续玩了。

常见问题，咱也得唠唠

有时候你跑 ollama list 会报错，比如：

Error: ollama server not responding

别慌，这可Neng是服务没启动，或者端口被占了。你得检查一下服务是不是在跑，或者端口是不是被别的程序占了。

你也Ke以试试：

ollama rm qwen2:7b

把模型删了重来反正本地随便你折腾。

Zui后咱聊聊自定义模型

你要是玩得比较野，想整个自定义模型，那也简单，写个 Modelfile，比如：

FROM qwen2:7b
SYSTEM You are a helpful AI assistant specialized in Python programming.
PARAMETER temperature 0.7
PARAMETER num_ctx 2048

然后你敲：

ollama create my-python-assistant -f Modelfile

再跑：

ollama run my-python-assistant

你就Neng玩你自己的模型了是不是hen爽？

一下

本地部署 Ollama，其实没那么复杂，就是几个步骤：

安装 Ollama

启动服务

下载模型

跑起来kankan

你要是想玩点高级的，比如 API 调用、并发设置、日志级别啥的，咱慢慢来反正这玩意儿，你玩得越久，越上头，哈哈。

好了今天就聊到这兄弟们，自己玩得开心点，别太认真，咱就是图个乐呵。

---