Ollama 是一个专为 macOS 设计的开源工具，让你Neng在自己的 Mac 上轻松运行各类大语言模型。它Zui大的特点是“极简”——无需复杂的 Python 环境配置，无需 CUDA 驱动，只要一条命令就Neng完成模型的下载、安装和运行。

在本地部署 Ollama 大模型之前，你需要先确认你的硬件配置是否满足要求。一般来说32GB 内存或geng高的显存是比较理想的。Ru果你的 Mac 配置较低，Ke以考虑使用较小的模型版本，或者调整模型的参数来降低显存占用。

# 检查硬件信息

gpu_memory=$

echo $gpu_memory

一、安装 Ollama

前往 下载适合你操作系统的安装包。

运行下载好的安装包，按照提示进行安装。

打开终端或命令行工具，输入命令 ollama --version 验证是否安装成功。

二、下载和运行模型

使用命令 ollama pull 模型名 下载你想要的 LLM 模型。例如：ollama pull llama2

使用命令 ollama run 模型名 启动模型并进行交互。例如：ollama run llama2

三、配置模型参数

Ollama 提供了多种配置模型的参数方式：

Modelfile : 创建一个 YAML 文件 来定义模型的参数，这样每次启动模型时dou自动生效。

环境变量: 使用环境变量设置全局默认参数, 这些设置会影响所有后续的 Ollama 命令.

命令行参数: 在启动模型时直接通过命令行指定参数, 这是一种临时性的修改方法.

API 参数: 通过 API 调用动态调整参数, 这是Zui灵活的方式, 但需要一定的编程基础.

Modelfile 配置示例

models:  - name: llama2    provider: ollama    model: meta-llama/Llama2-7b-chat-hf    apiBase: http://localhost:/v1   # 或 https://localhost:/v1     # 其他可选参数如 temperature, context_length 等也Ke以在这里设置

常用环境变量

`OLLAMA_NUM_PARALLEL`: 并行请求数。根据你的 CPU 和内存情况调整. Ru果只有32GB内存的话就设置为1即可.

`OLLAMA_KEEP_ALIVE`: 模型保持加载的时间 。设置得短会导致频繁加载, 长则占用geng多资源. 根据实际情况调整.

`OLLAMA_FLASH_ATTENTION`: 是否启用 Flash Attention . Flash Attention Ke以减少显存占用, 但可Neng导致精度损失.

四、API 服务

Ollama 提供 REST API 服务, 你Ke以通过 API 调用来访问本地 LLM 模型.

直接调用 REST API: 使用 HTTP 请求与 Ollama 进行交互 . 示例见下方代码片段.

OpenAI兼容API: Ollama 支持 OpenAI API 兼容模式, 你Ke以使用 OpenAI SDK 或客户端来调用本地 LLM 模型. 这简化了集成过程.

Python API 调用示例

import requestsurl = "http://localhost:/api/generate"payload = { "model": "llama2", "prompt": "Hello!", "stream": False }response = requests.postprint) # 查kan响应内容

五、高级用法

创建自定义模型 使用 Modelfile 创建自定义的模型配置文件，方便管理和使用不同配置的模型。 例如用命令行创建新模型： `ollama create my-qwen-model -f Modelfile` 。 注意这里的Modelfile 是你自定义的那个文件. 编辑 Modelfile你Ke以直接编辑 Modelfile 文件来修改模型的各种参数。 设置全局默认值 Ke以通过设置环境变量来全局geng改一些常用参数。 临时修改 在运行时通过命令行参数临时修改某些选项。 API动态传参 通过API调用动态调整模型的各项选项。这是Zui灵活的方式但需要编程Neng力。 查kan当前运行的模型信息使用 `ollama ps` 命令Ke以查kan当前正在运行的各个模型的信息。 查kanYi下载的模型列表 使用 `ollama list` 命令Ke以查kanYi下载的所有可用的模型列表。 停止当前运行的模型 使用 `ollama stop ` 命令停止当前正在运行的某个模型。

常见问题解答 为什么百度不收录？

这通常是因为百度搜索算法认为该页面内容不符合其收录标准，例如缺乏原创性、违反搜索引擎政策或存在其他问题。

注意事项与常见问题

显存不足: Ru果你的 GPU 显存不够用 , 模型会回退到 CPU 上运行速度会hen慢。尝试减小上下文长度 或选择较小的模型版本.

网络问题: Ru果网络不稳定, 可Neng导致下载或运行时出现问题.

防火墙: 一些防火墙可Neng会阻止 Ollama 服务访问外部网络.

Model Name: 请确保输入正确的Model Name否则报错

端口冲突: Ru果端口被占用换一个端口试试

---