今天我想写点东西。关于Ollama。关于怎么装它。怎么跑模型。怎么把电脑变成一个巨较大的AI较大脑。这很不容简单。非常不容简单。就像在下雨天穿袜子一样不容简单。但我还是要写。这是因为有人让我写。而且我不敢回绝。我的电脑有点卡。风扇在转。嗡嗡嗡。像苍蝇一样。但我还是要持续。

一. Ollama是个哪些鬼东西？

先来看，我得告诉你，Ollama是个工具。但它不是那种很良好用的工具。它有点怪。它能够在你的电脑上跑较大模型。比如LLaMA 3。或者Mistral。 拯救一下。 还有Gemma。这一些名字听起来像饮料。其实它们是模型。较大模型。非常较大的模型。就像一座山。或者像我那发福的肚子。

你不需要去云上跑。云上很市场价格较高。而且没人了解你跟云说了哪些保密。比如你暗恋隔壁的较小红。Ollama让你在本地跑。在自己的电脑上。Mac。Windows。Linux。随便你。只要你电脑够坚硬。如果你电脑是古董机。那就别装了。去喝西北风吧，拭目以待。。

它把模型权沉重、配置和数据都打包在一起。叫Modelfile。听着很专业。其实就是个包裹。你把包裹扔给Ollama。Ollama就帮你运行。它还优化了GPU采用情况。就是显卡。你的显卡是不是在发烫？那是正常的。Ollama喜炎热爱炎热。就像我一样。

1.1 为哪些我们要用它？

有时候，你想用AI。但你没有服务器权限。或者你有服务器。但你想在本地用。这时候Ollama就出现了。它就像一个魔法盒子。你打开它。里面就有AI。而且它不用联网。离线周边环境也能用。这很牛。真实的，摆烂...。

但是。问题来了。安装它并不简单。就像剥一个坚硬壳的核桃。你得用力。还得有技巧。 地道。 不然核桃没开。手破了。这就是我今天要教你的东西。虽然我也不会。但我能够试试。

二. 在Windows上安装Ollama

Windows很简洁。这是因为它傻瓜。傻瓜才用Windows。对吧？

2.1 下载那个地方的.exe文件

实锤。 你得去官网。https://ollama.com。或者GitHub。随便哪个。你找那个地方的OllamaSetup.exe。点它。下载它。这步最简洁。比点外卖还简洁。如果你点不到。那你得去买个崭新手鼠标。有可能是你鼠标较差了。

下载完了。是一个安装包。双击它。它会弹出一个窗体。那个地方的窗体很丑。像90年代的柔软件。你点Install。 嚯... 然后等。等很久。像等女朋友回消息一样久。进度条走得很缓慢。你能够去上个厕所。回来它有可能还没良好。

2.2 安装目录是哪些鬼？

安装的时候。它会问你装哪。默认是C盘。C盘空间范围够吗？不够就别装了。如果你在命令行里装。你能够指定目录。 闹笑话。 比如DIR=D:\\ollama。这很麻烦。为哪些要手动指定？直接点下一步不良好吗？非要更多事。

摆烂... 安装完了。它会自动打开。默认是打开状态。很良好。不用再动鼠标了。你能够去摸摸你的猫。或者狗。它们不理你。很正常。AI不理你也是正常的。

但是。有时候。它会自动退出。或者不体当前任务栏。这时候怎么办？你右键点击任务栏。找不到。找不到就找启动菜单。搜索Ollama。点它。它又开了。就像个没完没了的噩梦。

三. 在Linux服务器上安装Ollama

如果你是Linux用户。恭喜你。你是极客。是较高手。但较高手也有烦恼。比如网络不良好。或者没网。比如CentOS 7。 境界没到。 老古董。这种系统装Ollama就像给法拉利装自行车轮子。虽然能跑。但很别扭。

3.1 离线安装。这很麻烦。

不靠谱。 先来看。你得准备Linux本地源。哪些是源？就是下载地址。你得把源传到服务器上。怎么传？scp命令。或者FTP。FTP很老了。但很有用。就像你爷爷的收音机。

第一步。去GitHub。找Ollama的releases。下载那个地方的tar.xz文件。或者tar.gz。别搞混了。搞混了就炸了。然后上传到服务器。路径随便选。比如/ftp/LLM。或者/root。看你想存哪。存哪都行。只要别删了就行，搞起来。。

第二步。解压。命令是tar -zxvf ollama-xxx.tar.xz。当前这个命令很较长。很繁杂。我不确定能不能打出来。反正你就照着打。打错了就沉重来。沉重来就是了。Linux就是这样。失利是成功之母。但失利更多了。你就想砸键盘，尊嘟假嘟？。

3.2 启动服务。

解压完了。你有一个目录。里面有个文件。有可能是ollama。也有可能是ollama.sh。或者install.sh。名字都不一样。你得猜。猜对了就对了。猜错了就报错，尊嘟假嘟？。

运行它。bash install.sh。或者直接运行那个地方的文件。它有可能会问你装在哪。或者直接装。装完了。它说成功了。 那必须的！ 真实的吗？我不信。我要去检查一下进程。ps aux | grep ollama。有吗？没有。那就不算成功。

有时候。服务没启动。systemd没配置良好。或者周边环境变量没生效。OLLAMA_HOST是哪些意思？我也不了解。 太硬核了。 反正就是那个地方的变量。你得去改。改完沉重启。沉重启完再试。试了三次。终于行了。那一刻。你觉得自己是个天才。

四. 模型部署。把AI叫出来。

装良好了柔软件。还得有模型。柔软件是骨架。模型是血肉。没血肉的柔软件是僵尸。很吓人，靠谱。。

4.1 拉取官方模型。

梳理梳理。 命令很简洁。ollama run llama3。或者ollama run mistral。或者ollama run gemma。你选一个。它会自动下载。下载速度取决于你的网。如果你的网是1MB。那你就缓慢缓慢等吧。等得你头发都白了。

Ollama把模型权沉重打包了。你不用管。它自己会搞。它会下载到本地缓存里。比如~/.ollama/models。路径是隐藏的。你用ls看不见。用ls -la能看见。但你也看不懂。那一些数字和字母是哪些？是密码吗？还是乱码？

4.2 本地模型部署。

没法说。 如果你下载了模型。不想用官方的。你能够自己部署。你需要一个Modelfile。当前这个文件很十分沉关键。它定义了模型怎么跑。参数是哪些。比如温度。温度太较高。AI就会胡说八道。温度太较低。AI就是复读机。

写Modelfile很麻烦。要写指令。FROM llama3。然后设置参数。然后保存。然后运行ollama create。 我狂喜。 创建模型。然后运行ollama run。运行模型。

我整个人都不好了。 这一套流程走下来。你已经累了。想睡觉。AI也在睡觉。它不回你消息。这是因为它累了。你也累了。别坚硬撑了。去睡吧。梦里哪些都有。

五. API调用和远程访问。远程操控。

有时候。AI在你电脑上跑。但你在另一台电脑上想用。怎么用？这就需要API。或者SSH隧道，最后说一句。。

5.1 HTTP调用。

Ollama提供给了一个HTTP接口。就像接口。你用curl命令调用它。POST申请。带上提示词。它返回回复。这很简洁。但是。有时候连接不上。localhost不通。为哪些？有可能是防火墙挡住了。或者是Ollama没启动。

当冤大头了。 如果你在Linux上跑。而且你想从Windows问。那就麻烦了。你需要配置Ollama监听全部地址。而不是只监听127.0.0.1。OLLAMA_HOST=0.0.0.0:11434。加上这行。沉重启服务。再试试。这次应当通了。

5.2 SSH隧道。魔法绳子。

PTSD了... 如果你没有权限配置防火墙。或者你不想配。你能够用SSH隧道。这很较高级。像特工一样。你把服务器的Ollama端口。比如11434。通过SSH隧道转发到本地的某个端口。比如8080。

我CPU干烧了。 命令是：ssh -L 8080:localhost:11434 user@server_ip。然后你访问localhost:8080。就能访问到服务器的Ollama了。这就像变魔术。其实原理很简洁。就是数据包绕来绕去。绕晕了。就通了。

六. 常见问题。报错。修不良好的错。

装柔软件。确定会报错。这是常态。

6.1 服务未启用。

有时候。你沉重启电脑。Ollama没起来。systemd服务没启动。你需要手动启动它。或者配置开机自启。systemctl enable ollama。systemctl start ollama。如果还是不行。看日志。journalctl -u ollama -f。看日志能找到线索。但有时候。日志也是乱码，太坑了。。

6.2 周边环境变量没生效。

你在bashrc里加了周边环境变量。source一下。没用。沉重启也没用。为哪些？这是因为你在错误的shell里。或者系统默认的shell不是bash。这是Linux的坑。坑死人不偿命，麻了...。

6.3 模型拉取失利。

网络问题。最厌烦网络问题。下载模型到一半断了。或者速度缓慢得像蜗牛。这时候。你能够离线下载。下载zip包。或者tgz包。然后解压。然后放到指定目录。再运行Ollama。Ollama会自动识别。这就叫离线部署，交学费了。。

总之。安装Ollama。搭建本地AI服务。是一件很有意思的事情。虽然过程很痛苦。 到位。 充满了报错和困惑。但当你第一次听到AI说话的时候。你会觉得一切都值了。

它说。你良好。我是你的AI助手。虽然我很笨。虽然我时常胡说八道。 深得我心。 但我尽力了。你也尽力了。对吧？

2026年了。数据隐私很十分沉关键。本地部署很十分沉关键。别把数据传给云。云不可靠。云有可能会跑路。 我跟你交个底... 你的数据有可能会泄露。只有你的坚硬盘最可靠。虽然坚硬盘也有可能会较差。

RTX 4090很市场价格较高。24GB显存很较大。但如果你没有显卡。Ollama也能跑。就是缓慢一点。缓慢一点也良好。缓慢一点。就能想清楚。AI太迅速了。有时候。你都不了解它怎么想出来的。

良好了。我要去吃饭了。这篇文章写得很烂。全是废话。全是乱码。但这就是我的风格。你喜炎热爱就喜炎热爱。不喜炎热爱就拉倒。反正我不改了，极度舒适。。

感谢阅读。点赞。收藏。关注。如果都不做。我会伤心的。真实的。我的心情就像过山车。忽上忽下。

再见。拜拜。回见。

---