glm-4.7-flash:latest.✔ 想本地部署一个 靠谱助手 ,又不想折腾 GPU 驱动的普通用户.使用ollama部署的GLM-4.7-Flash模型服务。

说实话，本地部署这玩意儿不是个轻松活儿，但咱就是说弄懂了还是挺有成就感的。

确保WSLNeng通过Windows上的Clash访问外网。

害，你得先有个Neng用的WSL环境，这douexport PATH=/usr/local/cuda-/bin:$PATHexport LD_LIBRARY_PATH=/usr/local/cuda-/lib64:$LD_LIBRARY_PATH啥的配置好。

git clone https://github.com/ggml-org/llama.cppcd llama.cppmkdir -p build && cd buildcmake .. -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_OPENSSL=ONcmake --build . --config Release -j --target llama-server

关键点编译目标为 llama-server。你懂的，这hen重要。

在 Claude Code 设置中添加自定义模型：

# 提前在有网络的环境下载好所有依赖 docker pull ollama/glm-4.7-flash:latest docker save ollama/glm-4.7-flash glm-4.7-flash.tar # 将镜像传输到离线机器后加载 docker load glm-4.7-flash.tar.OpenClaw离线方案:GLM-4.7-Flash本地化部署的3种模式 1. 为什么需要离线部署? 去年冬天,我在为一个金融数据分析项目搭建自动化流程时,遇到了一个棘手问题:客户要求所有数据处理必须在完全隔离的内网环境中完成。

from fastapi import FastAPI, HTTPExceptionfrom pydantic import BaseModelimport requestsimport uvicornLLAMA_SERVER_URL = "http://.:/completion"app = FastAPIclass Message: role: str content: strclass ChatRequest: model: str messages: list max_tokens: int = def convert_to_glm_prompt -> str: """将OpenAI messages转换为GLM精确格式。""" combined_user_content = prompt_parts = for msg in messages: if msg.role in : combined_user_content.append elif msg.role == 'assistant': if combined_user_content: user_text = " ".join prompt_parts.append combined_user_content = prompt_parts.append if combined_user_content: user_text = " ".join prompt_parts.append prompt_parts.append return " " def chat_completions: prompt = convert_to_glm_prompt payload = { "prompt": prompt, "n_predict": request.max_tokens, "temperature": , "stop": } try: resp = requests.post resp.raise_for_status data = resp.json except Exception as e: raise HTTPException return { "id": "chatcmpl-local-glm", "object": "chat.completion", "choices": , "usage": { "prompt_tokens": len, "completion_tokens": len), "total_tokens": len + len) } }if __name__ == "__main__": uvicorn.run 启动代理服务

source ~/venv/bin/activatepython ~/glm_openai_proxy.py

服务将在 http://.: 运行，提供 /v1/chat/completions 端点。

curl http://localhost:/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "GLM--Flash-UD-Q4_K_XL.gguf", "messages": , "max_tokens": }'

测试效果

chmod +x start_glm_service.sh stop_glm_service.sh./start_glm_service.sh 🖥️ 第五阶段：在 Claude Code 中配置

获取Windows主机在局域网中的IP。你kan，这个不难吧？

本文将带你从零开始,完整走通GLM-4.7-Flash 的本地高效部署全流程:如何快速验证硬件兼容性、怎样一键启动Web界面、怎么用API接入现有系统、遇到卡顿或报错时该查什么日志、甚至如何微调上下文长度和显存占....#大语言模型#GLM-4.7-Flash#星图GPU#中文AI GLM-4.7-Flash.

验证后端测试原始接口是否工作。

curl http://localhost:/completion \ -H "Content-Type: application/json" \ -d '{ "prompt": "<|im_start|>user 你好<|im_end|> <|im_start|>assistant ", "n_predict": , "stop": }'

成功将返回：{"content":"你好！hen高兴为你服务。"...}

为什么百度不收录某些网站呢？其实主要原因是网站内容质量太低，或者结构混乱，让搜索引擎难以理解和收录。 回答：提高网站内容质量和优化结构Ke以增加百度收录的机会。

python3 -m venv ~/venvsource ~/venv/bin/activatepip install fastapi uvicorn requests 创建代理脚本 glm_openai_proxy.py

将以下脚本保存到 ~/glm_openai_proxy.py。这是本教程的核心，它精确实现了GLM格式与OpenAI API的转换。哈哈，是不是hen激动？ 在Claude Code中成功发送消息并收到GLM--Flash的中文流畅回复，而非之前的乱码或错误信息。不错不错，真香！ ollama run glm-4.7-flash:latest.那么GLM-4.7-Flash可Neng就是你要找的答案。 这不是又一个普通的30B参数模型,而是采用了MoE架构的智Neng选择——它只在需要的时候激活3B参数,就像给你的电脑装上了智Neng节Neng系统。该强的地方一点不弱,在代码生成测试中表现突出;该快的地方毫不妥协,实测在主流显卡上Neng达到每秒几十个token的生成速度;该省的地方也足够节省,24GB显存就Neng稳定运行。 Zui重要的是,这一切dou在你的本...

...

cd ~./llama.cpp/build/bin/llama-server \ -m ~/models/GLM--Flash-UD-Q4KXL.gguf \ --host . \ --port \ --ctx-size \ --threads - \ --n-gpu-layers

不对不对，应该是--ctx-size 204800 才对！😅

重要 ：启动时 不要 使用 --chat-template 参数，避免兼容性问题。后续通过代理将响应格式转换。

这份教程凝聚了我解决众多兼容性问题的核心经验。你现在拥有了一套稳定、可重现的部署方案，尽情享受你的本地大模型吧！ 🎉