AI 工程师知识地图：模型格式、框架、部署工具一次讲明白

作者 : 吴佳浩 Alben

撰稿时间这方面，.

你是否常被层出不穷的名词搞得晕头转向？ 最近两年，AI 圈子里冒出来的名词速度快得让人跟不上——昨天还在聊 PyTorch 和 TensorFlow。今天又出现了 GGUF、Safetensors、ONNX，明天可能又是 Ollama、vLLM、SGLang。很多人第一反应是把它们当成一个个孤立的知识点去死记硬背，结果学了很多名词。脑子里却始终拼不出一张完整的图，遇到新工具还是不知道该往哪儿归类。

其实这些名词从来都不是平级关系，而是分布在 AI 开发同一条流水线上的不同环节：模型先被训练出来再被微调。接下来保存成某种格式，被某个库加载调用，最终被某种方式部署成服务，提供给真正的应用使用。只要把这条链路理清楚，几乎所有名词都能立刻找到自己的位置。

一、为什么 AI 圈总有那么多新名词？

• 为什么有 PyTorch，又有 Transformers？
• GGUF、Safetensors、ONNX 都是模型文件，为什么要三种？
• LoRA 是模型吗？
• 关系？

痛点： 你可能已经把这些概念背下来却仍然不知道它们在整个开发流程中的定位。下面的全景图帮你“一眼看懂”。

二、一张图看懂 AI 工程师技术栈

三、模型训练：模型是怎么炼成的？

PyTorch

：Meta开源的深度学习框架，主要是张量计算 + 自动微分。者用 Python 定义网络结构、定义损失函数。PyTorch 自动算梯度、自动反向传播，不用手写求导公式。

为什么成为大模型训练事实标准：

• 动态图模型结构在运行时才确定。调试时可以像调试普通 Python 代码一样单步打断点、打印中间张量，这对研究者快速试错极其关键，而早期 TensorFlow 是静态图，需要先编译计算图再运行，调试体验差很多。
• 环境聚集效应Hugging Face Transformers、DeepSpeed、Megatron‑LM、vLLM 等几乎所有主流大模型训练 / 推理框架都首选 PyTorch 作为底层。论文代码默认发布 PyTorch 版本，导致不少人只学 PyTorch 就够用。
• 工业界与学术界双线渗透从 2020 年前后开始。顶会论文中 PyTorch 实现占比反超 TensorFlow，形成了“新模型先出 PyTorch 版”的惯例。

优缺点：

• 优点：上手快、调试友好、社区资源最多、和 Hugging Face 环境无缝衔接。话说回来，
• 缺点：移动端 / 嵌入式部署不如 TensorFlow Lite 成熟。需要额外转换才能上线到某些硬件。

# PyTorch 最小训练示例：定义模型、算梯度、反向传播
import torch
import torch.nn as nn
model = nn.Linear
optimizer = torch.optim.Adam。lr=1e-3)
loss_fn = nn.MSELoss
x = torch.randn
y = torch.randn
for epoch in range:
optimizer.zero_grad
pred = model
loss = loss_fn
loss.backward # 自动微分
optimizer.step # 更新参数

TensorFlow

Google 出品：2015 年由 Google Brain 团队开源，最初是静态计算图设计，需要先用 定义好整个网络再 Session.run 执行，性能调整空间大，但写法繁琐。

为什么曾经最火：在 2017‑2020 年间。TensorFlow 是工业界部署的代名词——TensorFlow Serving 用于生产环境推理、TensorFlow Lite 用于移动端和嵌入式设备、TensorBoard 可视化训练过程，这一整套配套设施在当时远比 PyTorch 完善，大厂大规模采用。

现在更多公司维护旧项目的原因：

• T​F 2.x 引入 Eager Execution 虽然提高易用性，但迁移成本高；其实，
• L​LM 大潮期间社区整体转向 PyTorch。新项目很少再选 TensorFlow；
• T​F .x 在已有大量存量程序中仍然稳固，例如推荐程序或 CV 模型。

框架	定位	适用场景
Pytorch	Mainstream training framework	NNLM。CV,research
Tensortflow	DNN framework for enterprise & mobile	C/V pipelines,legacy projects

四、模型微调：为什么不用重新训练几万亿参数？

LoRA

出现背景：a billion‑parameter LLM 全参数微调需要数倍显存，一张消费级显卡根本塞不下。LoRA 把原始权重矩阵拆成两个低秩矩阵 A 与 B。只更新这两个小矩阵，这样就能实现“冻结底座 + 小增量”。

• d×d 大矩阵 → d×r + r×d 小矩阵；参数量从 d² 降到 2dr，仅占原始 %‑%；显存需求从 80 GB 降到十几 GB。

Kaggle/ HuggingFace 上 LoRA 热潮原因：

• *增量权重*体积小，便于分享与二次开发；
• *可叠加*特性让同一个底座模型可以对应多种任务 LoRA，实现“一键切换”。

# 使用 peft 给大模型加 LoRA 微调
from transformers import AutoModelForCausalLM,AutoTokenizer
from peft import LoraConfig,get_peft_model
model = AutoModelForCausalLM.from_pretrained
tokenizer = AutoTokenizer.from_pretrained
lora_config = LoraConfig(
r=8。lora_alpha=32,target_modules=,lora_dropout=0.05,task_type="CAUSAL_LM"
)
model = get_peft_model
model.print_trainable_parameters # 输出 trainable params 与比例

五、模型保存：为什么会有这么多模型格式？

Safetensors

Pain point：*下载未知 .bin 文件时担心恶意代码执行*——pickle 在反序列化时会执行任意 Python 对象。话说回来，Safetensors 将权重仅以“纯数据”形式保存。不含可执行代码，从根本杜绝供应链投毒风险。

• 说到*安全*。 无代码执行，只读字节流，
• 再看*性能*。支持 zero‑copy 与 mmap 加载，比 pickle 快数倍；

GGUF

再看*痛点*。想在 CPU / 本地机器上跑大语言模型，却，可直接存储量化权重 与 tokenizer 元数据，实现“一文件即运行”。

• *CPU友好*：配合 llama.cpp 的量化内核，即使无 GPU 也能跑十几 B 参数；

ONNX

再看*痛点*。公司生产环境往往需要跨语言跨硬件部署，同一个模型要跑在 Java 后端或边缘芯片上。说起来，ONNX 提供统一算子描述，让 PyTorch/TF 导出的模型可以在 ONNX Runtime 上无缝运行。并针对 CUDA / OpenVINO / CoreML 等硬件提供专属加速插件。

格式 / 用途 / 最适合场景	说明

# Safetensors 示例
from safetensors.torch import save_file,load_file
tensors = {"weight": torch.randn}
save_file
loaded = load_file # 零拷贝读取
# GGUF 转换示例
python convert_hf_to_gguf.py ./my-model --outfile model.gguf
./llama-quantize model.gguf model-q4_k_m.gguf # Q4_K_M 8-bit
# ONNX 导出 & 推理示例
import torch.onnx as onnx
torch.onnx.export
import onnxruntime as ort
session = ort.InferenceSession
result = session.run})

六、模型加载：一句代码就能跑起来！到底怎么做到的，

Transformers

至于*痛点*。每次切换不同的大语言模型，都要改很多代码。Transformers 将所有主流架构统一为 .from_pretrained/.generate。把 tokenizer 与 model 分离，使得换模型只改一行名称即可。

# 简单调用 LLM 示例
from transformers import AutoModelForCausalLM。AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained
model = AutoModelForCausalLM.from_pretrained
inputs = tokenizer
outputs= model.generate
print)

Diffusers

至于*痛点*，扩散模型涉及 UNet/VAE/噪声调度器等多个组件，需要自行拼装才能生成图片。Diffusers 将这些模块封装为 Pipeline，只需一行代码就可以完成文生图或音频生成。

# 文生图快速演示
from diffusers import StableDiffusionPipeline
pipe = StableDiffusionPipeline.from_pretrained
image = pipe.images
image.save

sentence-transformers

从*痛点*来看。语义检索需要把文本转成向量并与向量数据库匹配，每次自己实现容易出错。sentence-transformers 提供即插即用的高质量中文/英文 Embedding 模型，让检索变得“一键”式。

# 文本转向量示例
from sentence_transformers import SentenceTransformer
embed_model = SentenceTransformer
vectors = embed_model.encode
print #
# 可直接用于余弦相似度检索或 RAG 程序

七、推理调整：同一个模型为什么有人快十倍？说起来，

MLX

说到*痛点*。Mac 没有 CUDA 环境，用传统框架跑不了大语言模型。MLX 基于 Apple 的统一内存架构。对 M 系列芯片做底层算子融合，实现近原生速度，无需额外依赖。

# MLX 在 M 系列芯片上跑 LLM 示例
import mlx.core as mx
from mlx_lm import load,generate
model,tokenizer = load
response = generate(model,tokenizer,prompt="请用一句话介绍 MLX"。max_tokens=30)
print
"""
至于输出类似，MLX 是 Apple 官方推出的机器学习框架...
"""

OpenVINO

再看*痛点*，公司服务器可能只有 Intel CPU 或 Arc GPU，需要一次转换即可兼容多硬件。话说回来，OpenVINO 把 ONNX/TF/PyTorch 导出的 IR 文件一次编译后可自动选择 CPU/GPU/NPU 最优执行方法。实现“一次编译，多网站跑”。

# OpenVINO 将 PyTorch 模型转为 IR 并推理
from optimum.intel import OVModelForCausalLM
from transformers import AutoTokenizer
ov_model = OVModelForCausalLM.from_pretrained(
"Qwen/Qwen2.7B-Instruct"。export=True,device="CPU") # 自动生成 IR 并加载到 CPU
tokenizer = AutoTokenizer.from_pretrained
inputs = tokenizer
outputs = ov_model.generate
print)
"""
至于输出类似，OpenVINO 是 Intel 推出的...
"""

八、模型部署：最终怎么提供服务？

Ollama

从*痛点*来看。想在本地快速实验，却要手动下载权重 → 转换 → 开启服务，一系列步骤繁琐。Ollama 把这些封装成一句命令 `ollama run llama3`”。背后自动完成 GGUF 下载/量化/加载，并暴露本地 HTTP API，即插即用。说起来，

# 一键拉取并启动 Llama 3 本地服务
ollama run llama3 # 自动下载 GGUF 并启动 API

curl http://localhost:11434/api/generate \ -d '{ "model":"llama3"。"prompt":"请一句话介绍 Ollama" }' """ 返回这方面，{"response":"Ollama 是..."} """

Xinference

从*痛点*来看，“我们公司同时需要 LLM + Embedding + Reranker + ASR”，但每种类型都要单独搭建服务和监控，上手成本极高。Xinference 把这些不同类型统一注册到同一个网关，实现“一站式”生命周期管理与横向扩缩容。

# 启动 Xinference 本地实例并注册多个模型
xinference-local --host 0.0.0.0 --port 9999

xinference launch --model-name qwen2-instruct \ --model-format pytorch \ --size-in-billions 7

from xinference.client import Client client = Client model = client.get_model resp = model.chat print

Llamafile

*痛点*的观点是。“非技术同事想体验大语言模型，却不想装 Python 环境或依赖库”。按理说，Llamafile 把 llama.cpp 引擎 + 权重打包进同一个可执行文件。通过 Cosmopolitan Libc 实现跨 Windows/macOS/Linux 零依赖双击运行。

# 下载后直接运行
chmod +x llava-v1.5-7b-q5km.llamafile
./llava-v1.5-7b-q5km.llamafile # 自动开启 Web UI http://localhost:8080/

vLLM

说到*痛点*，“面对数百并发请求时 GPU 利率低下且显存碎片严重”。vLLM 引入 PagedAttention 与 Continuous Batching。将 KV Cache 按页管理并允许即时插入新请求，明显提高显存利用率和吞吐量，是大型在线 Chat 服务优先考虑方案。

# 安装并启动兼容 OpenAI API 的 vLLM 服务
pip install vllm
python -m vllm.entrypoints.openai.api_server \
--model Qwen/Qwen2.7B-Instruct \
--port 8000

curl http://localhost:8000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{"model":"Qwen/Qwen2.7B-Instruct"。"messages":}'

SGLang

从*痛点*来看，“复杂 Agent 场景需要重复使用相同 System Prompt 或历史上下文导致大量冗余计算”。SGLang 在 vLLM 基础上加入 RadixAttention。通过前缀复用缓存进一步削减重复运算，在多轮对话或结构化批处理场景下实现更低延迟、更高吞吐。

# 安装并启动 SGLang 服务
pip install "sglang"
python -m sglang.launch_server \
--model-path Qwen/Qwen2.7B-Instruct \
--port 8899

import sglang as sgl

@sgl.function def multiturnchat: s += sgl.user s += sgl.assistant)

state = multiturnchat.run print

工具	定位	关键技术	最适合场景
Ollama	本地单机部署	或隐私敏感 demo
Llamafile	零依赖分发	Cosmopolitan Libc 万能二进制	非技术使用者、一键交付
Xinference	公司统一网站	统一 API 网关 + 多模态管理	团队协作、多模态生产环境
vLLM	高并发生产推理	PagedAttention + Continuous Batching	对外 Chat API、大流量 SaaS
SGLang	复杂多轮/Agent 推理	RadixAttention 前缀复用	Agent、多步骤结构化生成

关系？

---

---

---