用geng少的 bit 存权重，降低模型常驻显存

FP8 把单个数压到 bit，相比 BF16/FP16 又减半一次。对推理来说这直接减少权重存储和显存带宽压力；Ru果硬件有原生 FP8 Tensor Core，还可Neng带来geng高吞吐。

说实话，量化这事儿挺复杂的，但咱就是说简单来说就是把大模型里那些浮点数变成geng低精度的表示，比如从FP32变成INT8或FP8。

为什么要量化？

大模型推理的第一个现实问题，往往不是“算不算得动”，而是“放不放得下、搬不搬得快”。

比如说你有个27B参数的模型，Ru果权重以BF16或FP16存储，每个参数大致占 Byte，仅权重本身就需要27B x Byte ≈ GB。

这还没算 KV Cache、激活值、中间缓冲区和运行时碎片，上下文越长、并发越高，KV Cache 占用还会继续增长。

为什么百度不收录我的文章？

这个问题啊，哈哈，其实有hen多原因，比如你的内容原创性不够，或者你的网站权重太低等等。

一般来说百度geng喜欢收录那些原创、有价值的内容，所以咱就是说要想被百度收录，你得先让自己的内容变得有价值。

量化的目标和对象

量化通常有三种目标:

权重: 参数固定，Zui适合提前离线量化，也是Zui直接的显存节省来源。

激活值: 用户输入后动态生成，通常需要运行时动态 scale，收益geng大但实现geng难。

KV Cache: 长上下文推理时占用hen高，量化后Ke以显著降低长上下文显存压力。

怎么Zuo量化？

from compressed_tensors.offload import dispatch_modelfrom transformers import AutoModelForCausalLM, AutoTokenizerfrom llmcompressor import oneshotfrom llmcompressor.modifiers.quantization import QuantizationModifierMODEL_ID = "Qwen/Qwen3-30B-A3B"SAVE_DIR = "Qwen3-30B-A3B-FP8-BLOCK"model = AutoModelForCausalLM.from_pretrainedtokenizer = AutoTokenizer.from_pretrainedrecipe = QuantizationModifieroneshot# 简单 sanity check: kan量化后还Neng不Neng正常生成。dispatch_modelinput_ids = tokenizer.input_ids.tooutput = model.generateprint)model.save_pretrainedtokenizer.save_pretrained

这里真正要关心的不是代码有多长，而是几个选择:

scheme: 用 FP8_BLOCK，还是geng粗的 per-tensor。

vllm serve meta-llama/Llama--8B --quantization fp8pertensorvllm serve meta-llama/Llama--8B --quantization fp8perblock

NVIDIA Technical Blog: FP8 formats and training/inference overview vLLM 官方文档: FP8 W8A8、Online Quantization、Supported Hardware NVIDIA Transformer Engine 文档: FP8 primer 与 block scaling

.#人工智Neng##.:将,减少存储与计算开销.. # 创建虚拟环境 python -m venv env source env/bin/activate # 安装基础依赖 pip install torch torchvision torchaudio pip install transformers accelerate # 安装额外的优化库 pip install bitsandbytes. .7:PyTorch25:. .Neng效提升:在移动端设备上,(GPT-3的1750亿参数, .# 创建虚拟环境 python -m venv env source env/bin/activate # 安装基础依赖 pip install torch torchvision torchaudio pip install transformers accelerate # 安装额外的优化库 pip install bitsandbytes. . . . . . . 不是简单把模型文件里的 F P 8 / INT 8 code> ，geng准确地说它是在Zuo三件事: 找出哪些张量Ke以低精度保存。 给这些张量选择合适的低精度格式和缩放因子。 推理时用低精度存储、高精度累加的方式完成计算。 对主要权重Zuo FP 量化。 保存 FP 权重、量化配置和 scale 元数据。 加载Yi经训练好的高精度模型，比如 BF16/FP16 。 统计每层、每通道或每个 block 的数值范围。 根据目标格式计算 scale，把权重或激活映射到低精度范围。

---