精度和参数

量化实例bitsandbytes安装bitsandbytes4bit量化(加载)8bit量化(加载)验证效果

模型量化Model

Quantization是一种优化技术旨在减少机器学习模型的计算资源需求和存储空间同时在精度损失最小化的前提下提高推理效率。

量化通过将模型权重和激活函数的数值从高精度如

位浮点数转换为低精度如

在模型训练完成后进行量化。

通过分析训练数据的分布将权重和激活函数映射到低精度表示。

不需要重新训练模型。

适用于对性能影响较小的场景。

动态量化Dynamic

在推理时动态地将浮点数转换为低精度整数。

在运行过程中对激活函数进行量化。

比静态量化更简单因为不需要分析训练数据。

对推理速度有显著提升尤其是对模型输入依赖较少的层如全连接层。

Training,

在训练过程中模拟量化影响。

模型在训练过程中考虑量化误差以便在量化后保持更高的精度。

比静态量化和动态量化需要更多的计算资源但精度损失最小。

适用于对精度要求较高的应用。

这里例子就演示下动态量化bitsandbytes本身以上三种都支持。

位浮点数转换为

位整数模型大小可以显著减少。

加快推理速度低精度运算速度更快可以显著提高推理效率。

降低内存带宽需求低精度表示占用更少的内存减少了内存带宽的需求。

精度损失由于数值表示的精度降低模型可能会经历一定程度的精度损失具体程度取决于模型结构和数据分布。

复杂性增加在某些情况下量化过程可能会增加模型部署的复杂性尤其是需要进行量化感知训练时。

确定值域

首先确定要量化的数据的值域范围。

例如假设我们有一组数据的值域为

[min,max]

确定量化的级别或分辨率这决定了将值域划分成多少个区间。

在4位整数的情况下共有

2^416

将原始数据映射到4位整数的范围内。

通常使用线性映射来实现计算公式如下

quantized_value

quantized_valuemax−minoriginal_value−min​×(number

levels−1)

在使用量化数据进行计算之前需要将其解码回原始的数据表示形式如32位浮点数或其他高精度表示。

解码公式通常为

original_value

original_valuequantized_value×number

levels−1max−min​min

quantized_value是是量化后的4位整数值,min和max是原始数据的最小值和最大值。

两个不同的原始值在量化后可能相同被还原为同一个值。

这种情况表明精度损失是不可避免的。

为了减少这种精度损失带来的影响通常采取以下策略

增加量化级别

增加量化级别如使用8位、16位量化以减少不同原始值被量化为同一个值的概率。

training

使用对数量化或其他非线性量化方法使得量化更适应数据的分布特性从而减少精度损失。

精细调节量化参数

通过精细调整量化的最小值、最大值和比例因子尽量减少量化误差对关键值的影响。

精度和参数

[−3.4×1038,3.4×1038]。

FP1616-bit

Floating

位半精度浮点数使用16位1位符号、5位指数、10位尾数FP16的数值范围大约是

[−65504,65504]大约

位将模型的权重和激活值量化为8位整数范围通常是0到255相对于32位浮点数精度的损失较小。

8-bit量化比4-bit提供更好的精度并且通常可以更接近原始模型的性能。

INT44-bit

Integer:

每个参数占用4位将模型的权重和激活值量化为4位整数范围通常是-8到7或者0到15因此相对于32位浮点数它的精度显著降低。

这种量化可以显著减小模型的大小和计算需求但可能会损失一定的模型精度。

import

modelAutoModel.from_pretrained(model_name)

FP3232-bit

位。

dtypelist(model.parameters())[0].dtype

print(精度:,dtype)

位量化技术使大型语言模型的访问变得可行。

bitsandbytes

位量化使大型语言模型推理只需一半的内存需求并且不会有任何性能下降。

该方法基于向量式的量化技术将大部分特性量化到

位并且用

位量化使大型语言模型训练成为可能它结合了几种节省内存的技术同时又不牺牲性能。

该方法将模型量化至

安装bitsandbytes

加载并量化一个模型到4位并使用bfloat16数据类型进行计算

您使用

bnb_4bit_compute_dtypetorch.bfloat16这意味着计算过程中会反量化使用

bfloat16

是一个全球性的开源AI研究合作项目旨在推动大型语言模型LLM的发展。

bloom-1b7

BigScience

BitsAndBytesConfig(load_in_4bitTrue,

bnb_4bit_compute_dtypetorch.bfloat16)

model

AutoModelForCausalLM.from_pretrained(model_name,device_mapauto,

model_4bit

AutoModelForCausalLM.from_pretrained(model_name,device_mapauto,quantization_configquantization_config,

dtypelist(model.parameters())[0].dtype

print(原始精度:,dtype)

dest_dtypelist(model_4bit.parameters())[0].dtype

print(量化配置:,

model_4bit.config.quantization_config)def

print_model_info(model):total_params

0for

model.named_parameters():total_params

parameters:

total_paramstotal_model_sizeprint_model_info(model)

total_model_4bit_sizeprint_model_info(model_4bit)

print(量化后的模型参数个数,total_model_4bit_size)dtype_to_bytes

{torch.float32:

MB)model_4bit.save_pretrained(/tmp/p)

model.save_pretrained(/tmp/o)输出

原始精度:

bfloat16,bnb_4bit_quant_storage:

false,llm_int8_enable_fp32_cpu_offload:

false,llm_int8_has_fp16_weight:

6.0,load_in_4bit:

MB总的参数个数减少。

这通常是由于量化过程中进行了优化或者参数压缩的操作。

量化在深度学习中通常是指将模型中的浮点数参数转换为更低精度的整数或定点数表示以节省内存和提高计算效率。

为啥量化和原模型的dtype都是fp16了以下是对量化模型加载过程中

dtype

存储时模型参数可能被压缩或量化为较低位宽的整数类型如4位整数。

加载时为了方便后续计算这些参数可能会被解码为较高精度的浮点类型如

fp16

许多量化库在加载模型时会将低位宽的量化参数解码为浮点类型以便在计算时可以直接使用这些参数。

这就是为什么即使您使用了

dtype

model.safetensors可以看到我们之前在内存中打印的是2133.23内存中计算还是会被反量化到bnb_4bit_compute_dtype指定类型但是参数都是压缩后去掉了一些参数

存储后变成了1630M比之前计算的少一些说明存储使用了4bit。

!ls

model-00001-of-00002.safetensors

-rw-r--r--

model-00002-of-00002.safetensors

-rw-r--r--

model.safetensors.index.json可以看到我们之前在内存中打印的是6570.47

8bit量化(加载)

BitsAndBytesConfig(load_in_8bitTrue)同4bit代码输出

原始精度:

float32,bnb_4bit_quant_storage:

false,llm_int8_enable_fp32_cpu_offload:

false,llm_int8_has_fp16_weight:

6.0,load_in_4bit:

MB可以看到8bit不需要指定内存计算的类型量化内存计算精度默认就是fp16。

查看模型保存大小

#----------------------------------------------------------------------------------------------------

!ls

#----------------------------------------------------------------------------------------------------

-rw-r--r--

model-00001-of-00002.safetensors

-rw-r--r--

model-00002-of-00002.safetensors

-rw-r--r--

model.safetensors.index.json验证效果

import

return_tensorspt).to(model.device)start_time

time.time()with

skip_special_tokensTrue)print(Generated

text:,

AutoTokenizer.from_pretrained(model_name)

input_text

seconds这里看到量化的模型反而推理需要更多的时间量化模型在理论上应该提高推理速度和减少内存占用但在实际应用中可能会因为多个因素导致性能下降。