。

数据标准化将特征转换为通用尺度它是一系列数据预处理方法用于将数据集中不同特征列的数值转换到一个统一的尺度或范围内或者调整其分布特性。

数据标准化将特征转换为通用尺度而不会失真。

它的主要目的是解决以下问题

量纲差异

Differences)不同特征的单位和取值范围可能相差巨大比如年龄是

分布特性某些算法假设数据符合特定的分布如高斯分布标准化可以帮助满足或接近这些假设。

核心目标

在保留数据原有信息如相对大小、排序、分布形状部分方法保留的同时消除量纲差异带来的不良影响提高模型的性能、稳定性和可解释性。

缩放、Z-Score

之间。

它通过将每个特征中的每个值除以该特征的绝对值最大的那个值来实现。

2.1、计算步骤

找到该特征的绝对值最大值max_abs计算该列中所有数值的绝对值然后找出这些绝对值中的最大值。

max_abs

不会移动数据的中心点比如均值或中位数。

它只是根据数据的最大绝对值进行缩放。

如果数据原本是以零为中心的缩放后仍然以零为中心。

对异常值敏感

如果某个特征中存在一个绝对值非常大的异常值那么这个异常值就会成为

max_abs。

缩放后其他所有值都会被压缩到一个非常小的区间接近零异常值本身会变成

2.3、适用场景

负值代表损失、低温、亏损等正值代表收益、高温、盈利等这种符号信息对模型很重要。

Max-Abs

是一种数据标准化技术通过线性变换将原始数据等比例压缩到指定的数值范围通常是

[0,

对异常值敏感若存在极大或极小异常值会导致正常数据被压缩到狭窄区间

3.3、适用场景

标准化又称标准差标准化是一种数据预处理技术通过将数据转换为均值为

0、标准差为

的标准正态分布或接近。

它不改变数据的原始分布形态但消除量纲差异使不同特征可比。

4.1、计算公式

保留分布形态不改变原始数据的偏度、峰度等分布特征仅平移和缩放。

抗异常值相比

是一种针对异常值具有强鲁棒性的数据标准化技术。

它使用中位数Median

和四分位距IQR

结果无固定范围转换后数据集中在0附近但范围不固定通常大部分值在

[−3,3][−3,3]

是一种按样本行进行缩放的技术它将每个样本的特征向量转化为长度为1的单位向量从而保留特征间的比例关系但忽略原始数值的绝对大小。

其核心是方向重于幅度适用于依赖角度相似性的场景如余弦相似度计算。

6.1、计算公式

文本分类TF-IDF向量、图像特征匹配、基于余弦相似度的推荐系统。

7、总结

([0,1])直观对异常值敏感图像像素值已知边界且无异常值需要固定范围Z-Score对异常值较鲁棒中心化数据范围不固定最通用PCA,

聚类,

神经网络等Max-Abs保留符号和零点适合稀疏数据对极大绝对值异常值敏感以零为中心的数据稀疏数据

TF-IDF)鲁棒缩放对异常值高度鲁棒结果分布可能不直观包含显著异常值的数据单位向量(L2)样本向量模长为1适合余弦相似度改变了特征尺度关系文本挖掘基于余弦相似度的推荐/聚类

关键考虑因素

XGBoost)通常不需要标准化因为它们基于特征划分而非距离。

(余弦相似度)L2

pd.DataFrame(minmax_scaler.fit_transform(df),

columnsdf.columns)

pd.DataFrame(standard_scaler.fit_transform(df),

columnsdf.columns)

pd.DataFrame(maxabs_scaler.fit_transform(df),

columnsdf.columns)

数据标准化是数据预处理的关键步骤能显著提升许多机器学习模型的性能和稳定性。

Z-Score

标准化

是最通用和广泛推荐的方法。

理解不同技术的原理和适用场景根据你的具体数据和模型需求进行选择至关重要。

在实践中经常需要通过实验如交叉验证来确定哪种标准化方法效果最好。