在数据处理和数据分析中#xff0c;数据预处理是非常重要的一步。

我们不可能完全靠肉眼来分析数据#xff0c;总会有用到各种算法模型的时候…

文章目录

在数据处理和数据分析中数据预处理是非常重要的一步。

我们不可能完全靠肉眼来分析数据总会有用到各种算法模型的时候例如使用聚类、回归分析。

如果原来的数据非常“肮脏”不规整我们将会得到一个不可靠的糟糕结果此时我们需要用两种十分常用的数据预处理手段来清洗我们的数据。

今天仅仅包括如下两个内容

Z-Score标准化是一种常见的数据标准化方法它通过对原始数据进行均值和标准差的线性变换将数据变换为均值为0、标准差为1的分布。

Z-Score标准化后的数据通常在机器学习模型上表现更好并且我们可以根据Z-Score标准化后的数据来去除异常值。

standardized

其实Z-Score标准化就是数据计算成对应的Z分数我们可以利用Z分数进行异常值处理如果Z分数大于某一个阈值(通常

使用Z分数处理异常值需要满足正态分布的假设。

Z分数越大就代表它越接近正态分布的右侧Z分数越小就代表它越接近正态分布的左侧对于那些及其右侧或者及其左侧的数据因为很可能是错误的数据所以视为异常值。

\frac{{X

在运行过上面的Z-Score标准化的实现代码后我们可以运行下面的代码。

190]之间而我们在下面的数据中添加了一个身高为300的异常数据

身高数据

compare和arr的形状相同区别是arr里面的是真正的数据compare对应每个元素的比较结果

outlier

从下面的输出结果中我们可以看到正常的身高的Z分数的绝对值都位于[0,

1]之间而身高为300的那个异常数据的Z分数为2.73893945显然这已经远远大于了2这个阈值这个阈值的设定并没有严格限定我只能告诉你阈值的绝对值越高去除的数据越少反之越多这对应了正态分布的左右两端都只有少量数据的特点通过设定Z分数的阈值我们只保留正态分布中间的那些常见数据我们应该将它视为异常值去除。

原数据

Min-Max归一化是一种线性变换方法将数据缩放到指定的范围内。

它通过对原始数据进行线性变换将数据映射到[0,

有时候原始数据的尺度相差太大不满足我们的算法模型的假设假设不同数据的尺度都是一致的可能会让我们得到了错误的结果此时我们就应该使用Min-Max归一化将数据归一化到[0,

normalized

X_{\text{min}}}}{{X_{\text{max}}

X_{\text{min}}}}

Xnormalized​Xmax​−Xmin​X−Xmin​​

X_{normalized}

在运行过上面的Min-Max归一化的实现代码后我们可以运行下面的代码。

假设我们现在有两批医学数据

这两批数据的尺度非常巨大如果算法模型更偏向大数值的数据那么毫无疑问会偏向患者的平均每日步数这一边这并不是我们想要的结果因此我们需要进行Min-Max归一化。

col1

print(normalized_col1)print(\n原始数据

print(col2)

本文介绍了使用Numpy实现Min-Max归一化和Z-Score标准化算法的方法。

归一化和标准化是数据预处理中常用的技术能够有效地提高数据的可处理性和模型的性能。

在实际应用中根据具体的数据情况选择合适的预处理方法是非常重要的。

希望本文能对读者在使用Numpy进行数据预处理时有所帮助。