。

很多数据集存在数据缺失、数据格式错误、错误数据或重复数据的情况#xff0c;如果要使数据分析更加准确#xff0c;就需要对这些没有用的数据进行处理。

2.清洗空值

数据清洗是对一些没有用的数据进行处理的过程。

很多数据集存在数据缺失、数据格式错误、错误数据或重复数据的情况如果要使数据分析更加准确就需要对这些没有用的数据进行处理。

2.清洗空值

pd.read_csv(property-data.csv)print

(df[NUM_BEDROOMS])

pd.read_csv(property-data.csv)new_df

df.dropna()print(new_df.to_string())

5.使用

pd.read_csv(property-data.csv)df.dropna(inplace

6.移除

pd.read_csv(property-data.csv)df.dropna(subset[ST_NUM],

inplace

pd.read_csv(property-data.csv)df.fillna(12345,

inplace

pd.read_csv(property-data.csv)df[PID].fillna(12345,

inplace

替换空单元格的方法是计算列的均值、中位数值或众数。

Pandas使用

mean()、median()

方法计算列的均值所有值加起来的平均值、中位数值排序后排在中间的数和众数出现频率最高的数。

import

pd.read_csv(property-data.csv)x

df[ST_NUM].mean()df[ST_NUM].fillna(x,

inplace

pd.read_csv(property-data.csv)x

df[ST_NUM].median()df[ST_NUM].fillna(x,

inplace

pd.read_csv(property-data.csv)x

df[ST_NUM].mode()df[ST_NUM].fillna(x,

inplace

数据格式错误的单元格会使数据分析变得困难甚至不可能。

可通过包含空单元格的行或将列中所有单元格转换为相同格式数据。

import

formatmixed)print(df.to_string())

13.清洗错误数据

pd.DataFrame(person)print(df.duplicated())

方法删除重复数据

pd.DataFrame(persons)df.drop_duplicates(inplace

True)print(df)