center;">数据清洗
283)">center;">清洗后数据
427)">center;">数据存储
427)">center;">数据分析
427)">center;">数据可视化
531)">center;">数据检索
531)">center;">模型训练
635)">center;">业务决策
283)">center;">数据质量报告
427)">center;">流程优化
2.1
数据质量评估维度
根据国际数据管理协会（DAMA）定义，数据质量包含六大核心维度：
- 完整性（Completeness）：数据字段是否存在缺失值，如用户表中邮箱字段的缺失率
- 准确性（Accuracy）：数据是否符合真实业务场景，如订单金额是否为负数
- 一致性（Consistency）：不同数据源同一实体数据是否一致，如客户姓名在CRM与ERP系统的差异
- 唯一性（Uniqueness）：数据记录是否存在重复，如同一订单的多条重复录入
- 有效性（Validity）：数据是否符合预设格式，如手机号是否为11位数字
- 及时性（Timeliness）：数据是否在需要时可用，如日志数据延迟写入影响实时分析
2.2
数据清洗核心任务
| 任务类型 | 具体问题 | 解决方法 |
|---|
| 缺失值处理 | 字段值为空（NULL） | 删除记录、均值填充、回归预测填充 |
| 异常值检测 | 明显偏离正常值的数据点 | Z-score法、IQR法、孤立森林算法 |
| 重复数据处理 | 完全或部分重复的记录 | 基于字段权重的去重算法 |
| 格式统一 | 数据格式不一致 | 正则表达式转换、字典映射 |
| 逻辑校验 | 违反业务规则的数据 | 自定义规则引擎验证 |
3.
核心算法原理
均值/中位数填充法
适用于数值型数据，假设缺失值与非缺失值服从相同分布。
/>Python实现：
importpandasaspdimportnumpyasnpdefmean_imputation(df,column):mean_value=df[column].mean()df[column].fillna(mean_value,inplace=True)returndfdefmedian_imputation(df,column):median_value=df[column].median()df[column].fillna(median_value,inplace=True)returndf
3.1.2
回归填充法
利用其他相关变量预测缺失值，提升填充精度。
fromsklearn.linear_modelimportLinearRegressionfromsklearn.model_selectionimporttrain_test_splitdefregression_imputation(df,target_col,feature_cols):#
拆分有完整数据的子集complete_data=df.dropna(subset=[target_col])X=complete_data[feature_cols]y=complete_data[target_col]#
训练回归模型model=LinearRegression()model.fit(X,y)#
预测缺失值missing_data=df[df[target_col].isnull()][feature_cols]predicted_values=model.predict(missing_data)df.loc[df[target_col].isnull(),target_col]=predicted_valuesreturndf
3.2
Z-score法
假设数据服从正态分布，计算数据点与均值的标准差倍数，超过阈值（通常±3）视为异常。
=
\mu}{\sigma}style="margin-right:
0.0715em;">Z
=style="height:
0.0359em;">σ
style="top:
-3.677em;">xstyle="height:
0.05em;">i
style="height:
0.15em;">
−μstyle="height:
0.686em;">
/>代码实现：
defzscore_outlier_detection(df,column,threshold=3):mean=df[column].mean()std=df[column].std()z_scores=np.abs((df[column]-mean)/std)returndf[z_scores>threshold]
3.2.2
IQR法（四分位距法）
适用于非正态分布数据，通过上下四分位数计算围栏范围。
=
0.0077em;">QR=Q3−Q1=
IQR下限=Q1−1.5×style="margin-right:
0.0077em;">QR
=
IQR上限=Q3+1.5×style="margin-right:
0.0077em;">QR
defiqr_outlier_detection(df,column):q1=df[column].quantile(0.25)q3=df[column].quantile(0.75)iqr=q3-q1
lower_bound=q1-1.5*iqr
upper_bound=q3+1.5*iqrreturndf[(df[column]<lower_bound)|(df[column]>upper_bound)]
3.3
重复数据处理3.3.1
完全匹配去重
defexact_duplicate_removal(df):returndf.drop_duplicates()
3.3.2
模糊去重（基于字段权重）
使用Levenshtein距离计算字符串相似度，适用于姓名、地址等文本字段。
fromfuzzywuzzyimportfuzzdeffuzzy_duplicate_detection(row1,row2,fields,threshold=80):score=0forfieldinfields:score+=fuzz.token_set_ratio(str(row1[field]),str(row2[field]))score=score/len(fields)returnscore>=threshold
4.
数学模型和公式
完整率计算
C
=
0.0715em;">C=style="height:
0.109em;">N
style="top:
0.109em;">N
−style="margin-right:
0.109em;">M
style="height:
0.686em;">
×100%/>其中，(N)
/>案例：用户表共1000条记录，邮箱字段缺失50条，则完整率为95%。
4.1.2
准确率计算
A
=
100\%A=style="height:
0.109em;">N
style="top:
0.1389em;">T
style="height:
0.686em;">
×100%/>(T)
/>案例：订单表中金额为负数的记录有20条，总记录5000条，准确率为(5000-20)/5000=99.6%。
4.2
数据清洗效果评估
采用前后对比法，计算清洗前后的质量指标变化：=
Q_{before}ΔQ=Qstyle="height:
0.05em;">astyle="margin-right:
0.1076em;">f
tstyle="margin-right:
0.0278em;">er
style="height:
0.2861em;">
−Qstyle="height:
0.05em;">bestyle="margin-right:
0.1076em;">f
ore
style="height:
0.2861em;">
/>其中
代表各质量维度指标（如完整率、准确率等）。
5.
项目实战：电商订单数据清洗案例
5.1
开发环境搭建
3.9
Notebook
核心库：Pandas（数据处理）、NumPy（数值计算）、Scikit-learn（机器学习模型）数据存储：CSV文件（原始数据）、Parquet（清洗后数据）5.2
数据加载与初步检测
#
加载数据df=pd.read_csv("order_data.csv")print(f"原始数据形状：{df.shape}")#
缺失值统计missing_ratio=df.isnull().mean()*100print("缺失值比例：\n",missing_ratio)#
数据类型检查print("数据类型：\n",df.dtypes)
5.2.2
对'price'字段用中位数填充df=median_imputation(df,'price')#
对'category'字段用众数填充mode_value=df['category'].mode()[0]df['category'].fillna(mode_value,inplace=True)
5.2.3
检测订单数量异常值（IQR法）outliers=iqr_outlier_detection(df,'quantity')print(f"检测到{len(outliers)}条数量异常记录")#
修正异常值（用上限值替换）q3=df['quantity'].quantile(0.75)iqr=df['quantity'].quantile(0.75)-df['quantity'].quantile(0.25)upper_bound=q3+1.5*iqr
df['quantity']=df['quantity'].apply(lambdax:upper_boundifx>upper_boundelsex)
5.2.4
格式统一与逻辑校验
#统一日期格式
df['order_date']=pd.to_datetime(df['order_date'],format='%Y-%m-%d')#校验订单金额非负
df=df[df['price']>=0]
5.2.5
基于订单号去重df=df.drop_duplicates(subset=['order_id'],keep='first')
5.3
生成数据质量报告defgenerate_quality_report(df):report={'记录数':df.shape[0],'缺失值比例':df.isnull().mean().to_dict(),'异常值数量':{col:len(iqr_outlier_detection(df,col))forcolindf.select_dtypes(include=[np.number]).columns},'重复记录数':df.duplicated().sum()}returnreport
quality_report=generate_quality_report(df)print("数据质量报告：\n",quality_report)
6.实际应用场景
6.1
