log

\\\begin{aligned}x^{\prime}\sqrt{x}\end{aligned}

\\x\log(x)

f\left(x_{k})\right.f(x_{k1})-f(x_k)

\end{aligned}

数据变换的应用方式数据的标准化目的是为了消除指标之间的量纲和大小不一的影响需要进行数据标准化处理。

因此可以将数据按照比例进行缩放使之落入一个据标准化处理将数据按照比例进行缩放使之落入一个特定的区域从而进行综合分析。

如将工资收入属性值映射到[-11]或者[01]之间。

function

data1mfunc_calculate(data,zhibiao_label)%

极大型3

(zhibiao_label(i)1)data1(:,i)zheng1(data(:,i));elseif

(zhibiao_label(i)2)data1(:,i)zheng2(data(:,i));elseif

(zhibiao_label(i)3)data1(:,i)fu3(data(:,i));elseif

(zhibiao_label(i)4)data1(:,i)fu4(data(:,i));elseif

(zhibiao_label(i)5)data1(:,i)fu5(data(:,i));elseif

input(prompt);data1(:,i)qu6(data(:,i),a);elseif

;aainput(prompt);data1(:,i)qu7(data(:,i),aa(1),aa(2));endendelseif

isa(data,cell)%

size(zhibiao_label,1)1zhibiao_label1repmat(zhibiao_label,3,1);elsezhibiao_label1zhibiao_label;endfor

i1:length(zhibiao_label1(j,:))if

(zhibiao_label(i)1)data1{j}(:,i)zheng1(data2(:,i));elseif

(zhibiao_label(i)2)data1{j}(:,i)zheng2(data2(:,i));elseif

(zhibiao_label(i)3)data1{j}(:,i)fu3(data2(:,i));elseif

(zhibiao_label(i)4)data1{j}(:,i)fu4(data2(:,i));elseif

(zhibiao_label(i)5)data1{j}(:,i)fu5(data2(:,i));elseif

input(prompt);data1{j}(:,i)qu6(data2(:,i),a);elseif

;aainput(prompt);data1{j}(:,i)qu7(data2(:,i),aa(1),aa(2));endendendendendfunction

填1的时候选择data(data1-min(data1))./(max(data1)-min(data1));endfunction

填3的时候选择data(max(data1)-data1)./(max(data1)-min(data1));endfunction

填4的时候选择data(max(data1)-data1);endfunction

填5的时候选择data1./(max(abs(data1))data1);endfunction

填6的时候选择data1./(abs(data1-a)/max(abs(data1-a)));endfunction

i1:length(data1)if(data1(i)a)(data1(i)b)data(i)1;elseif

(data1(i)a)data(i)data1(i)/a;elseif

(data1(i)b)data(i)b/data1(i);endend

end数据清洗

均值/中位数/众数插补使用固定值插补最近邻插补即在记录中找到与缺失样本最接近的样本的该属性插补可以通过计算对象间的欧式距离衡量。

回归方法插补根据已有数据和与其有关的其他变量的数据建立拟合模型来预测缺失值插值法插补推荐常用的插值法有很多主要有拉格朗日插值法、牛顿插值法。

70%以上的数据那么此时对数据进行填补的话会引入更多的噪声反而会降低模型的性能故此时一般直接将该变量或样本删除

matlab

返回一个与输入矩阵同形状的01矩阵1表示此位置是缺失值。

rmmissing直接删除缺失值所在的行列第二个参数

常数填充constant

移动窗口填充法该方法的思想是在缺失值前后开一个“窗口”用“窗口”内

代码实现

判断矩阵中是否存在nan值返回一个同形状的0-1矩阵1表示此位置是nan

nan_mat

fillmissing(data,constant,999);

上一个或者下一个非空值

正态分布3σ原则总体符合正态分布例如人口数据、测量误差、生产加工质量、考试成绩等。

计算均值

画箱线图下四分位数Q1是排第25%的数值上四分位数Q3是排第75%的数值。

四分位距IQR

Q3-Q1也就是排名第75%的减去第25%的数值正态分布类似设置个合理区间在区间外的就是异常值。

一般设[Q1−1.5IQR,