。

在本文中#xff0c;我们将实际使用这些知识#xff0c;使用

PySpark

在前文中我们学习了如何为建模准备数据。

在本文中我们将实际使用这些知识使用

PySpark

现在处于维护模式即它不再积极开发并且很可能会在未来被弃用但至少覆盖库的一些特性是有必要的。

此外MLlib

MLlib

数据准备特征提取、转换、选择、分类特征的哈希以及一些自然语言处理方法

实用工具描述性统计、卡方测试、线性代数稀疏和密集矩阵和向量以及模型评估方法等统计方法

正如你看到的可用功能的范围允许你执行几乎所有基本的数据科学任务。

http://www.cdc.gov/nchs/data_access/vitalstatsonline.htm

2014

typ.IntegerType()),(BIRTH_MONTH,

typ.IntegerType()),(BIRTH_PLACE,

typ.StringType()),(MOTHER_AGE_YEARS,

typ.IntegerType()),(MOTHER_RACE_6CODE,

typ.StringType()),(MOTHER_EDUCATION,

typ.StringType()),(FATHER_COMBINED_AGE,

typ.IntegerType()),(FATHER_EDUCATION,

typ.StringType()),(MONTH_PRECARE_RECODE,

typ.StringType()),...(INFANT_BREASTFED,

typ.StringType())

typ.StructType([typ.StructField(e[0],

e[1],

spark.read.csv(births_train.csv.gz,

headerTrue,

我们的数据集中有许多以字符串形式表示的特征。

这些大多是我们需要以某种方式转换为数字形式的分类变量。

recode_dictionary

0。

因此我们将丢弃所有与婴儿相关的特征并将仅基于与其母亲、父亲和出生地相关的特征来尝试预测婴儿的生存机会

selected_features

births.select(selected_features)

在我们的数据集中有许多特征具有是/否/未知的值我们只会将“是”编码为

1其他所有值将被设置为

函数并指定返回值数据类型然后我们就可以使用它来编码我们的是/否/未知特征。

births_transformed

correct_cig(CIG_BEFORE))\.withColumn(CIG_1_TRI,

correct_cig(CIG_1_TRI))\.withColumn(CIG_2_TRI,

correct_cig(CIG_2_TRI))\.withColumn(CIG_3_TRI,

.withColumn(...)

方法将列名作为其第一个参数转换作为第二个参数。

在前面的案例中我们没有创建新列而是重用了相同的列。

现在我们将专注于更正是/否/未知特征。

首先我们将找出这些特征如下所示

cols

首先我们创建了一个包含列名和相应数据类型的元组列表cols。

接下来我们遍历所有这些并计算所有字符串列的不同值如果返回的列表中有

Y我们将列名添加到

births.select([INFANT_NICU_ADMISSION,

rec_integer(INFANT_NICU_ADMISSION,

func.lit(YNU))

\.alias(INFANT_NICU_ADMISSION_RECODE)]).take(5)

我们选择

INFANT_NICU_ADMISSION_RECODE。

这样我们还将确认我们的

UDF

births_transformed.select(exprs_YNU)

births_transformed.select(YNU_cols[-5:]).show(5)

看起来一切都按照我们的预期工作那么让我们更好地了解我们的数据。