在出生数据…目录

聚类是机器学习中另一个重要的部分在现实世界中我们并不总是有目标特征的奢侈条件因此我们需要回归到无监督学习的范式在那里我们尝试在数据中发现模式。

在出生数据集中寻找簇

Pipeline(stages[assembler,featuresCreator,

kmeans]

个簇中显著不同。

仔细研究结果这里我们显然不会这么做可能会揭示更多的差异并允许我们更好地理解数据。

主题挖掘

聚类模型不仅限于数值数据。

在自然语言处理领域像主题提取这样的问题依赖于聚类来检测具有相似主题的文档。

我们将经历这样一个例子。

首先让我们创建我们的数据集。

数据由互联网上随机选择的段落组成其中三个涉及自然和国家公园的主题其余三个涵盖技术。

text_data

ft.RegexTokenizer(inputColdocuments,

outputColinput_arr,

ft.StopWordsRemover(inputColtokenizer.getOutputCol(),

outputColinput_stop)

CountVectorizer一个计算文档中单词数量并返回计数向量的模型。

向量的长度等于所有文档中所有不同单词的总数这可以在以下片段中看到

stringIndexer

ft.CountVectorizer(inputColstopwords.getOutputCol(),

tokenized

\.transform(tokenizer\.transform(text_data))stringIndexer

\.fit(tokenized)\.transform(tokenized)\.select(input_indexed)\.take(2)

如你所见文本中有

featuresColstringIndexer.getOutputCol())

online

topics.select(topicDistribution).collect()

看起来我们的方法正确地发现了所有的主题不过不要习惯看到这么好的结果遗憾的是现实世界的数据很少是这样的。

在这一部分我们将尝试预测

MOTHER_WEIGHT_GAIN给定这里描述的一些特征这些特征包含在这里列出的特征中

features

[MOTHER_AGE_YEARS,MOTHER_HEIGHT_IN,MOTHER_PRE_WEIGHT,DIABETES_PRE,DIABETES_GEST,HYP_TENS_PRE,

HYP_TENS_GEST,

PREV_BIRTH_PRETERM,CIG_BEFORE,CIG_1_TRI,

CIG_2_TRI,

ft.VectorAssembler(inputCols[col

for

ft.ChiSqSelector(numTopFeatures6,

import

maxDepth3,labelColMOTHER_WEIGHT_GAIN)

最后再次将所有内容整合到一个

Pipeline(stages[featuresCreator,

selector,regressor])

ev.RegressionEvaluator(predictionColprediction,

print(evaluator.evaluate(weightGain.transform(births_test),

r2}))