3.1、小数据集

当谈论数据集时通常是指在机器学习和数据分析中使用的一组数据样本这些样本通常代表了某个特定问题领域的实际观测数据。

数据集可以用于开发、训练和评估机器学习模型从而使模型能够从数据中学习并做出预测或分类。

特征Features也称为自变量、属性或输入变量是用来描述每个数据样本的不同方面的数据。

特征可以是数值型、类别型、文本型等。

在监督学习中特征被用来训练模型。

目标变量Target

Variable也称为因变量、标签或输出变量是我们希望模型预测或分类的值。

在监督学习中模型使用特征来预测或分类目标变量。

样本Samples每个样本是数据集中的一行包含特征和目标变量的值。

样本代表了问题领域中的一个观测点或数据点。

特征名称Feature

Names如果数据集中的特征有名称通常会提供一个特征名称列表以便更好地理解和解释特征。

目标变量的类别Target

Variable

Classes对于分类问题目标变量可能有多个类别每个类别表示一个不同的类或标签。

数据集描述Dataset

Description通常包括数据集的来源、数据采集方法、特征和目标变量的含义以及数据的格式和结构等信息。

数据集可以在各种领域和问题中使用例如医疗诊断、自然语言处理、计算机视觉、金融预测等。

不同类型的数据集可能需要不同的预处理和特征工程步骤以便为模型提供有意义的数据。

在机器学习中一个常见的任务是将数据集划分为训练集和测试集用于模型的训练和评估。

这样可以确保模型在未见过的数据上能够进行泛化。

数据集的质量和适用性对机器学习模型的性能和效果有很大影响因此选择合适的数据集和进行有效的特征工程非常重要。

Kaggle网址Find

scikit-learn网址http://scikit-learn.org/stable/datasets/index.html#datasets

Scikit-learn工具介绍

Python语言的机器学习工具Scikit-learn包括许多知名的机器学习算法的实现Scikit-learn文档完善容易上手丰富的API目前稳定版本0.19.1

安装pip3

获取小规模数据集数据包含在datasets里datasets.fetch_*(data_homeNone)

获取大规模数据集需要从网络上下载函数的第一个参数是data_home表示数据集下载的目录,默认是

~/scikit_learn_data/

sklearn.datasets.fetch_20newsgroups(data_homeNone,subset‘train’)

subsettrain或者testall可选选择要加载的数据集。

训练集的“训练”测试集的“测试”两者的“全部”

4、数据集使用

load和fetch返回的数据类型datasets.base.Bunch(字典格式)

[n_samples

feature_names特征名,新闻数据手写数字、回归数据集没有

target_names标签名

load和fetch返回的数据类型datasets.base.Bunch(字典格式)data特征数据数组是

[n_samples

数组DESCR数据描述feature_names特征名,新闻数据手写数字、回归数据集没有target_names标签名def

getIris_1():#

返回值是一个继承自字典的Benchprint(鸢尾花的特征值:\n,

iris.feature_names)print(鸢尾花目标值的名字\n,

iris.target_names)print(鸢尾花的描述\n,

iris.DESCR)if

训练数据用于训练构建模型测试数据在模型检验时使用用于评估模型是否有效

划分比例

sklearn.model_selection.train_test_split(arrays,

*options)

随机数种子,不同的种子会造成不同的随机采样结果。

相同的种子采样结果相同。

return

sklearn.model_selection.train_test_split(arrays,

*options)x

随机数种子,不同的种子会造成不同的随机采样结果。

相同的种子采样结果相同。

return

datasets_demo():对鸢尾花数据集的演示:return:

None#

返回值是一个继承自字典的Benchprint(鸢尾花的特征值:\n,

iris.feature_names)print(鸢尾花目标值的名字\n,

iris.target_names)print(鸢尾花的描述\n,

iris.DESCR)#

random_state22)print(x_train:\n,

x_train.shape)#

random_state6)print(如果随机数种子不一致\n,

x_train