。

即把一个人和一台计算机分别放在两个隔离的房…一、深度学习的发展历程

1.1

图灵测试是人工智能是否真正能够成功的一个标准“计算机科学之父”、“人工智能之父”英国数学家图灵在1950年的论文《机器会思考吗》中提出了图灵测试的概念。

即把一个人和一台计算机分别放在两个隔离的房间中房间外的一个人同时询问人和计算机相同的问题如果房间外的人无法分别哪个是人哪个是计算机就能够说明计算机具有人工智能。

1.2

从视网膜Retina出发经过低级的V1区提取边缘特征到V2区的基本形状或目标的局部再到高层的整个目标如判定为一张人脸以及到更高层的PFC前额叶皮层进行分类判断等。

也就是说高层的特征是低层特征的组合从低层到高层的特征表达越来越抽象和概念化也即越来越能表现语义或者意图。

边缘特征

这个过程其实和我们的常识是相吻合的因为复杂的图形往往就是由一些基本结构组合而成的。

同时我们还可以看出大脑是一个深度架构认知过程也是深度的。

人脑神经元示意图

深度学习恰恰就是通过组合低层特征形成更加抽象的高层特征或属性类别。

例如在计算机视觉领域深度学习算法从原始图像去学习得到一个低层次表达例如边缘检测器、小波滤波器等然后在这些低层次表达的基础上通过线性或者非线性组合来获得一个高层次的表达。

此外不仅图像存在这个规律声音也是类似的。

比如研究人员从某个声音库中通过算法自动发现了20种基本的声音结构其余的声音都可以由这20种基本结构来合成

二、机器学习

机器学习是实现人工智能的一种手段也是目前被认为比较有效的实现人工智能的手段目前在业界使用机器学习比较突出的领域很多例如计算机视觉、自然语言处理、推荐系统等等。

大家生活中经常用到的比如高速上的ETC的车牌识别今日头条的新闻推荐天猫上的评价描述。

机器学习是人工智能的一个分支而在很多时候几乎成为人工智能的代名词。

简单来说机器学习就是通过算法使得机器能从大量历史数据中学习规律从而对新的样本做智能识别或对未来做预测。

2.1

每当一台机器根据一组预先定义的解决问题的规则来完成任务时这种行为就被称为人工智能。

开发人员引入了大量计算机需要遵守的规则。

计算机内部存在一个可能行为的具体清单它会根据这个清单做出决定。

如今人工智能是一个概括性术语涵盖了从高级算法到实际机器人的所有内容。

弱人工智能也被称为狭义人工智能是一种为特定的任务而设计和训练的人工智能系统。

弱人工智能的形式之一是虚拟个人助理比如苹果公司的Siri。

强人工智能又称人工通用智能是一种具有人类普遍认知能力的人工智能系统。

当计算机遇到不熟悉的任务时它具有足够的智能去寻找解决方案。

机器学习允许计算机自己学习。

这种学习方式利用了现代计算机的处理能力可以轻松地处理大型数据集。

基本上机器学习是人工智能的一个子集;更为具体地说它只是一种实现AI的技术一种训练算法的模型这种算法使得计算机能够学习如何做出决策。

从某种意义上来说机器学习程序根据计算机所接触的数据来进行自我调整。

2.2

当你使用监督式学习训练人工智能时你需要提供一个输入并告诉它预期的输出结果。

如果人工智能产生的输出结果是错误的它将重新调整自己的计算。

这个过程将在数据集上不断迭代地完成直到AI不再出错。

监督式学习的一个例子是天气预报人工智能。

它学会利用历史数据来预测天气。

训练数据包含输入(过去天气的压力、湿度、风速)和输出(过去天气的温度)。

我们还可以想象您正在提供一个带有标记数据的计算机程序。

例如如果指定的任务是使用一种图像分类算法对男孩和女孩的图像进行分类那么男孩的图像需要带有“男孩”标签女孩的图像需要带有“女孩”标签。

这些数据被认为是一个“训练”数据集直到程序能够以可接受的速率成功地对图像进行分类以上的标签才会失去作用。

它之所以被称为监督式学习是因为算法从训练数据集学习的过程就像是一位老师正在监督学习。

在我们预先知道正确的分类答案的情况下算法对训练数据不断进行迭代预测然后预测结果由“老师”进行不断修正。

当算法达到可接受的性能水平时学习过程才会停止。

非监督式学习是利用既不分类也不标记的信息进行机器学习并允许算法在没有指导的情况下对这些信息进行操作。

当你使用非监督式学习训练人工智能时你可以让人工智能对数据进行逻辑分类。

这里机器的任务是根据相似性、模式和差异性对未排序的信息进行分组而不需要事先对数据进行处理。

它将创建自己输入数据的分类帮助亚马逊识别哪种用户最有可能购买不同的产品(交叉销售策略)。

另一个例子是程序可以任意地使用以下两种算法中的一种来完成男孩女孩的图像分类任务。

一种算法被称为“聚类”它根据诸如头发长度、下巴大小、眼睛位置等特征将相似的对象分到同一个组。

另一种算法被称为“相关”它根据自己发现的相似性创建if/then规则。

换句话说它确定了图像之间的公共模式并相应地对它们进行分类。

三、深度学习如何工作

它允许我们训练人工智能来预测输出给定一组输入(指传入或传出计算机的信息)。

监督学习和非监督学习都可以用来训练人工智能。

Andrew

Ng“与深度学习类似的是火箭发动机是深度学习模型燃料是我们可以提供给这些算法的海量数据。

”

我们将通过建立一个公交票价估算在线服务来了解深度学习是如何工作的。

为了训练它我们将使用监督学习方法。

3.1

神经网络是一组粗略模仿人类大脑用于模式识别的算法。

神经网络这个术语来源于这些系统架构设计背后的灵感这些系统是用于模拟生物大脑自身神经网络的基本结构以便计算机能够执行特定的任务。

和人类一样

“AI价格评估”也是由神经元(圆圈)组成的。

此外这些神经元还是相互连接的。

输入层接收输入数据。

在我们的例子中输入层有四个神经元:出发站、目的地站、出发日期和巴士公司。

输入层会将输入数据传递给第一个隐藏层。

隐藏层对输入数据进行数学计算。

创建神经网络的挑战之一是决定隐藏层的数量以及每一层中的神经元的数量。

人工神经网络的输出层是神经元的最后一层主要作用是为此程序产生给定的输出在本例中输出结果是预测的价格值。

神经元之间的每个连接都有一个权重。

这个权重表示输入值的重要性。

模型所做的就是学习每个元素对价格的贡献有多少。

这些“贡献”是模型中的权重。

一个特征的权重越高说明该特征比其他特征更为重要。

在预测公交票价时出发日期是影响最终票价的最为重要的因素之一。

因此出发日期的神经元连接具有较大的“权重”。

每个神经元都有一个激活函数。

它主要是一个根据输入传递输出的函数。

当一组输入数据通过神经网络中的所有层时最终通过输出层返回输出数据。

3.2

为了提高“AI价格评估”的精度我们需要将其预测结果与过去的结果进行比较为此我们需要两个要素:

训练AI的过程中重要的是给它的输入数据集(一个数据集是一个单独地或组合地或作为一个整体被访问的数据集合),此外还需要对其输出结果与数据集中的输出结果进行对比。

因为AI一直是“新的”它的输出结果有可能是错误的。

对于我们的公交票价模型我们必须找到过去票价的历史数据。

由于有大量“公交车站”和“出发日期”的可能组合因而我们需要一个非常大的票价清单。

一旦我们遍历了整个数据集就有可能创建一个函数来衡量AI输出与实际输出(历史数据)之间的差异。

这个函数叫做成本函数。

即成本函数是一个衡量模型准确率的指标衡量依据为此模型估计X与Y间关系的能力。

模型训练的目标是使成本函数等于零即当AI的输出结果与数据集的输出结果一致时成本函数等于0。

3.3

通过使用一种叫做梯度下降的方法。

梯度衡量得是如果你稍微改变一下输入值函数的输出值会发生多大的变化。

梯度下降法是一种求函数最小值的方法。

在这种情况下目标是取得成本函数的最小值。

它通过每次数据集迭代之后优化模型的权重来训练模型。

通过计算某一权重集下代价函数的梯度可以看出最小值的梯度方向。

为了降低成本函数值多次遍历数据集非常重要。

这就是为什么需要大量计算能力的原因。

一旦我们通过训练改进了AI我们就可以利用它根据上述四个要素来预测未来的价格。

四、看看第一个例子吧

PaddlePaddle来学习手写数字分类。

如果你没用过PaddlePaddle或类似的库可能无法立刻搞懂这个例子中的全部内容。

甚至你可能还没有安装PaddlePaddle,

没关系第四课会教大家如何安装PaddlePaddle学会基本的命令和操作。

因此如果其中某些步骤看起来不太明白也不要担心。

下面我们要开始了。

像素×28

World”正是用它来验证你的算法是否按预期运行。

当你成为机器学习从业者后会发现

MNIST

MINIST数据集包含60000个训练集和10000测试数据集。

分为图片和标签图片是28*28的像素矩阵标签为0~9共10个数字。

2.定义读取MNIST数据集的train_reader和test_reader指定一个Batch的大小为128也就是一次训练或验证128张图像。

3.paddle.dataset.mnist.train()或test()接口已经为我们对图片进行了灰度处理、归一化、居中处理等处理。

import

paddle.batch(paddle.reader.shuffle(paddle.dataset.mnist.train(),buf_size512),batch_size128)

test_reader

paddle.batch(paddle.dataset.mnist.test(),batch_size128)

not

https://dataset.bj.bcebos.com/mnist/train-images-idx3-ubyte.gz

not

https://dataset.bj.bcebos.com/mnist/train-labels-idx1-ubyte.gz

not

https://dataset.bj.bcebos.com/mnist/t10k-images-idx3-ubyte.gz

not

https://dataset.bj.bcebos.com/mnist/t10k-labels-idx1-ubyte.gz打印一下观察一下mnist数据集

temp_reader

paddle.batch(paddle.dataset.mnist.train(),batch_size1)

print(temp_data)

以下的代码判断就是定义一个简单的多层感知器一共有三层两个大小为100的隐层和一个大小为10的输出层因为MNIST数据集是手写0到9的灰度图像类别有10个所以最后的输出大小是10。

最后输出层的激活函数是Softmax所以最后的输出层相当于一个分类器。

加上一个输入层的话多层感知器的结构是输入层--隐层--隐层--输出层。

定义多层感知器

以softmax为激活函数的全连接输出层大小为10prediction

size10,

定义输入层输入的是图像数据。

图像是2828的灰度图所以输入的形状是[1,

28,

接着是定义损失函数这次使用的是交叉熵损失函数该函数在分类任务上比较常用。

定义了一个损失函数之后还有对它求平均值因为定义的是一个Batch的损失值。

同时我们还可以定义一个准确率函数这个可以在我们训练的时候输出分类的准确率。

获取损失函数和准确率函数

fluid.layers.cross_entropy(inputmodel,

labellabel)

fluid.layers.accuracy(inputmodel,

labellabel)

接着是定义优化方法这次我们使用的是Adam优化方法同时指定学习率为0.001。

定义优化方法

fluid.optimizer.AdamOptimizer(learning_rate0.001)

#使用Adam算法进行优化

exe.run(fluid.default_startup_program())

输入的数据维度是图像数据和图像对应的标签每个类别的图像都要对应一个标签这个标签是从0递增的整型数值。

定义输入数据维度

最后就可以开始训练了我们这次训练5个Pass。

在上面我们已经定义了一个求准确率的函数所以我们在训练的时候让它输出当前的准确率计算准确率的原理很简单就是把训练是预测的结果和真实的值比较求出准确率。

每一个Pass训练结束之后再进行一次测试使用测试集进行测试并求出当前的Cost和准确率的平均值。

开始训练和测试

exe.run(programfluid.default_main_program(),#运行主程序feedfeeder.feed(data),

acc])

exe.run(programfluid.default_main_program(),

acc])

误差、准确率test_accs.append(test_acc[0])

#每个batch的准确率test_costs.append(test_cost[0])

(sum(test_costs)

/home/aistudio/data/hand.inference.model#

如果保存路径不存在就创建if

os.path.exists(model_save_dir):os.makedirs(model_save_dir)print

(save

(model_save_dir))fluid.io.save_inference_model(model_save_dir,

#推理inference需要

/home/aistudio/data/hand.inference.model

Pass:1,

/home/aistudio/data/hand.inference.model

Pass:2,

/home/aistudio/data/hand.inference.model

Pass:3,

/home/aistudio/data/hand.inference.model

Pass:4,

/home/aistudio/data/hand.inference.model

Step5:模型预测

在预测之前要对图像进行预处理处理方式要跟训练的时候一样。

首先进行灰度化然后压缩图像大小为28*28接着将图像转换成一维向量最后再对一维向量进行归一化处理。

对图片进行预处理

#将RGB转化为灰度图像L代表灰度图像灰度图像的像素值在0~255之间im

im.resize((28,

28).astype(np.float32)#返回新形状的数组,把它变成一个

numpy

Image.open(data/data27012/6.png)

plt.imshow(img)

最后把图像转换成一维向量并进行预测数据从feed中的image传入。

fetch_list的值是网络模型的最后一层分类器所以输出的结果是10个标签的概率值这些概率值的总和为1。

加载数据并开始预测

fluid.scope_guard(inference_scope):#获取训练好的模型#从指定目录中加载

推理model(inference

fluid.io.load_inference_model(model_save_dir,#fetch_targets是一个

Variable

列表从中我们可以得到推断结果。

model_save_dir模型保存的路径infer_exe)

#infer_exe:

load_image(data/data27012/6.png)results

exe.run(programinference_program,

#运行推测程序feed{feed_target_names[0]:

img},

#喂入要预测的imgfetch_listfetch_targets)

#得到推测结

#argsort函数返回的是result数组值从小到大的索引值

#print(lab)