5.3

神经网络的最基本的构成元素是神经元。

生物神经网络中各个网络之间相互连接通过神经递质相互传递信息。

如果某个神经元接收了足够多的神经递质乙酰胆碱那么其点位变会积累地足够高从而超过某个阈值。

超过这个阈值之后这个神经元变会被激活达到兴奋的状态而后发送神经递质给其他的神经元。

MP神经元模型

函数的值域是(0,1)即函数值落在0到1之间。

S函数的性质有可以将较大范围内变化的输入值压缩到**(0,1)区间内因此也被成为挤压函数**。

5.2

通过制定权重和阈值得到可以进行逻辑运算的感知机那么如果给定训练数据集同样我们可以通过学习得到相应地权重和阈值。

阈值b可以看做是一个输入固定为-1.0对应连接权重ωn1的哑结点。

通过这样定义阈值则可以将学习权重和阈值简化为只学习权重。

感知机的学习规则很简单对于训练样本x,y若感知机当前的输出为y’则感知机的权重调整如下:

\Delta{\omega

y**则感知机不发生任何变化。

若其预测错误则根据错误的程度进行相应权重的调整。

左面三个是通过线性分割实现而最右侧的异或则无法通过线性分割实现。

学习率

学习率是每次迭代中成本函数最小化的量梯度下降到成本函数最小值所对应的速率就是学习率。

成本/损失函数

当建立一个神经网络的时候神经网络会试图将输出预测尽可能地接近实际值。

使用成本函数函数来衡量网络的准确性。

成本函数会在发生错误的时候处罚网络。

目的是为了能够提高我们的预测精度减少误差从而最大限度的降低成本。

最优化的输出即使成本/损失函数最小的输出。

梯度下降

梯度下降是最小化成本的优化算法找到最小化的损失函数和模型参数值。

5.3

②梯度下降策略以目标的负梯度方向对参数进行调整此外还有牛顿法、最小二乘法等策略

④更新权重

大量数据训练后再输入新的数据x模型就可以求出y用于分类/预测/评价了

5.4

局部最小值是在某一区域内函数的取值达到了最小但是如果将这个区域扩展到定义域上来那么这个局部最小值就不一定是最小的。

全局最小值是在定义域内函数值最小。

全局最小一定是局部最小值但“局部极小

全局最小

**径向基函数**是一个取值仅依赖于到原点距离的实值函数。

此外也可以按到某一中心点c的距离来定义。

**RBF

网络结构**RBF

中间层只有一层。

经过训练后每一个神经元得以确定输入权重即每一个神经元知道要在什么样的输入值下引起最大的响应。

原因是因为层数层数越少需要确定的权重(weight)越少越快。

为什么三层可以做这么多层的事儿原因是核函数的输出

是一个局部的激活函数。

在中心点那一点有最大的反应越接近中心点则反应最大远离反应成指数递减。

ART网络

**竞争型学习**是神经网络中一种常用的无监督学习策略在使用该策略时网络的输出神经元相互竞争每一时刻仅有一个竞争获胜的神经元被激活其他神经元的状态被抑制这种机制也称

ART

比较层负责接收输入样本并将其传递给识别层神经元。

识别层识别层每个神经元对应一个模式类神经元数目可在训练过程中动态增长以增加新的模式类。

**阈值**显然识别阈值对

网络的性能有重要影响当识别阈值较高时输入样本会被分成较多、较精细的模式类而如果识别阈值较低则会产生比较少、比较粗略的模式类。

**ART

SOM网络