揭开神经网络学习的神秘面纱：从微衍生物出发

大家好，我是的创始人 。今天，我们将一起探索神经网络学习的奥秘，从微衍生物的角度出发，深入浅出地理解这一复杂的概念。

：神经网络学习的基石

神经网络看起来复杂，但其核心思想却出奇地简单：导数。 的项目完美诠释了这一点——仅用不到150行代码，就清晰地展现了神经网络的基本原理。

• 导数的真正含义及其计算方法
• 符号微分与数值微分之间的区别
• 微小输入变化如何影响输出
• 为什么神经网络不需要显式导数公式

我们将通过图解、简短代码示例和实用见解，帮助您理解梯度下降如何驱动神经网络学习，避免不必要的复杂性。

项目的核心文件

的项目仅包含两个文件：

• .py：不到100行代码，定义了值类，是神经网络运行的核心。
• nn.py：定义了神经元、层和多层感知器，约60行代码。

核心思想：不到150行简洁的代码，就足以捕捉神经网络的核心思想。其他库中代码的复杂性主要在于效率的提升。

理解导数：基础概念

让我们通过几个例子来理解导数的概念：

1. 定义一个函数f，接收标量输入，返回标量输出。
2. 生成一系列x值和对应的y值。
3. 绘制函数图像。
4. 计算导数的两种方法：

我们的目标是在特定点找到函数的导数。在学校，我们通常学习的是符号微分法。

例如，对于表达式3*x* - x + ，我们可以求出导数表达式为6*x - 。然而，在神经网络中，我们处理的表达式可能非常复杂，不可能手动求导。

因此，我们采用数值微分法。但在学习数值微分之前，先理解导数的概念非常重要。

可微函数的含义

关键公式如下：

公式中，h是一个很小的值，并且趋近于0。我们关注的是：当输入发生微小变化时，函数输出的趋势是什么？更具体地说，在x点，如果我们增加一个微小的量h，输出会增加还是减少？变化的大小是多少？

公式的结果代表斜率。如果输入的微小增加导致正斜率，则输出值增加；如果导致负斜率，则输出值减少。

在某些点上，输入的微小增加可能不会改变输出，此时斜率为零。

数值实验

我们可以通过数值实验来验证上述直觉，使用一系列有效的x值和一个微小的h值。

• 正斜率示例
• 负斜率示例
• 零斜率示例

通过这些实验，我们可以更直观地理解导数的概念，为后续学习神经网络打下坚实的基础。

以上就是用微衍生物从头开始了解反向传播的详细内容，更多请关注其它相关文章！