“适应或灭亡#xff0c;现在和以往一样#xff0c;是大自然的必然法则。

”——赫伯特乔治威尔斯

近年来#xff0c;人工智能取得了长足的进步。

所…理解深度学习的局限性并追求真正的持续适应

“适应或灭亡现在和以往一样是大自然的必然法则。

”——赫伯特·乔治·威尔斯

近年来人工智能取得了长足的进步。

所有这些系统都以某种形式使用了人工神经元。

这些算法的灵感来自它们的生物对应物。

例如神经元会聚合来自先前神经元的信息如果信号超过某个阈值它会将信息传递给其他神经元。

这个想法由权重矩阵和激活函数表示。

其他示例可以在卷积网络受视觉皮层启发或遗传算法中找到。

在训练过程中各种神经元之间的连接由权重表示会加强或减弱类似于神经元突触的强度。

这个过程是随机梯度下降SGD和反向传播算法的基础几十年来几乎没有发生任何变化。

描述智力和生物成分之间的这些相似性有助于更好地理解但也很危险。

首先生物系统比人们想象的要复杂得多而且人们使用了强迫性的简化。

其次其中一些比较是不准确的。

持续学习就是这种情况。

如何解决

大脑非常灵活能够适应新任务和新类型的信息。

相比之下神经网络在适应数据流的变化方面存在问题。

例如大型语言模型

(LLM)是通用模型在预训练期间使用大量数据进行训练。

微调是一种让模型学习新知识或技能的系统。

但是微调存在两个问题

它可能导致忘记技能和知识增加出现幻觉的风险新旧数据之间的这种动荡关系目前尚未完全理解

这使得持续学习在实践中无法实现。

我们冒着损害模型功能的风险。

很难平衡新数据对模型预先获得的知识的影响。

结果是这些微调技术远非完美。

因此人们通常更愿意从头开始训练新模型或使用其他策略例如检索增强生成

然而从头开始训练新模型的成本很高但有时这被认为是唯一的选择。

这远非最佳选择许多现实世界的应用需要模型适应变化预测金融市场、市场、物流需求、控制系统等。

为什么神经网络无法获取新信息

当我们尝试训练一个预先训练好的模型时它无法学习新信息或新技能这就失去了可塑性。

更技术性地说

理想情况下这个新的训练过程是从昨天的模型的参数初始化的也就是说它是从这些参数“热启动”的而不是重新初始化。

然而热启动似乎会损害深度神经网络的泛化。

使用热启动持续学习期间[10]

训练的模型在测试集中表现较差。

因此持续学习似乎会损害模型的泛化能力从而损害其适应新数据的能力。

一些研究表明这是因为学习有一个关键阶段这个阶段在训练的早期阶段记忆阶段和后期阶段都会出现信息减少重组。

改变这个初始阶段会损害训练和泛化本身。

其他研究似乎证实了学习有两个阶段记忆和细化[3]。

然而这并不能解释为什么在呈现新数据时会失去可塑性。

其他研究表明梯度下降、损失表面和架构选择规范化将促进更好地维持可塑性[4]

发挥了作用。

然而这个问题仍然悬而未决我们将在本文后面详细讨论。

灾难性遗忘的研究比可塑性丧失要多得多。

不幸的是很少有研究关注它。

因此我们不知道可塑性丧失是一个普遍问题还是某些参数选择的特殊情况。

为了证明可塑性损失影响所有深度学习模型可塑性损失应该在所使用的不同架构、参数和算法之间保持一致。

然而当今的模型有数十亿个参数使得系统操作变得复杂。

在这项研究

[5]

中他们试图通过在两个主要数据集上进行测试来弥补这一缺陷ImageNet

ImageNet

个二元分类任务每次处理两个类别来测试持续学习中可塑性的丧失。

换句话说作者训练一个模型来区分“狗”和“猫”然后训练它进行一项新任务区分“叶子”和“花”依此类推。

在第一个任务结束后测量准确度然后在每个后续任务结束后测量准确度。

任务的难度相同但如果模型的性能下降则意味着它已经丧失了可塑性。

作者在这些设置中测试了不同类型的深度学习网络和不同的参数。

使用标准反向传播模型在前几个任务中表现良好但随后它们很快失去可塑性直到它们的表现与线性模型相似。

因此一个针对一项任务进行良好调整的模型在面对新任务时开始迅速失去性能直到它低于基线。

研究证实正则化有助于维持神经可塑性。

更一般地说正则化方法旨在保持网络权重较小。

L2正则化似乎有助于维持可塑性但原因尚不清楚。

100

每次添加后都会在所有可用类别上测试模型的性能。

这可以视为在数据集不断扩大的同时训练模型的情况就像随着时间的推移而扩大的社交网络。

由于作者关注的是可塑性而不是遗忘因此在添加新类别时不会删除旧类别。

与此同时作者训练从头开始在所有可用类别上训练的模型如果模型首先在五个类别上进行训练然后在第二次迭代中在另外

个类别上进行训练

最初增量训练似乎比重新训练更好但随着类别的增加模型失去了可塑性。

添加图像类别后性能开始越来越差。

经过几个类别之后基线从头开始训练的模型的改进就消失了而通过添加类别性能会显著下降。

同样在使用规范化技术的情况下性能下降较少Shrink

and

持续学习在强化学习中有着重要的用途。

代理必须能够探索和学习环境而环境是可以改变的。

例如在视频游戏中前几关可能与后几关有很大不同需要代理适应新的挑战。

在这项研究

中作者分析了蚂蚁类机器人探索周围环境并获得奖励的行为。

他们每隔几百万步就改变摩擦系数这样模型就必须重新学习如何行走模拟机器人的新任务。

再次该模型显示性能下降和缺乏可塑性。

有趣的是即使在这些设置中正则化技术也能提高可塑性。

正则化技术有助于保持可塑性这一事实表明可塑性与模型权重的某些属性有关。

毕竟正则化技术对权重施加了限制。

从某种意义上说模型中真正随时间变化的是它的权重。

这些权重是随机初始化的但随后在模型学习任务时会优化权重。

稍后如果我们为另一项任务进行训练这些权重应该针对下一个任务进行优化依此类推。

但这不会发生因为模型会失去可塑性。

因此最初这些权重可以针对一项任务进行优化这意味着在第一个时期它们必须具有某些允许它们学习的特定属性一个或多个属性在训练过程中会丢失。

我们可以研究在训练过程中权重的哪些属性会发生变化尤其是当模型开始失去可塑性时。

这应该有助于我们了解原因。

在训练过程中在失去可塑性的同时恒定单位的比例也在增加。

当一个神经元变为恒定时由它产生的梯度变为零或接近零。

同样这个权重不再变化我们可以将其定义为不再具有自适应性或可塑性。

在ReLU

一旦一个单元死亡它就永远死亡了。

这意味着死亡神经元的增加对应于网络学习能力的下降活跃神经元越少神经网络的容量就越小。

另一个有趣的现象是权重的平均幅度会增加而性能则会下降。

一般来说权重幅度的增长与梯度下降中的学习速度变慢和收敛速度降低有关。

与可塑性丧失同时出现的第三个有趣现象是表示的有效秩下降。

有效秩考虑每个维度如何影响矩阵引起的变换。

简而言之有效秩与信息量有关。

包含重要信息的维度越少矩阵中填充的冗余信息就越多。

对于神经网络的权重矩阵隐藏层的有效秩表示产生该层输出所需的神经元数量。

它越低产生该层输出所需的神经元就越少因此大多数神经元不会产生有用的信息。

随着训练的增加网络的有效秩会降低因此产生相关信息的神经元就会减少网络的表示能力也会降低。

这无助于学习新信息因为我们可以依赖少数有用的神经元。

这些因素解释了为什么我们以前经常看到正则化技术带来的改进。

L2

正则化确实降低了权重的大小但不会影响死单元和有效排名。

收缩和扰动是

正则化和随机高斯噪声注入的组合因此它也可以减少死单元的数量。

然而这两种技术都无法解决第三个问题。

我们需要一种方法让我们拥有较小的权重、较少的死神经元减少休眠并保持网络的可变性。

通过了解需求是什么我们可以修改神经网络学习保持可塑性的方式。

在反向传播的初始步骤中权重被随机初始化这允许高度可变性。

这种可变性随后在训练过程中消失连同可塑性。

然后我们可以通过重新初始化一些权重来增加可变性。

但是我们必须小心以免破坏网络所学到的东西。

因此我们应该只重新初始化少数几个网络未使用的权重。

一般来说神经元的激活会告诉我们它有多有价值。

如果一个神经元对其他神经元的贡献很小它就不会传递重要信息因此我们可以重新初始化它们

因此持续反向传播似乎可以在很长一段时间内保持网络可塑性。

遗憾的是作者没有在

LLM

总体而言大多数持续学习研究都集中于保持网络稳定性保留在先前任务中学到的信息从而避免灾难性遗忘。

然而可塑性的缺乏会影响网络获取新信息和新技能的能力在持续学习中同样重要。

最近的研究阐明了这种可塑性丧失的原因。

有趣的是可塑性的丧失是反向传播算法本身固有的。

事实上可塑性的缺乏在各种架构和任务中普遍存在这一事实就证明了这一点

一方面正则化技术促进了可塑性而其他常见参数选择显然会使问题恶化dropout、ADAM

优化器。

直到最近我们才知道原因今天我们知道这是权重爆炸、神经元休眠和效率等级之间的微妙平衡

持续反向传播

是一种保持可塑性的有趣方法。

它是一种简单的方法并且计算量不大它重新初始化通常贡献较小的神经元这些神经元通常是在试图减小模型尺寸的技术中被修剪的神经元。

持续反向传播使用效用度量来查找和替换低效用单元这意味着它基于启发式方法因此不是最佳方法。

此外大多数这些研究都是在玩具模型上进行的即使它们是广泛的基准而不是在

LLM

无论如何可塑性的丧失是自然神经元和人工神经元之间的一个显著区别。

持续学习对于许多应用都很重要例如机器人遇到新地形或将

LLM

应用于专业领域和新任务。

今天我们更好地了解了问题的根源以及如何提高模型的可塑性但仍然存在悬而未决的问题需要进一步研究。

感谢关注雲闪世界。

Aws解决方案架构师vs开发人员GCP解决方案架构师vs开发人员