Lear…

是一种同时学习多个相关问题的方法它通过利用这些问题之间的相关性来进行学习。

在单任务学习

中每个任务有一个独立的模型这些模型分别学习不同的任务。

这里每个任务Task

Task

4都有它自己的输入和独立的神经网络模型。

这些模型不会共享学习到的特征或表示它们是完全独立的。

在多任务学习中一个单一的模型共同学习多个任务。

模型共享输入层和可能还有一些隐藏层但在最后可以有特定于任务的输出层。

通过这种方式模型可以学习到在多个任务间共通的、有用的表示这可以提升模型在各个任务上的性能特别是当这些任务相关时。

多任务学习还有助于提高数据利用率和学习效率因为相同的数据和模型参数被用来解决多个问题。

这幅图用来说明的关键点是在多任务学习中我们期望通过任务之间的相关性来提升性能而在单任务学习中每个任务都是孤立地学习无法从其他任务中学习到的信息中受益。

对于数据不足的问题当有多个相关任务且每个任务的训练样本有限时多任务学习是一个很好的解决方案。

设定有

{Ti​}i1m​其中所有任务或其子集彼此相关多任务学习旨在通过使用

\mathcal{T}_i

\min\limits_{W[w^1,\ldots,w^m]}

\frac{1}{m}

W[w1,…,wm]min​m1​i1∑m​ni​1​j1∑ni​​ℓ(xji​,yji​,wi)

MTL模型通常由两个主要组件组成参数共享和特征变换。

参数共享是指在多个任务间共享模型参数这样可以使不同任务互相借鉴彼此的信息从而提高学习效率。

特征变换则是指对输入数据进行变换以找到一个更适合所有任务的表示方式。

(Parameter-based

w0​,ΔW[Δw1,…,Δwm]min​m1​i1∑m​ni​1​j1∑ni​​ℓ(xji​,yji​,w0​Δwi)

\ell

Δwi则捕获了任务特有的特性。

我们的优化目标是最小化所有任务的总损失同时尽可能地使得各任务参数相互接近这通常通过添加一个正则化项

\|\Delta

w0​,ΔW[Δw1,…,Δwm]min​m1​i1∑m​ni​1​j1∑ni​​ℓ(xji​,yji​,w0​Δwi)λ∥ΔW∥F2​

另一个模型使用秩约束

\min\limits_{W[w^1,\ldots,w^m]}

\frac{1}{m}

W[w1,…,wm]min​m1​i1∑m​ni​1​j1∑ni​​ℓ(xji​,yji​,wi)λ

rank(W)

我们希望通过特征映射使得任务之间更加相关。

即我们希望找到一个投影矩阵

P使得

W,Pmin​m1​i1∑m​ni​1​j1∑ni​​ℓ(PTxji​,yji​,wi)λrank(W)

s.t.

这个损失函数计算的是映射后的特征与目标值之间的误差并加入了正则化项以控制权重矩阵W的复杂度。

损失函数以

\ell(P^T

这是一个共享隐藏层的神经网络架构其中隐藏层的节点可以被看作是特征提取器。

w_0

这个模型的目标是最小化包含共享参数和任务特定调整的损失函数并通过

\lambda

隐藏层对于所有任务来说是共享的这意味着模型可以学习通用的特征表示而输出层则是特定于任务的。

(Feature-

w0​,ΔW,Pmin​m1​i1∑m​ni​1​j1∑ni​​ℓ(PTxji​,yji​,w0​Δwi)λ∥ΔW∥F2​

s.t.

是正则化项用于防止过拟合。

它通过控制任务特定参数变化的大小使用Frobenius范数来实现。

约束条件: