简介

如果你在 d2l 学习过程中发现模型总是学不到规律或者预测效果差，那很可能是因为模型选择不当导致欠拟合或过拟合。

学完多层感知机之后我很自然地产生了一个想法：既然增加隐藏单元、增加隐藏层可以提高模型的表达能力，那是不是模型越复杂越好？答案是否定的，话说回来，

模型太简单时它可能连训练数据中的基本规律都学不会；模型太复杂时它又可能把训练数据中特有的噪声也当成规律记下来。前一种情况叫做欠拟合后一种情况叫做过拟合。

从这一节开始，我们关注的问题发生了一点变化：

前面：怎样让模型学会训练数据中的规律？不过，说到现在，怎样判断模型学到的规律，对没见过的数据是否仍然有效？

这就是模型选择要解决的主要问题。

训练误差和泛化误差

如果一个学生只是记住了练习题答案，那么他在练习题上的错误率可能很低，但换一种问法就不会了。不过，训练误差低，只能说明模型拟合了训练数据。不能直接说明它具有良好的泛化能力。

真正的泛化误差无法被精确计算，因为我们不可能穷举未来所有可能出现的数据。实际中只能拿一份没有参与训练的数据来估计它。

为什么需要验证集？话说回来，

一份完整的数据通常会被划分成：

这里最容易混淆的是验证集和测试集。如果你想比较隐藏单元数为<10>。<50>,还是<100>; 那么这个数字属于超参数。不过，我们会分别训练多个候选，再根据验证集表现挑选一个较好方案。

测试集原则上应该留到最终使用。如果每次调整都去看测试结果，那么测试集也间接参与了选择。说起来，反复尝试后你只得到一个“刚好适配这份测试集”的“好”结果。此时测试成绩往往过于乐观。

{#process}

{#train}
{#validate}
{#test}

{#train}： 训练多个候选
{#validate}：挑选最佳结构与超参数
{#test}：仅评估最终选中方案
{/train}
{/validate}
{/test}

If your dataset is small and you hesitate to carve out a validation set,consider K‑fold cross‑validation:

• K 把全部样本均分成 K 块；每次用 K−1 块作训，用剩余 1 块作检验；共重复 K 次，最终取平均验证结果.

怎么判断欠拟合和过拟合？

欠拟合

• "欠拟合就是你的模 型连本身都没学好".
.
• Mimic real curve with straight line?Training can never match all parts.
.
• #Common remedies
  • .
  • .
  • .
  • .
  .
  .

过 拟 合

• The model learns training data too well but fails to generalize.
.
• E.g.,house price dataset includes one extremely low sale due to urgent sale;complex model overfits that point。harming predictions for normal houses.
.
• #Common remedies
  • .
  • .
  • .
  • .
  • .
    .
  .

为什么这里突然讲多项式回归？

If you’re puzzled by sudden shift from model selection discussion to polynomial regression—you're not alone!