深度学习入门：epoch 和 iteration 【配合“动手学深度学习”补充使用】

与Epoch相关的关键概念

迭代 Iteration 与Epoch:

迭代是模型参数更新一次的过程，通常是通过处理一批训练示例来完成的。如果训练数据集被分成更小的批次（这是一种常见的做法，用于管理内存使用和改善收敛行为），那么每个批次就是一次迭代。
Epoch则包含了足够多的迭代，以便一次覆盖整个数据集。例如，如果你有1000个训练示例，而你使用的批大小为100，那么一个epoch就包含了10次迭代（1000个示例 / 每批100个示例 = 10批次/epoch）。

Epoch的重要性:

对深度学习模型进行多个epoch的训练是标准做法，因为仅通过整个数据集一次通常不足以学习所有底层模式。
更多的epochs可以导致更好的学习，捕捉到数据中更复杂的模式。然而，过多的epochs可能导致模型过拟合，即学习到的不仅仅是底层模式，还有训练数据中的噪声和不具代表性的特定细节，这些在新数据上不具泛化能力。

监控进度:

在训练期间，常见的做法是在每个epoch后对模型在一个单独的验证集上进行评估，以监控其性能和泛化能力。这有助于确定训练是否仍在改善模型，或者是否开始过拟合。
提前停止:

这是一种常用的防止过拟合的技术。当模型在验证集上的表现不再改善时停止训练，尽管在训练集上可能还在继续改善。这通常涉及监控验证集的损失，并在其开始增加时停止，这表明模型开始过拟合。

实际示例

在实际设置训练过程时，你可能会指定希望训练运行的epoch数量。这个选择取决于多个因素，包括模型的复杂性、数据的性质、可用的计算资源以及模型学习的速度。

总的来说，epoch是深度学习中一个基本的概念，指的是从整个数据集学习的循环过程。