批量学习与增量学习

批量学习：

学习方法：使用所有可用的数据进行训练（需要大量计算资源）

缺点：模型的性能随时间的推移而变差→解决方案：定期根据最新的数据重新训练模型

若系统需要适应快速变化的数据，则需要其他解决方案，如增量学习（在线学习）

增量学习：

学习方法：以单独的数据或小批量的小组数据循序的向系统提供数据来对系统进行增量训练。

对于超大数据集（超出计算机的主存储器能所能容纳的数据），增量学习也适用。采用 [核外算法]（out of core）。该算法加载部分数据，在数据上运行一个训练步骤，然后重复该过程，直到他在所有数据上运行完。

重要参数：学习率。 若学习率设置得很高，那么系统会快速适应新数据，但他也会很快忘记旧数据。反之，系统会学习得很慢，对新数据中的噪声或异常值的敏感度降低。

缺点：对数据的质量有要求，若将不良数据输入系统，系统的性能可能会迅速下降。