深度学习-8.实践方法论

性能度量

• 精度p：检测正确的比率
• 召回率r：真实事件被检测到的概率
  • 检测器永远没有报告负样本时，会得到一个完美的精度，但召回率为零。
  • 报告所有样本都是负样本时，召回率很完美，但是精度会等于真实的负样本占比。
• PR曲线：y轴表示精度，x轴表示召回率。
• F-score：$$F=\frac{2pr}{p+r}$$

默认的基准模型

确定性能度量和目标之后，任何实际应用的下一步都是建立一个合理的端到端系统。
根据问题的复杂性，项目刚开始时无需使用深度学习。如果只需正确地选择几个线性模型就能解决问题当然是最好的。
如果问题属于“AI-完全”类，如对象识别、机器翻译等，那么项目开始于一个合适的深度学习模型效果会比较好。

决定是否收集更多数据

如果模型在训练集上的性能很差，学习算法都不能再训练集上学习出良好的模型，那么就没必要收集更多的数据。反之应该增加更多的网络层或每层增加更多的隐藏单元，以增加模型的规模。
如果测试集上的性能比训练集差得多，那么就应该收集更多的数据了。

选择超参数

超参数选择方法将会在另一个专栏里介绍

• 退火算法
• 网格搜索
• 随机搜索
• ……