神经网络算法——损失函数（Loss Function）

文章目录

前言

本文将从损失函数的本质、损失函数的原理、损失函数的算法三个方面，详细介绍损失函数Loss Function。

损失函数 

1、损失函数的本质

（1）机器学习“三板斧”

选择模型家族，定义损失函数量化预测误差，通过优化算法找到最小损失的最优模型参数。

机器学习 VS 人类学习

• 定义一个函数集合（模型选择）

        目标：确定一个合适的假设空间或模型家族。

        示例：线性回归、逻辑回归、神经网络、决策时等。

        考虑因素：问题的复杂性、数据的性质、计算资源等。

• 判断函数的好坏（损失函数）

        目标：量化模型预测与真实结果之间的差异。

        示例：均方误差（MSE）用于回归；交叉熵损失用于分类。

        考虑因素：损失的性质（凸性、可微性等）、易于优化、对异常值的鲁棒性等。

• 选择最好的函数（优化算法）

        目标：在函数集中找到最小化损失函数的模型参数。

        主要方法：梯度下降及其变种（随机梯度下降、批量梯度下降、Adam等）。

        考虑因素：收敛速度、计算效率、参数调整的复杂性等。

（2）损失函数的本质

量化模型预测与