各模型常用的损失函数

损失函数是机器学习模型训练过程中的关键组成部分，它衡量模型预测的准确性并指导模型参数的优化。理解损失函数的原理、实现和技术细节对于成功训练和优化模型至关重要。选择合适的损失函数、计算梯度、处理数值稳定性问题以及使用优化算法，都是提高模型性能的重要步骤。​。

在深度学习中，损失函数（Loss Function）是用来衡量模型预测值与真实标签之间差异的函数。模型训练的核心目标就是通过反向传播算法（Backpropagation）和优化器（Optimizer）来。以及针对特定问题的。以下是常见损失函数的总结，以及基于 PyTorch 的代码实现（包含官方 API 调用和底层数学计算实现）。

损失函数( Loss Functions)， 也称为代价函数， 是用于评估模型预测值与真实值之间差异的函数。在神经网络训练过程中，损失函数用于指导模型参数的更新方向和幅度， 以使模型预测的结果尽可能接近真实值。常见的损失函数有以下两个。(1) 均方误差( Mean Squared Error, MSE), 其公式如下:其中，是样本i的真实值，是模型预测值， n是样本数量。MSE是衡量模型预测值与真实值差异的一种方式， 通过计算预测值与实际值差的平方后， 取平均得到。

损失函数当在训练神经网络模型的时候，特别是一些线性分类器，往往需要定义一个损失函数L(yˆ,y)L(\widehat{y},y) ，函数用来表征模型的预测yˆ\widehat{y} 与真实的输出yy 之间的损失，而模型的训练就是要通过样本将损失函数最小化。可以说损失函数就是一个评分函数，用以对模型预测准确性进行打分，所以损失函数没有负值，当函数值为0时，说明模型预测与真实值完全相符。原则上是可以使用

损失函数（Loss Function）是机器学习和深度学习中的核心概念，它用于衡量模型预测值与真实值之间的差异。损失函数的选择对模型的性能、收敛速度和稳定性有重要影响。

本文详细的梳理了销量预测领域常见的损失函数和模型评估指标。

一、简介 损失函数的作用： 主要用于深度学习中predict与True label “距离”度量或者“相似度度量”，并通过反向传播求梯度，进而通过梯度下降算法更新网络参数，周而复始，通过损失值和评估值反映模型的好坏。 损失函数的分类： 主要分为回归损失函数和分类损失函数。 回归损失函数： reg_loss(回归预测一个具体的数值，真实的一个具体值)，比如我要预测一个矩形框的宽高，一般来说可以使任意值。一般的回归会将预测的值设计到一个较小的范围比如0~1范围内，这样可以加速模型收敛，要不然模型前期预测的数值

一、简介（占位，待写） 1. 图： 目的： 原则： 方法： 二、数 1.

智能问答是NLP领域落地最多的场景，其商业价值较高，能有效解决业务问题，降低人力成本。智能问答分为封闭域问答与开放域问答两种。封闭域的问答是指根据用户的问题，从已有问答库中找出最匹配的答案返回给用户。而开放域问答则是根据用户的问题，由模型根据已学会的知识生成相应的答案返回给用户。由于当前开放域问答存在回答不可控的问题，在工业界落地项目较少。而封闭域问答是NLP领域中落地最多的项目之一。封闭域问答最常见的形式是FAQ问答，即常见问题解答。在NLP中，对FAQ任务的解决方案是，将用户会遇到的常见问题收集起来构建

Transformer大模型实战：最终损失函数 关键词：Transformer，大模型，损失函数，NLP，自然语言处理，机器学习，深度学习 1. 背景介绍 1.1 问题的由来

背景介绍 在深度学习领域，激活函数和损失函数是两个非常重要的概念。激活函数用于将前一层神经元的输出转换为激活值，以便进行下一层的计算。损失函数则用于衡量模型预测结果与真实值之间的差异，从而指导模型的优化和调整。 在第二章中，我们将深入探讨深度学习基础中的激活函数和损失函数。我们将从激活函数的概念和常见类型开始，逐步讲解其原理和应用，并提供具

深入理解大模型预训练时候的损失函数

回归模型适用于大多数回归问题，特别是异常值较少的情况下。适用于需要损失函数值与原始数据单位一致的场景。适用于对异常值敏感度要求低的场景。适用于数据中存在少量异常值且需要综合处理大误差和小误差的场景。分类模型广泛适用于二分类和多分类任务，特别是在深度学习中。适用于线性可分问题和支持向量机应用。适用于需要比较概率分布的任务，如语言模型和生成对抗网络。选择合适的损失函数不仅取决于具体的任务和数据特性，还需要考虑模型的优化难度、对异常值的处理能力以及应用场景的具体要求。

回到交叉熵，交叉熵 H(p,q) 可以看作是条件熵的推广：它是将真实的条件熵 p(x|y) 替换为模型的近似值 q(x|y) 时的结果，这就是为什么训练模型就像是最小化它在真实条件结构之外添加的“额外不确定性”。交叉熵和联合熵具有相同的数学形式，概率乘以对数之和，但代表不同的关系：一个是同一变量的两个分布之间的关系，另一个是同一分布下的两个变量之间的关系。因此，联合熵自然分解为，H(Y)：Y 本身的不确定性，和，H(X|Y)：在知道 Y 之后，X 剩下的部分。模型如何“降低熵”？

摘要：深度学习中的损失函数按任务类型分为回归（MSE、MAE等）、分类（交叉熵、Hinge等）和序列任务（CTC等）。大模型（如GPT、BERT）几乎统一采用带Label Smoothing的交叉熵损失，因其符合语言建模的概率本质，梯度稳定且泛化性强。Label Smoothing通过软化one-hot标签缓解过拟合，成为预训练阶段的主流选择。相比传统任务的定制化损失，大模型更注重通用性和可扩展性。交叉熵在信息论上等价于最小化KL散度，是语言建模的自然选择。面试时可结合任务类型、损失函数特性及大模型需求进行

阅读本文可以了解如下内容： 似然 似然估计 对数似然 负对数似然 1. 似然 在开始之前需要区分一个知识：似然(likelihood)和概率(probability)。概率是一个事件发生的可能性，而似然指的是影响概率的未知参数。也就是说，概率是在该未知参数已知的情况下所得到的结果；而似然是该参数未知，我们需要根据观察结果，来估计概率模型的参数。 用数学方法可以描述为： 假设XXX是离散随机变量，其概率质量函数ppp依赖于参数$\theta $，则： L(θ∣x)=pθ(x)=Pθ(X=x)L(\thet

从零开始大模型开发与微调：对目标的逼近—模型的损失函数与优化函数 1. 背景介绍 1.1 问题的由来 随着深度学习技术的飞速发展，大模型成为了处理复杂任务的“超级工具”。然而，对于非专业人士而言，大模型的开发和微调