笔记 - 模型训练：小批量梯度下降与小批量随机梯度下降

如果面临过拟合问题，则可以考虑减小batch size，同时注意监测训练和验证的损失曲线，以便找到最佳的batch size。使用mini-batch训练的主要原因是它结合了全批量训练和随机梯度下降的优点，能够在加速收敛的同时提高模型的泛化能力。然而，选择不当的batch size可能导致训练过程的不稳定，甚至影响最终模型的性能。Mini-batch训练方法将整个训练数据集划分为多个小批量（mini-batches），每个小批量包含一定数量的样本。这样循环进行，直到所有mini-batch均被遍历完。

​ 在本文中，我们将试图更好地理解Batch Size 对训练神经网络的影响什么是 Batch Size？为什么 Batch Size 很重要？经验上，大 Batch Size 和小 Batch Size 分别表现如何？为什么大 Batch Size 倾向于表现更糟，我们如何弥补性能鸿沟？​ 注：原文对本节的描述与笔者所学知识有所出入，笔者决定按自身所学来表述，若有谬误望不吝赐教，多谢！

批大小是机器学习中重要的超参数之一。这个超参数定义了在更新内部模型参数之前要处理的样本数量。 上图为使用 SGD 测试不同批量大小的示例。 批量大小可以决定许多基于深度学习的神经网络的性能。 有很多研究都在为学习过程评估最佳批量大小。 例如，对于 SGD可以使用批量梯度下降（使用批量中的所有训练样本）或小批量（使用一部分训练数据），甚至在每个样本后更新（随机梯度下降）。 这些不同的处理方式可以改变模型训练的的效果。 准确性并不是我们关心的唯一性能指标。 模型的泛化能力可能更加重要。 因为如果我们的模型在

在每个训练步骤中，整个数据集会被一次性输入到模型中，这一过程称为批处理（又称全批量梯度下降）。图3 深度训练中的批处理使用整个数据集来计算梯度。每个epoch仅包含一次前向传播和反向传播。内存占用率高。每个epoch通常较慢，但收敛过程稳定。当数据集可完全载入物理内存时（内存适配）。当处理小型数据集时。小批量训练是全批量梯度下降与随机梯度下降之间的折衷方案。它使用数据的一个子集或部分，而不是整个数据集或单个样本。

批量训练（Batch Training）和随机训练（Stochastic Training）是深度学习中两种不同的训练策略。

本文通过从零开始实现线性回归，完整演示了从数据生成、模型定义、损失函数与优化器实现，到模型训练与参数估计的全过程，帮助读者深入理解线性回归的基本原理与PyTorch实现细节。

逻辑回归(Logistic regression)以下均为自己看视频做的笔记，自用，侵删！还参考了：http://www.ai-start.com/ml2014/用梯度下降求解逻辑回归 Logistic RegressionThe data我们将建立一个逻辑回归模型来预测一个学生是否被大学录取。假设你是一个大学系的管理员，你想根据两次考试的结果来决定每个申请人的录取机会。你有以前的申请人的历史数据...

深度学习笔记1

深度学习是人工智能领域的核心技术之一，而小批量随机梯度下降（Mini-Batch Stochastic Gradient Descent, SGD）是训练神经网络的基石算法。本文将通过一个完整的 PyTorch 实现，带你深入理解小批量 SGD 的工作原理。我们以 NASA 的为例，展示如何使用 PyTorch 构建数据加载器、定义模型、训练神经网络，并可视化训练过程。小批量随机梯度下降公式：本文的目标是通过代码逐步解析深度学习的核心组件，帮助初学者从实践中掌握理论知识。

批大小的选择通常依赖于具体的任务、硬件资源和对模型性能的需求。硬件受限：如果显存或内存有限，可以选择较小的批量（如 16、32），这样可以避免内存不足的问题。提升泛化能力：如果关注模型的泛化能力，可以选择较小的批量（如 32、64），这样能利用梯度的随机性帮助模型更好地泛化。加速收敛：如果希望模型快速收敛且避免梯度波动，可以选择较大批量（如 128、256），同时适当增加学习率。分布式训练：在分布式训练中，较大的批量（如 512、1024）通常更为高效，因为它可以减少通信开销。实验调优。

一、语法：tf.train.slice_input_producer(tensor_list, num_epochs=None, shuffle=True, seed=None, capacity=32, shared_name=None, name=None) 参数说明： tensor_list：包含一系列tensor列表，列表中tensor的第一维度值必须相等，如多少张图像对应多少个标签。...

小批量训练通过折中全批量与随机梯度下降高效计算：利用硬件并行性加速。内存优化：避免一次性加载全部数据。稳定收敛：梯度噪声适中，更新方向更可靠。实际应用中，批量大小（batch size）和学习率（learning rate）是需调参的关键超参数，通常通过实验选择最优组合。W。

如图所示是本人训练yolo（通过梯度累加的方法等效batchsize得到的图） x代表原有batch_size 的倍数。（此操作不会是显存需求增加）。 y下面的三个是giou 随着倍数的增加giou 在不断的上升，不到1轮的时候那么变化比较明显分别由于分别测试了1轮后不同初始学习率的情况基本一致没有太大波动。说明等效batchsize（原来batchsize=2）30以内基本不会对giou_loss有过多的影响。 再看上面的两条线是1轮后验证的bestmap 可以看到初始学习率也成倍数后bestmap有.

方法核心思想优点缺点适用场景实现复杂度小批量训练（Mini-Batch Training）与数据加载器（DataLoader）将数据集划分为小批量，每次只加载一个小批量到GPU中进行训练。- 易于实现- 是深度学习的标准做法- 支持多进程加载- 内存可能成为瓶颈- 需要调整批量大小避免内存不足适用于大部分场景低数据分片与分布式训练（Data Sharding & Distributed Training）将数据集分片，每个GPU或节点处理其中一部分数据，分布式训练。

用小批量 SGD 训练时，1 个 epoch 可能更新 7 次权重（如 100 张分 7 批）。10/7约等于14.，在小批量 SGD 训练中，每批 14 张图片是的，反向传播则是基于这 14 张图像的 “综合损失” 进行反馈，同步调整权重。

小批量数据的含义：在深度学习中，从总样本中随机选取一部分样本数据代入模型进行训练。小批量数据的意义：即能加快算法优化速度，同时也能保证每次迭代方向的鲁棒性，不受样本异常点的影响。

在深度学习中，损失函数（Loss function）是一个关键的概念，用于衡量模型的预测输出与真实标签之间的差异。在深度学习中，损失函数（Loss function）是一个关键的概念，用于衡量模型的预测输出与真实标签之间的差异。损失函数的作用是衡量模型的输出结果与真实标签之间的差异，并将这个差异转化为一个标量值，用于评估模型的性能。损失函数的作用是衡量模型的输出结果与真实标签之间的差异，并将这个差异转化为一个标量值，用于评估模型的性能。最后，我们用一个测试样例来检查训练好的模型在新数据上的预测效果。