【汇总篇】DL知识拾贝（Pytorch）系列（持续更新中......）

时间依赖的接收器操作特征曲线（time-dependent receiver operating characteristic curve, time-dependent ROC curve）是评估和比较标记物在不同时间点上预测能力的重要工具。在R语言中，timeROC包提供了丰富的函数和工具，可用于分析和比较多时间点的AUC值。时间点（timepoints）表示观察的时间点，标记物1（marker1）和标记物2（marker2）分别表示在每个时间点上的预测概率。最后，我们输出比较结果。

前言当目标函数确定后，深度学习的训练任务就是最小化目标函数，也就是这里所说的优化方法(优化器)。其实，任何最大化问题都可以很容易地转化为最小化问题，只需令目标函数的相反数为新的目标函数即可。深度学习中绝大多数目标函数都很复杂。因此，很多优化问题并不存在解析解，而需要使用基于数值方法的优化算法找到近似解，即数值解。为了求得最小化目标函数的数值解，我们将通过优化算法有限次迭代模型参数来尽可能...

服务函数剖析 上一篇讲到while循环会一直查询十六个标志位是否满足要求，一旦其中某个标志位为1时，程序将会执行相应的服务函数，而执行服务函数是通过函数指针(service_table[ _R1 ])();来实现的。接下来我们分别来看看这十六个服务函数分别包含了哪些内容。 16个函数的函数名如下： const FUNCT_PTR_V_V code service_table[16] = { // Hi-Level Service Service_PCI, // Host 6

       这一系列的学习笔记是基于李沐等人的开源书《动手学深度学习（PyTorch 版本）》总结和扩展而来。感谢原作者：项目地址。        个人梳理了一下学习路线，并在知识体系中扩展了一些其他的东西，例如：讨论损失函数； 图卷积网络 ； 对抗生成网络； 注意力机制；模型压缩； 轻量化网络等等。 &nbsp...

       这一系列的学习笔记是基于李沐等人的开源书《动手学深度学习》总结和扩展而来。感谢Pytorch版项目原作者：项目地址。

       这一系列的学习笔记是基于李沐等人的开源书《动手学深度学习》总结和扩展而来。感谢Pytorch版项目原作者：项目地址。        个人梳理了一下学习路线，并在知识体系中扩展了一些其他的东西，例如：讨论损失函数； 图卷积网络 ； 对抗生成网络； 注意力机制；模型压缩； 轻量化网络等等。   ...

知识导图学习率对于深度学习是一个重要的超参数，它控制着基于损失梯度调整神经网络权值的速度，大多数优化算法（SGD、RMSprop、Adam）对其都有所涉及。学习率过下，收敛的太慢，网络学习的也太慢；学习率过大，最优化的“步伐”太大，往往会跨过最优值，从而达不到好的训练效果。 1. Pytorch中的学习率调整API1.1 等间隔调整学习率class 等间隔调整学习率，调整倍数为 gamma 倍，调...

1.torch.clamp(input, min, max, out=None) → Tensor Clamp all elements in input into the range [ min, max ] and return a resulting tensor: 例： a = torch.randn(4) a #tensor([-1.7718, 1.6657, -0.6174, 0.7067]) torch.clamp(a, min=-0.5, max=0.5) #tensor([-0.500

       前向传播和反向传播是在训练神经网络的过程中存在两个过程，从信息流的角度可以直观地解释神经网络的信息传播过程：        前向传播将输入信号通过现有参数矩阵的网络计算，直至输出产生误差，反向传播则根据误差信息更新权重矩阵。神经网络的训练，是一场以代价函数值为主导的反向传播运动，旨在得到最优的参数矩阵，进...

一、前言 最近确实太忙了，没能很好的写这个系列的文章，但是大家不要急，好事多磨，我要保证每一篇的质量。 今天要讲的是利用torch去做实验，大体完成一个任务的写法框架思路。 因为这节之后我会大量的举例以及各种完整的代码细节讲解，大概意思就是我想利用例子把很多细节抠出来这样来说明一些知识点，这样操作可能要比直接列出来知识点更具体些，大家接受这些知识点也能更加的舒服一些。 二、做减法，思考整个流程都需...

一、前言最近确实太忙了，没能很好的写这个系列的文章，但是大家不要急，好事多磨，我要保证每一篇的质量。今天要讲的是利用torch去做实验，大体完成一个任务的写法框架思路。因为这节之后我会大量的举例以及各种完整的代码细节讲解，大概意思就是我想利用例子把很多细节抠出来这样来说明一些知识点，这样操作可能要比直接列出来知识点更具体些，大家接受这些知识点也能更加的舒服一些。二、做减法，思考整个流程都需要什么？...

关于梯度消失和爆炸，其前提是采用梯度下降办法去更新网络参数，使得代价函数最小化。出现梯度消失和爆炸的原因基本上归为两点：一，网络层次太深，由于很多网络的更新时的链式原理，使得更新信息往往指数级变化；二，采用了不合适的激活函数，比如sigmoid，梯度爆炸一般出现在深层网络和权值初始化值太大的情况下。 1.深层网络角度 比较简单的深层网络如下： 图中是一个四层的全连接网络，假设每一层网络...

记录以下最近实验室的工作：模型的压缩和加速，虽然针对的是yolov3，但是剪枝的对象还是CBL层（即Conv Layer + BN Layer + LeakyReLU Layer），因此我觉得可能有一些通用的参考价值。 文章目录通道剪枝：稀疏训练策略层剪枝：微调精度恢复训练：github 剪枝顾名思义，就是通过一些算法或规则删去一些不重要的部分，来使模型变得更加紧凑，减小计算或者搜索的复杂度，一种典型的模型剪枝方法如下图： 它包括四个迭代步骤: 评估一个预先训练的深度模型中每个组件的重要性; 剔除对.

文章目录1. 等间隔调整学习率2. 按指定区间调整学习率3. 指数衰减调整学习率4. 余弦退火调整学习率5. 自适应调整学习率6. 自定义调整学习率7. warm up (CVPR 2019)        学习率对于深度学习是一个重要的超参数，它控制着基于损失梯度调整神经网络权值的速度，大多数优化算法（SGD、RMSprop、Adam）对其都有所涉及。学习...

       这一系列的学习笔记是基于李沐等人的开源书《动手学深度学习》总结和扩展而来。感谢Pytorch版项目原作者：项目地址。        个人梳理了一下学习路线，并在知识体系中扩展了一些其他的东西，例如：讨论损失函数； 图卷积网络 ； 对抗生成网络； 注意力机制；模型压缩； 轻量化网络等等。   ...

       这一系列的学习笔记是基于李沐等人的开源书《动手学深度学习（PyTorch 版本）》总结和扩展而来。感谢原作者：项目地址。        个人梳理了一下学习路线，并在知识体系中扩展了一些其他的东西，例如：讨论损失函数； 图卷积网络 ； 对抗生成网络； 注意力机制；模型压缩； 轻量化网络等等。 &nbsp...

人工智能（AI）、机器学习（ML）和深度学习（DL）是三个层级嵌套的概念：DL⊂ML⊂AI。AI是最广泛的研究领域，关注机器完成智能任务的能力；ML是实现AI的一类方法，通过数据训练模型；DL则是ML的一个分支，使用多层神经网络自动学习特征表示。 具体区别体现在： AI包含规则系统和数据驱动方法，ML专注于从数据中学习规律 传统ML依赖人工特征工程，DL能自动提取多层次特征 DL在图像/语音/文本等非结构化数据上表现突出，但需要更多数据和算力 项目选择应基于任务特性：规则明确用编程，结构化小数据用传统ML（

RNNoise 是小模型也能做实用降噪的经典证明 —— 用 30 年 DSP 沉淀（Bark scale / BFCC / pitch analysis / comb filter）打底 · 只用 GRU 学最难手工调的那部分（每帧 22 个 band 该给多少 gain）· 换来 100 KB 的编译体积和 10 ms 延迟。这是端侧 real-time 场景（视频会议 · 通话 · WebRTC · Discord noise gate · 麦克风驱动层）至今仍常见的默认选择。

如果说CNN是处理“空间”信息的王者，那么RNN就是处理“时间”信息的自然选择。它通过循环连接和共享参数，让神经网络第一次拥有了“记忆”的能力，从而能够理解和生成序列数据。尽管基础RNN在长序列上遭遇了梯度问题，但LSTM和GRU等变体通过精妙的门控设计解决了这一挑战，让RNN家族在2010年代成为序列建模的中流砥柱。今天，Transformer架构在大规模语言建模中占据了主导地位，但RNN的设计智慧并未过时——残差连接门控机制状态传递等思想，早已融入现代深度学习的血脉。记住过去，理解当下。

深度学习是人工智能领域过去十年最激动人心的突破。从识别一张图片中的猫，到与人类进行流畅对话，再到辅助医生拯救生命，深度学习正在不断拓展机器能力的边界。它不是魔法，而是数学、算法和数据的精妙结合。理解深度学习的基本原理，不仅能帮助我们更好地使用这些工具，也能让我们在这个AI驱动的时代中，做出更明智的判断和选择。未来已来，而深度学习正是那扇通往未来的大门。

卷积神经网络一：CNN 核心 —— 卷积、池化与特征提取