L1神经网络与深度学习-2.7&2.8计算图

数据处理库NLP专用库Jupyter环境。

监督学习是机器学习的子集，专门用于发现已测量的数据属性之间的关系无监督学习（unsupervised learning) 是另一种机器学习，可以认为它是在已测量的事物可尚未测量的事物之间寻找关系特征工程是将主观层面的（非正式的）观测结果的属性映射到特征的过程。

01. 神经网络和深度学习 第二周 神经网络基础 2.1 二分分类 图片在计算机中的保存：三通道（红，绿，蓝） X=[x(1),x(2),⋯ ,x(m)]X=[x^{(1)},x^{(2)},\cdots,x^{(m)}]X=[x(1),x(2),⋯,x(m)]，每个列向量为一个样本。 2.2 logistic回归 给定xxx，目的是求y^=P(y=1∣x)\hat{y}=P(y=1|x)y...

注：书中对代码的讲解并不详细，本文对很多细节做了详细注释。另外，书上的源代码是在Jupyter Notebook上运行的，较为分散，本文将代码集中起来，并加以完善，全部用vscode在python 3.9.18下测试通过，同时对于书上部分章节也做了整合。

文章目录1.1欢迎1.2 什么是神经网络1.3 用神经网络进行监督学习1.4 为什么深度学习会兴起？2.1 二分分类2.2 logistic回归2.3 logistic回归损失函数 logistic regression cost function2.4 梯度下降法 gradient descent2.5 导数2.6 更多导数的例子2.7计算图 computation graph2.8 使用计算图求导2.9 logistic回归中的梯度下降法2.10 m个样本的梯度下降2.11 向量化 vectoriza

文章目录1. 二分类2. 逻辑回归3. 逻辑回归损失函数4. 梯度下降5. 导数6. 计算图导数计算7. 逻辑回归中的梯度下降8. m个样本的梯度下降9. 向量化10. 向量化的更多例子11. 向量化 logistic 回归12. 向量化 logistic 回归梯度输出13. numpy 广播机制14. 关于 python / numpy 向量的说明 参考： 吴恩达视频课 深度学习笔记 1. 二分类 判断图片中动物是猫？不是猫？ 特征向量 是 3通道的RGB矩阵 展平 2. 逻辑回归 3. 逻辑回归

吴恩达神经网络的课程笔记：第二章，神经网络的编程基础。

参考与评述 参考书目《Deep Learning》Lan Goodfellow. 经典的深度学习框架是以计算图&梯度下降方法实现对前馈网络的有监督学习。 这里复现了前馈计算图的梯度计算实现。 一、前馈计算图实现 1. 前向与梯度计算 结果数组 （保存输入节点与计算节点的输出值，能够反映节点在计算方向的拓扑排序） 梯度数组 （保存输入节点与计算节点的梯度，能够反映节点在计算方向的拓扑排序...

为了理解深度学习框架的大致机理，决定使用numpy实现一个简单的神经网络框架深度学习框架我觉得最重要的是实现了链式求导法则，而计算图就是建立在链式求导法则之上的，目前大多数深度学习是基于反向传播思想的，如何在链式计算图中进行前向传播和反向传播是深度学习框架重点要考虑的计算图目前主流的深度学习框架有两种计算图实现方式：静态图：先构建好图再让数据流入，优点是结构清晰，理论上速度占优(实际不一定)；缺点...

如果某个函数由复合函数表示，则该复合函数的导数可以用构成复合函数的各个函数的导数的乘积表示。

反向传播算法是在神经网络中非常重要的算法，可以在图上面进行梯度的传播，可以建立相对来说更有弹性的模型结构。之前讲的线性模型，可以分出输入和权重，从而可以见到图中把ω∗\omega *ω∗作为神经元，这样要求损失的导数来更新权重。这样对于比较简单的情况比较容易，但是对于比较复杂的情况下（神经网络）该如何计算呢？H代表隐层h11h_1^{(1)}h11​是第一隐层的第一个，他是一个六维向量，如果想从输入的五维向量得到的话，需要一个6*5的权重矩阵。以此类推，h12。

这是我从一个 AI 小白走向 AI 应用开发工程师的进阶之路——仍在途中（为问道者点灯，非为大匠者筑台）。从 Transformer 原理到 Agent 工程，从 Prompt 技巧到 RAG 架构，从模型评测到生产部署——这份指南覆盖了 AI 应用开发所需的核心知识体系。每一章都包含原理讲解、可视化图示、代码实战，确保你不仅能"听懂"，更能"做出来"。

.

介绍 `PyTorch` 的自动求导机制，包括计算图、反向传播和梯度计算的原理及实现。

现在，我们将计算图的思路应用到神经网络中。这里，我们把构成神经网络的层实现为一个类。先来实现激活函数的ReLU层和Sigmoid层。

安装好了tensorflow2.0的环境，从今天开始就想开始慢慢记录一下对2.0的学习。 现在就开始 1.首先测试环境是否安装搭建成功 import tensorflow as tf print(tf.test.gpu_device_name()) print(tf.__version__) 看到有GPU字样说明tensorflow-gpu环境安装成功，遇到坑可以看我上一篇博客 对了，如果想...

第二周：神经网络基础2.1 二分分类2.2 Logistic Regression2.2 Logistic Regression cost function损失函数(Loss function): L成本函数(Cost function): J2.4 Gradient Descent2.7/2.8 Computation Graph 计算图及其导数计算2.9 Logistic Regression Gradient Descent2.10 Logistic regression on mmm example

1.视频网站：mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c 2.详细笔记网站(中文)：http://www.ai-start.com/dl2017/ 3.github课件+作业+答案：https://github.com/stormstone/deeplearning.ai 3.10 （选修）直观理解反向传播 Backpropagation intuition 本节我们要了解如何通过计算图推导出反向传播公式。 回忆一下逻辑回归的

核心收获Keras是快速原型开发的利器TensorFlow提供底层优化能力二者结合实现开发效率与性能的平衡思考题如何设计一个同时支持CPU和TPU训练的模型？在图像分割任务中，怎样合理分配TensorFlow和Keras的职责？完整项目代码GitHub仓库。