从零到英雄：神经网络系统的迭代优化之路
项目地址: https://gitcode.com/GitHub_Trending/nn/nn-zero-to-hero Neural Networks: Zero to Hero 是一个从基础开始的神经网络课程，通过一系列 YouTube 视频，我们一起编写和训练神经网络。视频中构建的 Jupyter 笔记本都保存在 lectures 目录中。每节课的视频描述中还包含一组练习。
神经网络学习的终极指南：从基础到精通
神经网络技术正以前所未有的速度改变着世界，而《Neural Networks: Zero to Hero》项目则为初学者提供了一条清晰的学习路径。无论你是否有深厚的数学背景，这个项目都能帮助你逐步掌握神经网络的核心概念和实践技能。
构建微梯度：神经网络与反向传播的入门
反向传播和神经网络训练是深度学习的核心。该项目假设你具备 Python 的基础知识和高中微积分的模糊记忆。相关的学习资源包括：
在这部分内容中，你将了解神经网络的基本原理，以及如何通过反向传播来优化网络参数。通过实际编写代码，你可以直观地理解神经网络的工作方式。
语言建模入门：构建 makemore
我们实现了一个双字符级语言模型，并将在后续视频中进一步将其复杂化，构建成现代的 Transformer 语言模型，如 GPT。在本视频中，重点是：
- 介绍 torch.Tensor 及其微妙之处，以及如何有效地评估神经网络。
- 语言建模的整体框架，包括模型训练、采样和损失评估（例如分类的负对数似然）。
相关资源：
构建多层感知机（MLP）字符级语言模型
我们实现了一个多层感知机（MLP）字符级语言模型。在本视频中，我们还介绍了机器学习的许多基础知识（例如模型训练、学习率调整、超参数、评估、训练/开发/测试集分割、欠拟合/过拟合等）。
相关资源：
深入 MLP 内部：激活函数、梯度与批归一化
我们深入研究了多层 MLP 的一些内部结构，仔细检查了前向传播激活的统计数据、反向传播梯度，以及当它们缩放不当时的一些陷阱。我们还介绍了使深度神经网络训练更加容易的第一个现代创新：批归一化。
相关资源：
成为反向传播高手
我们以前面视频中的 2 层 MLP（带批归一化）为例，不使用 PyTorch autograd 的 loss.backward() 手动进行反向传播。通过这个过程，你可以直观地理解梯度如何在计算图中反向流动，并且是在高效的张量级别，而不仅仅是像在 micrograd 中那样的单个标量。
相关资源：
构建 WaveNet 架构
我们将前面视频中的 2 层 MLP 以树状结构加深，得到类似于 DeepMind 的 WaveNet（2016）的卷积神经网络架构。在此过程中，我们更好地了解了 torch.nn 是什么，它的工作原理，以及典型的深度学习开发过程是什么样的。
相关资源：
从零开始构建 GPT
我们构建了一个生成式预训练 Transformer（GPT），遵循“Attention is All You Need”论文和 OpenAI 的 GPT-2 / GPT-3。我们讨论了与 ChatGPT 的联系，ChatGPT 已经席卷全球。
构建 GPT 分词器
分词器是大型语言模型（LLMs）中一个必要且普遍的组件，它在字符串和标记（文本块）之间进行转换。在本讲座中，我们从零开始构建 OpenAI GPT 系列中使用的分词器。
如何开始学习这个项目
要开始学习《Neural Networks: Zero to Hero》项目，你可以按照以下步骤操作：
- 克隆仓库：
git clone https://gitcode.com/GitHub_Trending/nn/nn-zero-to-hero - 进入项目目录，查看 lectures 目录中的 Jupyter 笔记本文件，按照课程顺序进行学习。
通过这个项目，你将逐步掌握神经网络的核心知识和实践技能，从零基础成长为神经网络领域的专家。无论你是想进入人工智能领域，还是想提升自己的技能，这个项目都是你不容错过的学习资源。
项目许可
本项目采用 MIT 许可证。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
