全连接层与链式求导法则在神经网络中的应用

最新推荐文章于 2026-03-07 00:12:38 发布

原创

最新推荐文章于 2026-03-07 00:12:38 发布 · 1.6k 阅读

标签

#神经网络 #人工智能 #深度学习

引言

在深度学习领域，全连接层（Fully Connected Layer，FC）和链式求导法则是构建和训练神经网络的基石。全连接层负责将特征从一种形式转换为另一种形式，而链式求导法则则是反向传播算法的核心，用于计算神经网络参数的梯度。本文将详细探讨全连接层的工作原理以及链式求导法则在神经网络训练中的应用。

全连接层的工作原理

全连接层是神经网络中的一种基本构建块，其主要作用是将输入特征映射到输出特征。在全连接层中，每个输入神经元都与每个输出神经元相连，因此得名“全连接”。

前向传播

假设我们有一个全连接层，其输入向量为 ( $\mathbf{x} \in \mathbb{R}n$ )，权重矩阵为 ( $\mathbf{W} \in \mathbb{R}{n \times m}$ )，偏置向量为 ( $\mathbf{b} \in \mathbb{R}^m$ )。全连接层的前向传播过程可以表示为：

import numpy as np

def activation_function(z):
    # 以ReLU激活函数为例
    return np.maximum(0, z)

def fully_connected_forward(x, W, b):
    # 计算线性组合
    z = np.dot(W, x) + b
    # 应用激活函数
    a = activation_function(z)
    return a, z  # 返回激活后的输出和线性组合输出

# 示例输入
x = np.array([1.0, 2.0])
W = np.array([[1.0, 2.0], [3.0, 4.0]])
b = np.array([1.0, 2.0])

# 执行前向传播
output, pre_activation = fully_connected_forward(x, W, b)
print("Output of fully connected layer:", output)
print("Pre-activation output:", pre_activation)

在这段代码中，我们定义了一个ReLU激活函数，并在全连接层的前向传播中使用它。fully_connected_forward 函数接受输入向量 x，权重矩阵 W 和偏置向量 b，计算线性组合输出 z 和激活后的输出 a。